Database SQLite

SQLite bukanlah database client server, memiliki ukuran yang cukup kecil sehingga sering digunakan dalam aplikasi Android dan untuk penggunaannya kita tidak perlu lakukan instalasi database server seperti layaknya jika kita menggunakan MySQL misalnya.

Untuk memudahkan proses pembuatan database dan table, kita dapat memanfaatkan SQLite Manager yang berupa Add-ons FireFox.

Pada saat pembuatan struktut tabel, kita harus memperhatikan pemilihan tipe data yang akan digunakan. Referensi tentang tipe data dapat dilihat di sini https://sqlite.org/datatype3.html

Struktur tabel di atas merupakan contoh yang saya gunakan untuk menyimpan data hasil web scraping dengan memanfaatkan Full-Text RSS Feeds sebagai API Web Service-nya.

Untuk melakukan koneksi ke database SQLite juga cukup mudah:

try {
  $sqlite = "sqlite:$dir/db/data.sqlite";
  $db  = new PDO($sqlite);
} catch (PDOException $e){
  die('Exception : '.$e->getMessage());
}

Perintah-perintah yang berkaitan dengan pemrosesan data juga sama dengan jika menggunakan database pada umumnya:

$query = "INSERT INTO grab (id, title, excerpt, content, remote_img, date, category, source, user, counter) VALUES ".
"('$id', '$title', '$excerpt', '$content', '$images', '$date', '$category','$source', '$user', $counter)";
$result = $db->query($query);

if($result){
  echo "[OK] $title<br>";
} else {
  echo "[FAILED] $title<br>";
}

Dengan menyimpan hasil web scraping ke dalam database, maka kita tidak perlu lakukan scraping berulang-ulang dari sumber yang sama. Sehingga bisa menghemat waktu dan juga mengurangi beban server yang kita gunakan maupun beban server yang digunakan oleh web target (web yang dijadikan sumber data).

Proses penyimpanan data hasil scraping tersebut suatu saat akan membuat Anda memiliki bank artikel Anda sendiri!

Kemarin saya coba iseng-iseng membuat sebuah script PHP untuk menampilkan semua artikel yang tersimpan dalam database SQLite hasil scraping dengan Full-Text RSS Feeds, pembahasannya ada di sini.