Setelah sebelunya saya membahas tentang Web crawler, sekarang akan saya lanjutkan dengan membahas Web Cluster. Seperti biasa sebelum masuk ke pembahasan kita harus mengerti terlebih dahulu apa yang di maksut dengan web cluster. Web Cluster adalah sekumpulan komputer (umumnya server jaringan) independen yang beroperasi serta bekerja secara berkerterkaitan sehingga terlihat oleh klien jaringan seolah-olah komputer-komputer tersebut adalah satu buah unit komputer. Proses menghubungkan beberapa komputer agar dapat bekerja seperti itu dinamakan dengan CLUSTERING.
Komponen cluster biasanya saling terhubung dengan cepat melalui sebuah interkoneksi yang sangat cepat, atau bisa juga melalui jaringan lokal (LAN). Karena menggunakan lebih dari sebuah server, maka managemen dan perawatan sebuah cluster jauh lebih rumit dibandingkan dengan manajemen server mainframe yang memiliki skalabilitas tinggi.
Clustering bisa diumpamakan dengan tangan manusia, apabila serverI terjadi gangguan maka serverII akan mengambil ahli semua tugas serverI tanpa mengganggu oprasi jaringan. Dalam keadaan normal kedua server saling membeckup secara aktif.
terdapat tiga kelebihan antara lain:
- Kemampuan Balance, pengaturan distribusi jumlah tu gas server terbagi rata. Tugas terdistribusi terlihat seolah-olah hanya satu sistem. Bila ada tugas sebanyak 100, maka akan dibagi rata menjadi 3 (33-33-33) dan jika salah satu mesin mati maka tugas akan diambil alih oleh mesin lain, sehingga tugas menjadi (50-50) tanpa dirasakan dampaknya oleh pemakai.
- Kemampuan Growth System, kemampuan pertumbuhan sistem baru untuk antisipasi pemakai suatu aplikasi.
- Very High-end Cluster, memeiliki kemampuan disaster discovery. misalkan: suatu sistem di bangun dengan jarak 40km dalam suatu kelompok cluster. tiba-tiba satu diantarannya hancur atau rusak, maka secara otomatis server lain mengambil ahli tugas, sehingga sistem tidak mati.
Salah satu software yang dapat menerapkan teknik clustring adalah carrot2. kalian bisa mengetahui secara rinci dan mendownload di website http://project.carrot2.org/.
Carrot mengambil bahan atau materi yang bersumber dari GoogleAPI, Bing API, eTools Meta Search, Lucene, SOLR, dan masih banyak lagi.
SUMBER:
