Memahami Cara Kerja Perayapan dan Pengindeksan Google

Sebenarnya perjalanan kueri dimulai sebelum Anda mengetik penelusuran, dengan perayapan dan pengindeksan web dari triliunan dokumen.

Cara Kerja Penelusuran
Proses ini meletakkan fondasinya — begitulah cara Google mengumpulkan dan mengatur informasi di web sehingga Google dapat memberikan hasil yang paling berguna bagi Anda. Indeks Google sudah melebihi 100.000.000 gigabyte, dan Google telah menghabiskan satu miliar jam komputasi untuk menyusunnya. Pelajari lebih lanjut tentang dasar-dasarnya di video pendek ini.



Mencari informasi dengan perayapan
Google menggunakan perangkat lunak yang disebut dengan “perayap web” untuk menemukan laman web yang tersedia untuk publik. Perayap yang paling terkenal disebut “Googlebot”. Perayap melihat laman web dan mengikuti tautan pada laman tersebut, hampir sama seperti yang Anda lakukan jika Anda menjelajahi konten di web. Perayap membuka tautan satu ke tautan lainnya dan membawa data tentang laman web tersebut kembali ke server Google.

Proses perayapan dimulai dari daftar alamat web dari perayapan petasitus sebelumnya yang diberikan oleh pemilik situs web. Saat perayap Google mengunjungi situs web ini, perayap mencari tautan laman lain untuk dikunjungi. Perangkat lunak ini memberikan perhatian khusus terhadap situs baru, perubahan terhadap situs yang sudah ada, dan tautan yang mati.

Program komputer menentukan situs mana yang akan dirayapi, seberapa sering, dan berapa banyak laman yang akan diambil dari setiap situs. Google tidak menerima pembayaran agar suatu situs bisa dirayapi lebih sering untuk hasil penelusuran web Google.  Saat ini Google lebih peduli akan hasil sebaik mungkin  karena dalam jangka panjang, itulah yang terbaik untuk pengguna dan bagi bisnis Google.

Pilihan untuk pemilik situs web
Kebanyakan situs web tidak perlu menyiapkan batasan untuk perayapan, pengindeksan, atau penayangan, sehingga laman mereka layak untuk muncul dalam hasil penelusuran tanpa kerja ekstra. Artinya, pemilik situs memiliki banyak pilihan tentang cara Google merayapi dan mengindeks situs mereka melalui Alat Webmaster dan sebuah file yang disebut “robots.txt”. Dengan file robots.txt, pemilik situs dapat memilih untuk tidak dirayapi oleh Googlebot, atau mereka dapat memberikan petunjuk yang lebih spesifik tentang cara memproses laman di situs mereka.

Pemilik situs memiliki pilihan detail dan dapat memilih cara konten diindeks dalam basis laman per laman. Contohnya, mereka dapat ikut serta untuk menampilkan laman tanpa cuplikan (ringkasan laman yang ditampilkan di bawah judul di hasil penelusuran) atau versi dalam cache (versi alternatif yang disimpan di server Google apabila laman langsung tidak tersedia). Webmaster juga dapat memilih untuk mengintegrasikan penelusuran ke dalam laman mereka sendiri dengan Penelusuran Khusus.

Mengatur informasi dengan pengindeksan
Web itu bagaikan perpustakaan umum yang terus berkembang dengan miliaran buku dan tanpa administrasi pusat. Google pada dasarnya mengumpulkan laman selama proses perayapan, lalu membuat indeks, sehingga Google tahu persis cara untuk mencari sesuatu. Hampir seperti indeks di bagian belakang buku, indeks Google meliputi informasi tentang kata dan lokasinya. Saat Anda menelusuri, pada level yang paling dasar, algoritme Google mencari istilah penelusuran Anda di indeks untuk menemukan laman yang sesuai.

Setelah itu, proses penelusuran menjadi jauh lebih kompleks. Saat menelusuri  “kucing” Anda tidak menginginkan laman dengan kata “kucing” ratusan kali di dalamnya. Mungkin Anda menginginkan gambar, video, atau daftar jenis anjing. Sistem pengindeksan Google mencatat banyak aspek laman yang berbeda, misalnya kapan laman dipublikasikan, apakah laman tersebut berisi gambar atau video, dan masih banyak lagi. Dengan Grafik Pengetahuan, Google tidak sekedar mencocokkan kata kunci. Tentunya Google terus berusaha lebih memahami orang, tempat, dan hal yang penting bagi Anda.