Apa Fungsi Googlebot ?

Apa Fungsi Googlebot ?




5
(3198)

Apa Itu Googlebot ?

Googlebot adalah nama umum untuk web crawler Google. Googlebot adalah nama umum untuk dua jenis crawler: crawler desktop yang menyimulasikan pengguna di desktop, dan crawler seluler yang menyimulasikan pengguna di perangkat seluler. Googlebot adalah perangkat lunak perayap web yang digunakan oleh Google, yang mengumpulkan dokumen dari web untuk membuat indeks yang dapat ditelusuri untuk mesin Search. Nama ini sebenarnya digunakan untuk merujuk ke dua jenis perayap web yang berbeda: perayap desktop dan perayap seluler.

Cara Googlebot mengakses situs Anda

Untuk kebanyakan situs, rata-rata Googlebot tidak akan mengakses situs Anda lebih dari beberapa detik sekali. Namun, akibat penundaan jaringan, bisa jadi kecepatan crawling akan sedikit lebih tinggi dalam periode waktu yang singkat. Googlebot dirancang untuk dijalankan bersamaan oleh ribuan perangkat guna meningkatkan performa dan skala seiring bertumbuhnya web. Selain itu, untuk mengurangi penggunaan bandwidth, kami menjalankan banyak crawler di perangkat yang terletak di dekat situs yang akan di-crawl. Oleh karena itu, log Anda mungkin menampilkan kunjungan dari beberapa perangkat di .com, semuanya dengan agen pengguna Googlebot. Tujuan kami adalah meng-crawl sebanyak mungkin halaman situs Anda pada setiap kunjungan tanpa membuat bandwidth server Anda mengalami kelebihan beban. Jika situs Anda kesulitan mengimbangi permintaan crawling Google, Anda dapat meminta perubahan kecepatan crawling.

Fungsi Googlebot

Umumnya, Googlebot meng-crawl melalui HTTP/1.1. Namun, mulai bulan November 2020, Googlebot dapat meng-crawl situs yang mungkin mendapatkan manfaat melalui HTTP/2 jika didukung oleh situs. Hal ini dapat menghemat resource komputasi (misalnya, CPU, RAM) untuk situs dan Googlebot, tetapi jika tidak, hal ini tidak memengaruhi pengindeksan atau peringkat situs Anda. Untuk memilih tidak meng-crawl melalui HTTP/2, minta server yang menghosting situs Anda untuk merespons dengan kode status HTTP 421 saat Googlebot mencoba meng-crawl situs Anda melalui HTTP/2. Jika tidak berhasil, Anda dapat mengirim pesan ke tim Googlebot (tetapi solusi ini bersifat sementara).

Memverifikasi Googlebot

Sebelum memutuskan untuk memblokir Googlebot, perlu diperhatikan bahwa string agen pengguna yang digunakan oleh Googlebot sering di-spoofing oleh crawler lain. Penting untuk memverifikasi bahwa permintaan yang bermasalah benar-benar berasal dari Google. Cara terbaik untuk memverifikasi bahwa permintaan benar-benar berasal dari Googlebot adalah menggunakan pencarian DNS terbalik di sumber permintaan.

Googlebot

Googlebot dan semua bot mesin penelusuran yang berkualitas akan mematuhi perintah dalam robots.txt, tetapi beberapa orang jahat dan spammer tidak akan mematuhinya. aktif melawan spammer. Oleh karena itu, jika melihat halaman atau situs di hasil Penelusuran, Anda dapat melaporkan spam ke Google.

Mediabot

Mediabot adalah perayap web yang digunakan untuk menganalisis konten sehingga Google dapat menayangkan iklan yang relevan secara kontekstual ke halaman web. Mediabot mengidentifikasi dirinya dengan string agen pengguna “Mediapartners-/2.1”.

Tidak seperti perayap lainnya, bot Media tidak mengikuti tautan untuk menemukan URL baru yang dapat dirayapi, melainkan hanya mengunjungi URL yang telah menyertakan kode AdSense. Di mana konten tersebut berada di belakang login, crawler dapat diberikan login sehingga dapat merayapi konten yang dilindungi.

How useful was this post?
Click on a star to rate it!

5 ( 3198 Votes )

Silahkan Rating!
Apa Fungsi Googlebot ?

No votes so far! Be the first to rate this post.

We are sorry that this post was not useful for you!

Let us improve this post!

Tell us how we can improve this post?

Kirimi saya email ketika halaman ini telah diperbarui

Apakah artikel ini membantu ?
YaTidak

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *