Melihat Website/Internet Bot Yang Datang Berkunjung

Selamat Siang Kawan MM!

Tahukah kawan kalau sebuah website itu sering kedatangan “pengunjung gaib” yang bukan manusia? Disebut gaib karena mereka “ada” tetapi tidak kelihatan.

Kapan mereka datang tidak diketahui, pulangnya juga tidak pamitan. Persis kayak jelangkung.

Nama pengunjung gaib itu website atau internet bot. Kerap juga disebut bot saja, atau ada yang menyebutnya crawler (penjelajah) atau robots.

Bentuknya tidak kelihatan karena pada dasarnya merupakan aplikasi atau script yang menjalankan tugas yang diberikan kepadanya.

Melihat Website Internet Bot Yang Datang Berkunjung

Biasanya tugasnya adalah mengumpulkan data/url atau informasi dari berbagai website yang ada di dunia. Mesin-mesin pencari seperti Google, Bing, Yahoo, Baidu, menggunakan bot untuk melaksanakan tugas ini yang kemudian disimpan di server mereka.

Tetapi, ada juga bot yang mirip santet digunakan untuk tugas jahat seperti yang biasa digunakan oleh hacker untuk membobol atau merusak sebuah website.

Oleh karena itulah, sebuah blog/website disarankan memiliki robots.txt yang isinya pada dasarnya “code of conduct” atau tata tertib bagi para bot yang datang. Disana dicantumkan, bagian yang boleh dijelajahi atau tidak. Mirip seperti tata tertib bagi tamu supaya tidak nyasar ke kamar yang salah.

Kehadiran mereka meski tidak terlihat, tapi pasti meninggalkan jejak. Kebetulan, salah satu menu di dashboard Cloudways bukan hanya bisa merekam pengunjung berdasarkan IP, tetapi juga memilah pengunjung gaib ini.

Silakan lihat daftarnya dalam satu hari.

Rupanya, tamu bot yang datang ke Maniak Menulis bukan cuma Googlebot saja, tetapi juga dari beberapa nama terkenal lain, seperti Yandex (mesin pencari Rusia), Semrush, Ahrefs, dan beberapa lagi lainnya.

Mereka diundang? Tidaklah. Para bot ini datang sendiri sesuai perintah tuannya.

Yang seperti inilah mengapa dulu di saat saran “setelah mempublish artikel, kirim ulang sitemap ke Google” lagi ngetop, saya bilang untuk apa? Nambah kerjaan saja, karena saya pikir, bahkan tanpa mengirimkan sitemap ke Google Search Console pun, sebuah laman akan tetap didata dan diindex oleh Google.

Semua ya karena para pengunjung website / internet yang tidak berwujud ini. Pekerjaan mereka memang berkelana dan menjelajah dunia website di balik layar untuk menjadi pengepul url/data/informasi.

Dan, percayalah, blog Kawan pun pasti setiap hari kedatangan para tamu gaib, cuma Anda tidak menyadari.

4 thoughts on “Melihat Website/Internet Bot Yang Datang Berkunjung”

  1. Berarti blog saya juga kadang kedatangan bot juga ya pak, cuma karena ngga meninggalkan komentar jadinya ngga tahu.

    Selain mencari celah, bot jahat juga biasanya ada tugas lainnya. Biasanya tergantung perintahnya sih. Ada bot yang juga bertugas meningkatkan visitor, biasanya sih dari China itu, namanya jingling. Kalo pakai jingling maka bisa mendapatkan puluhan ribu traffic dalam sehari. Sepertinya enak ya, ngga usah blog walking banyak visitor.

    Cuma sekarang google galak. Jika ketahuan pakai jingling untuk menaikkan visitor maka blognya akan dianggap spam dan tidak nongol di pencarian google. Kadang ada juga orang iseng yang jingling blog kita, tanpa ada pengunjung organik dari google kok tiba-tiba pengunjung naik drastis puluhan ribu. Eh ternyata kena jingling. Biasanya sih agar blog kita jadi de-index atau tidak terindeks oleh google.

    Tapi tenang saja, google bisa deteksi apakah itu jingling dari kita sendiri ataukah orang iseng.

    Reply

Leave a Reply to Agus warteg Cancel reply