Pada diskusi sebelumnya, kita telah berdiskusi cara melakukan setting meta tag SEO friendly yang biasa digunakan oleh para blogger dengan platform wordpress self hosting.
Selain itu, cara mudah dalam menghindari terjadinya duplikat konten dan untuk meningkatkan SEO sebuah blog dengan melakukan setting robot.txt.
Namun, membuat dan memelihara file robots.txt yang benar kadang-kadang tidak hanya penting tetapi juga sulit untuk dilakukan. Jika Anda memiliki situs dengan jumalah halaman dan direktori yang begitu banyak, serta menerapkan block URL tertentu dapat cukup sulit bagi seorang publisher.
Untuk membuatnya lebih sederhana dan lebih mudah, Google menyediakan alat pengujian robots.txt yang sangat handal. Di artikel ini, kami akan menunjukkan bagaimana cara menguji file robots.txt Anda dengan tester robots.txt di Blogger.
Artikel lanjutan: 8 kesalahan optimasi SEO blog
Cara Menguji File Robots.txt Menggunakan Robots.txt Tester di Blogger
Sebenarnya Apa sih yang dimaksud Robots.txt Tools?
Alat robots.txt tester merupakan sebuah alat yang bisa kita gunakan dan akan memberikan informasi rinci kepada kita, apakah file robots.txt saat melakukan memblokir pada perayapan oleh crawler pencarian Google dalam mengakses setiap URL tertentu di situs Anda. Untuk membuatnya lebih sederhana, Anda dapat menggunakan alat ini untuk menguji apakah crawler bot Google dapat merayapi URL dari halaman yang ingin Anda blok dari mesin pencari Google.
Bagaimana Menguji file Robots.txt Anda dengan Robots.txt tools?
Caranya cukup mudah. Hal pertama yang perlu Anda lakukan adalah untuk login ke alat Webmaster Google, kemudian pergi ke Robots.txt tester dan dari daftar properti terverifikasi pilih salah satu yang akan Anda uji.
Sekarang akan melihat berkas robots.text Anda saat ini, Anda dapat menguji URL yang berbeda. Ketik URL dalam kotak teks hadir di bagian bawah halaman dan tekan tombol Test.
Dalam halaman tersebut, akan terlihat caption tombol tes akan baik berubah menjadi “ACCEPTED” atau “BLOCKED“, itu tergantung apakah URL yang Anda masukkan telah memblokir akses dari crawler Google atau tidak.
Mudah kan? Jika memang dirasa masih ada yang “salah” dengan perayapan Google terhadap situs Anda, silakaukan perbaikan semaksimal mungkin untuk memperoleh hasil yang bagus di search engine Google. Setelah selesai, silakan masukkan kembali perbaruan file robots.txt tersebut ke dalam pengaturan blog Anda.
Catatan:
Robots.txt tools ini tidak berfungsi untuk melakukan pembaruan, pembenaran atau merubah file robots.txt Anda. Sehingga, Anda perlu melakukan perbaikan secara manual terhadap file robots.txt yang dirasa kurang maksimal tadi.
Demikian informasi yang menurut saya penting tentang Cara Menguji File Robots.txt Menggunakan Robots.txt Tester di Blogger. Semoga bermanfaat, salam blogging.
