 |
| Sumber Gambar: wpbeginner.com |
Hanya saja, website saat ini memuat lebih banyak elemen dan tidak hanya sekadar halaman saja. Misalnya, WordPress memungkinkan Anda untuk menginstall plugin yang terkadang juga memiliki direktori bawaan. Tentu saja Anda tidak ingin plugin atau direktorinya muncul di hasil pencarian padahal sama sekali tidak ada kaitannya.
File robots.txt menyediakan sekumpulan instruksi untuk bot mesin pencari. Instruksi tersebut seolah memberi notifikasi: “Yang Anda cari ada di sini. Anda tidak perlu masuk ke ruang lainnya!”. Informasi dan instruksi pada file ini cukup jelas dan mudah untuk dibuat, bahkan jika Anda bukan seorang yang paham masalah teknis.
Pemilik situs pasti juga menginginkan situs miliknya berada di peringkat atas pencarian Google. Namun, mesin pencari Google tidak bisa membedakan halaman mana yang boleh dan tidak boleh diindeks. Agar halaman setiap situs dapat terindeks dengan rapi dan membatasi halaman yang tidak boleh diindeks, Anda membutuhkan file robots.txt. Apa itu robots.txt dan bagaimana cara setting robot txt di WordPress? Kami akan membahasnya melalui artikel ini.
Sebelum itu, perlu diketahui bahwa dengan memberikan robots.txt pada situs, maka akan memberikan tanda ke Google ke mana saja akses yang harus dilakukan dan halaman mana saja yang perlu diindeks.
Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google. Tujuannya adalah untuk menaikan peringkat situs di Search Engine Result Pages (SERP) dan proses indexing lebih terstruktur.
Baca juga: Tutorial Lengkap Cara SEO Install Website WordPress Self Hosting untuk Pemula
Pengertian Robots.txt
Robots.txt is a text file webmasters create to instruct web robots (typically search engine robots) how to crawl pages on their website. The robots.txt file is part of the the robots exclusion protocol (REP), a group of web standards that regulate how robots crawl the web, access and index content, and serve that content up to users. The REP also includes directives like meta robots, as well as page-, subdirectory-, or site-wide instructions for how search engines should treat links (such as “follow” or “nofollow”).
In practice, robots.txt files indicate whether certain user agents (web-crawling software) can or cannot crawl parts of a website. These crawl instructions are specified by “disallowing” or “allowing” the behavior of certain (or all) user agents.
User-agent: [user-agent name] Disallow: [URL string not to be crawled]
Robots.txt bertugas untuk memisahkan halaman yang tidak ingin Anda tampilkan ke dalam mesin pencari. Dikarenakan meskipun tidak ada file ini Google tetap akan melakukan proses ‘crawl’ sampai dengan keseluruhan halaman yang ada di situs.
Selain itu robots.txt juga bertugas untuk menghalangi beberapa situs pencari agar tidak melakukan crawl situs. Hal ini bertujuan untuk mengurangi beban yang harus diterima oleh situs.
Jadi intinya, robots.txt membantu mesin pencari untuk memilih halaman situs mana saja yang akan ditampilkan pada mesin pencari. Pengguna juga bisa menyesuaikan halaman yang boleh ditampilkan pada mesin pencarian Google.
Letak File Robots.txt
File robots.txt sebenarnya sudah ada di dalam folder root pada server penyimpanan file situs atau yang biasa disebut dengan public_html. Hanya saja robots.txt merupakan file virtual yang tidak bisa diakses maupun diganti melalui direktori manapun. Jadi, ketika Anda membuka halaman public_html maka tidak ditemukan file robots.txt di sana.
Agar dapat memodifikasi rule robots.txt harus menambahkan file baru di sana. Membuat sendiri file robots.txt yang diletakkan di dalam folder public_html dan memasukkan skrip konfigurasi secara manual.
File baru yang dibuat bertugas menjadi file replacement yang nantinya akan menimpa file konfigurasi yang sudah ada.
Rule File Robots.txt di WordPress
Konfigurasi robots.txt termasuk cukup simpel dikarenakan hanya ada beberapa perintah saja yang diperlukan. Berikut ini adalah contoh dari konfigurasi file robots.txt yang dapat Anda terapkan.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Atau Anda dapat menambahkan beberapa konfigurasi lain untuk mengizinkan beberapa situs pencari untuk melakukan ‘crawl’. Anda cukup menambahkan beberapa baris skrip seperti dibawah ini.
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://karsanusantara.com/sitemap.xml
Keterangan:
User-agent: bagian ini digunakan untuk mendeskripsikan rule jenis/nama robot.
Allow: untuk menambahkan bagian mana yang dapat diakses oleh robot.
Disallow: untuk mendeskripsikan bagian yang tidak boleh diakses oleh robot.
Skrip di atas merupakan contoh dari robots.txt yang digunakan untuk mengarahkan mesin pencari untuk pemindaian isi dari situs web. Anda dapat mengatur skrip tersebut sesuai dengan kebutuhan. Misalnya, jika terdapat halaman forum, maka yang perlu dilakukan adalah disallow folder forum agar tidak terbaca oleh mesin pencarian agar tidak muncul pada hasil pencarian. Bisa jadi jika tidak disallow maka seluruh thread yang ada di dalam forum tersebut akan terindeks.
Cara Setting Robot TXT di WordPress
Menggunakan Plugin All in One SEO PackSetidaknya ada empat cara setting robot txt di WordPress menggunakan plugin All in One SEO Pack.
Anda perlu melakukan instalasi plugin All in One SEO Pack jika belum melakukan proses instalasi. Jangan lupa mengaktifkannya setelah proses unduhan selesai.
Setelah proses instalasi selesai, kemudian masuk ke dalam menu All in One SEO. Kemudian mengaktifkan fitur robots.txt yang ada di dalamnya.
Di dalam plugin ini juga terdapat beberapa fitur yang dapat Anda manfaatkan sekaligus, jadi tidak perlu melakukan instalasi plugin yang lainnya.
3. Klik Robots.txt
Saat robots.txt sudah aktif, Anda akan melihat pilihan menu robots.txt di panel bagian kanan. Klik menu tersebut dan Anda akan diarahkan pada menu robots.txt.
Di dalam menu ini Anda dapat menambahkan user-agent, rule, dan directory-pathyang akan dimasukkan ke dalam file.
Anda tidak perlu khawatir dalam menambahkan rule di dalam plugin, karena sewaktu-waktu dapat menghapusnya. Tinggal sesuaikan saja pengaturan yang diinginkan dan disesuaikan dengan mesin pencari.
Baca juga: 5 Cara Mempercepat Loading Blog WordPress dengan Mudah
Menggunakan Plugin Yoast SEO
Cara setting robot txt di WordPress kedua adalah dengan menggunakan plugin Yoast SEO. Plugin ini fungsinya hampir sama dengan All in One SEO Pack. Berikut ini adalah langkah-langkah yang diperlukan untuk setting robots.txt di WordPress.
3. Membuat File Robots.txt: Pada halaman selanjutnya akan ada pilihan untuk “Create a New Robots.txt”. Pada halaman ini, masukkan rule yang ingin diterapkan pada situs web.
Anda dapat menyesuaikan dengan kebutuhan situs Anda masing-masing.
Mengunggah Manual File Robots.txt
Cara setting robot txt di WordPress yang terakhir adalah dengan mengunggahnya secara manual menggunakan FTP atau melakukan akses ke panel hosting.
Anda dapat membuat terlebih dahulu file robots.txt menggunakan aplikasi note di perangkat desktop. Pada contoh ini kami menggunakan Atom.
Masukkan rule ke dalam file dan klik “Save”.
2. Mengunggah File Robots.txt ke Server Hosting
Anda dapat mengunggah file robots.txt menggunakan beberapa cara, salah satu cara yang bisa dilakukan adalah dengan menggunakan FTP. Selain itu juga dapat mengunggahnya melalui panel admin layanan hosting.
Submit ke Google Search Console
Anda dapat memastikan jika file robots.txt yang sudah dibuat memang benar dan memastikan tidak ada error yang muncul. Pengecekan dapat dilakukan dengan menggunakan Google Search Console.
Kesimpulan
Robots.txt dapat mempermudah Google untuk menentukan halaman mana saja yang boleh dan dapat untuk di ‘crawl’. Selain itu robots.txt juga memberikan arahan atau petunjuk jalan agar Google melakukan ‘crawl’ pada file atau folder tertentu.
Cara setting robot txt di WordPress juga tidak terlalu rumit. Caranya pun juga bermacam-macam sehingga bisa dipilih sesuai dengan pemahaman masing-masing orang. Cara yang paling sederhana adalah dengan menggunakan plugin. Saat menggunakan plugin pengguna tidak perlu mengetikkan kode program atau ‘rule’ robots.txt secara manual.
Sederhananya, mesin pencari akan melakukan perayapan atau dalam bahasa blogger sering disebut crawling situs Anda meskipun tidak ada file robots.txt yang disetting. Hanya saja, sangatlah tidak efisien jika Anda tidak mengaktifkan file ini. Tanpa file ini, Anda membiarkan bot mengindex semua konten dan alhasil, bagian-bagian yang ingin disembunyikan malah ditampilkan di mesin pencari.
Tambahan lagi, tanpa adanya file robots.txt, Anda membiarkan website di-crowl banyak bot. Tentu saja hal ini akan memberikan dampak negatif terhadap performa situs. Meskipun kedengarannya sepele, Anda tetap tidak bisa menutup mata terhadap faktor page speed. Kecepatan loading situs atau halaman haruslah menjadi faktor utama.
