Cara Membuat File Robots.txt Yang Sempurna Untuk SEO
Dengan menyiapkan file robots.txt Anda dengan cara yang benar, Anda tidak hanya meningkatkan SEO Anda sendiri, tetapi juga menghindarkan index berlebih yang terkadang berisikan informasi yang seharusnya tidak untuk publik dan juga membatasi link link taxonomi yang bisa menyebabkan duplikat konten dan bisa saja dianggap oleh google sebagai spam. ~ bindach
Pengalaman saya ngeblog baik menggunakan platform blogger / blogspot dan juga menggunakan platform self host wordpress, robots.txt sangat bermanfaat khususnya di wordpress untuk menjaga agar bot crawler dari search engine tidak merayapi dan mengindeks direktori yang sensitif untuk hal keamanan blog kita sendiri.
Cara Membuat File Robots.txt Yang Sempurna Untuk SEO | Bindach Blog |
Dengan robots.txt Anda bisa mengontrol bagaimana cara mesin pencari seperti google berinteraksi dengan halaman website anda dengan memakai file robots.txt. Robots.txt isi dari file tersebut nantinya akan memberitahu bot crawler mesin pencari bagaimana seharusnya mereka mengunjungi , mengcrwaling dan mengindex isi dari website anda.
Seberapa penting robots.txt?
tidak adanya file robots.txt, Anda berarti membiarkan website di-crawl oleh banyak bot. Tentu saja hal ini akan menyebabkan sebuah dampak negatif terhadap performa situs. Meskipun sepertinya ini hal yang sepele, Anda tetap tidak dapat menutup mata terhadap faktor page speed. Kecepatan loading website atau halaman tetaplah menjadi faktor utama.
Bila anda ingin melihat file robots.txt website tertentu, anda dapat mengetikan alamat website tersebut ditambah tulisan “robots.txt” di address bar browser anda. Sebagai contoh, anda dapat melihat robots.txt dari blog kami ini di
Seberapa penting robots.txt?
tidak adanya file robots.txt, Anda berarti membiarkan website di-crawl oleh banyak bot. Tentu saja hal ini akan menyebabkan sebuah dampak negatif terhadap performa situs. Meskipun sepertinya ini hal yang sepele, Anda tetap tidak dapat menutup mata terhadap faktor page speed. Kecepatan loading website atau halaman tetaplah menjadi faktor utama.
Bila anda ingin melihat file robots.txt website tertentu, anda dapat mengetikan alamat website tersebut ditambah tulisan “robots.txt” di address bar browser anda. Sebagai contoh, anda dapat melihat robots.txt dari blog kami ini di
https://bindach.blogspot.com/robots.txt
Untuk kalian yang memakai blog berplatform blogger / blogspot dapat menggunakan robots.txt seperti dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://NAMABLOGKAMU.com/sitemap.xml
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://NAMABLOGKAMU.com/sitemap.xml
*silahkan ubah NAMABLOGKAMU.com dengan url blog kalian
Dengan pengaturan robots.txt seperti diatas, maka User-agent: Mediapartners-Google yaitu bot dari google adsense akan diijinkan untuk melakukan crawl ke semua isi blog kita. sedangkan User-agent:* berarti semua jenis bot akan menggunakan aturan yang ada dibaris selanjutnya.
Dengan pengaturan robots.txt seperti diatas, maka User-agent: Mediapartners-Google yaitu bot dari google adsense akan diijinkan untuk melakukan crawl ke semua isi blog kita. sedangkan User-agent:* berarti semua jenis bot akan menggunakan aturan yang ada dibaris selanjutnya.
Untuk kalian yang memakai blog berplatform wordpress self host dapat menggunakan robots.txt seperti dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /s?=
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /
Sitemap: https://NAMABLOGKAMU.com/sitemap.xml
Disallow:
User-agent: *
Disallow: /s?=
Disallow: /wp-admin
Disallow: /wp-includes
Allow: /
Sitemap: https://NAMABLOGKAMU.com/sitemap.xml
*silahkan ubah NAMABLOGKAMU.com dengan url blog kalian
Dengan pengaturan robots.txt seperti diatas maka direktori /wp-admin (direkotori admin panel) dan direktori /wp-includes tidak akan di crawl oleh semua jenis bot, karena dua direktori tersebut cukup sensitif untuk wordpress. sedangkan /s?= adalah parameter pencarian atau search, dengan cara ini maka hasil pencarian dalam blog tidak akan diindeks dalam search engine. Karena dalam beberapa kasus, parameter tersebut dapat digunakan oleh kompetitor SEO anda untuk menjahati blog anda, dengan cara mencantumkan parameter tersebut diikuti dengan kata kunci yang tidak disukai mesin pencari, dengan cara ini akan mencegah hal buruk menimpa blog anda (you know what i mean lah~).
Share This :
comment 1 comments
more_vertThank gan infonya
9 Juli 2019 pukul 19.58