Cara Membuat File Robots.txt Yang Sempurna Untuk SEO

Cara Membuat File Robots.txt Yang Sempurna Untuk SEO

Dengan menyiapkan file robots.txt Anda dengan cara yang benar, Anda tidak hanya meningkatkan SEO Anda sendiri, tetapi juga menghindarkan index berlebih yang terkadang berisikan informasi yang seharusnya tidak untuk publik dan juga membatasi link link taxonomi yang bisa menyebabkan duplikat konten dan bisa saja dianggap oleh google sebagai spam. ~ bindach

Pengalaman saya ngeblog baik menggunakan platform blogger / blogspot dan juga menggunakan platform self host wordpress, robots.txt sangat bermanfaat khususnya di wordpress untuk menjaga agar bot crawler dari search engine tidak merayapi dan mengindeks direktori yang sensitif untuk hal keamanan blog kita sendiri.

Cara Membuat File Robots.txt Yang Sempurna Untuk SEO | Bindach Blog

Dengan robots.txt Anda bisa mengontrol bagaimana cara mesin pencari seperti google berinteraksi dengan halaman website anda dengan memakai file robots.txt. Robots.txt isi dari file tersebut nantinya akan memberitahu bot crawler mesin pencari bagaimana seharusnya mereka mengunjungi , mengcrwaling dan mengindex isi dari website anda.

Seberapa penting robots.txt?
tidak adanya file robots.txt, Anda berarti membiarkan website di-crawl oleh banyak bot. Tentu saja hal ini akan menyebabkan sebuah dampak negatif terhadap performa situs. Meskipun sepertinya ini hal yang sepele, Anda tetap tidak dapat menutup mata terhadap faktor page speed. Kecepatan loading website atau halaman tetaplah menjadi faktor utama.

Bila anda ingin melihat file robots.txt website tertentu, anda dapat mengetikan alamat website tersebut ditambah tulisan “robots.txt” di address bar browser anda. Sebagai contoh, anda dapat melihat robots.txt dari blog kami ini di

https://bindach.blogspot.com/robots.txt

Untuk kalian yang memakai blog berplatform blogger / blogspot dapat menggunakan robots.txt seperti dibawah ini

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://NAMABLOGKAMU.com/sitemap.xml

*silahkan ubah NAMABLOGKAMU.com dengan url blog kalian
Dengan pengaturan robots.txt seperti diatas, maka User-agent: Mediapartners-Google yaitu bot dari google adsense akan diijinkan untuk melakukan crawl ke semua isi blog kita. sedangkan User-agent:* berarti semua jenis bot akan menggunakan aturan yang ada dibaris selanjutnya.

Untuk kalian yang memakai blog berplatform wordpress self host dapat menggunakan robots.txt seperti dibawah ini

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /s?=
Disallow: /wp-admin
Disallow: /wp-includes

Allow: /
Sitemap: https://NAMABLOGKAMU.com/sitemap.xml

*silahkan ubah NAMABLOGKAMU.com dengan url blog kalian

Dengan pengaturan robots.txt seperti diatas maka direktori /wp-admin (direkotori admin panel) dan direktori /wp-includes tidak akan di crawl oleh semua jenis bot, karena dua direktori tersebut cukup sensitif untuk wordpress. sedangkan /s?= adalah parameter pencarian atau search, dengan cara ini maka hasil pencarian dalam blog tidak akan diindeks dalam search engine. Karena dalam beberapa kasus, parameter tersebut dapat digunakan oleh kompetitor SEO anda untuk menjahati blog anda, dengan cara mencantumkan parameter tersebut diikuti dengan kata kunci yang tidak disukai mesin pencari, dengan cara ini akan mencegah hal buruk menimpa blog anda (you know what i mean lah~).

Share This :