Skip to main content

Cara Seting Robots.txt Di Blog

Cara Seting Robots.txt Di Blog


Cara Seting Robots.txt Di Blog atau Cara Seting file robots.txt untuk Blogspot maupun wordpres sering diabaikan oleh Blogger Pemula... Padahal langkah itu juga bagian dari seo blog yang harus dioptimalkan... 

Oleh karena itu, pada kesempatan ini Masse.id akan berbagi ilmu seputar blogging, optimasi seo blog dan sejenisnya. Langsung saja ke topik initi yakni Bagaimana Cara seting/membuat dan membaca file robots.txt di Blogspot maupun wordpres. Pada dasarnya File robots.txt dibuat untuk menambahkan konten aturan yang mencegahatau mengizinkan mesin pencari dalam merayapi dan mengindeks URL situs web anda.

Baca Juga : Cara Cepat Diterima di Google Adsense

Mesin pencari, seperti Google, Bing, Yahoo, Twitter, Facebook, dll., Menggunakan algoritma yang disebut bot untuk merayapi link utama dari setiap halaman/page situs anda bot akan menganalisis, mengumpulkan semua URL yang berada didalam situs anda.

Bot akan akan bekerja sesuai dengan setingan yang anda terapkan di robots.txt situs anda. Dan dari setingan itu ia akan link mana yang akan diblokir, dan link mana yang diizinkan untuk diakses.

File robots.txt masih disukai oleh mesin pencari, ketika membaca konten file crawl, ia tahu link mana yang diizinkan untuk dirayapi dan diindeks dan tautan mana yang sedang diblokir.

Setiap perayap memiliki nama tertentu yang secara eksplisit ditentukan dalam konten file robots.txt sebagai contoh berikut: Google - Googlebot, Bing - Bingbot, Yahoo - Yahoobot, Twitter - Twitterbot, Facebook - Facebot ..., selain itu Jadi Anda dapat menentukan secara tidak jelas dengan atribut (*)

Setelah setiap jenis bot ditambahkan dengan 2 aturan: Bolehkan (izinkan) dan Larang (blok)

Cara membuat file robots.txt

Struktur file robots.txt  adalah sebagai berikut:

User-agent: Bot name of search engine

Disallow: Link blocked

Allow: Link allows

Sitemap: <domain> /sitemap.xml Sitemap


Contoh ilustrasi:

Misalkan saya akan bolehkan bot Google, Twitter, Facebook, mitra Google (Adsense) mengumpulkan data sebagai berikut:


User-agent: Googlebot

User-agent: Twitterbot

User-agent: Facebot

Disallow: / p

Disallow: / search

Allow: /

User-agent: Mediapartners-Google

Allow: /

Sitemap: https://www.masse.id/sitemap.xml


Saat membaca konten dalam file yang dapat dipahami oleh bot dari Google, Twitter, Facebook memblokir semua tautan halaman statis (/ p) dan halaman pencarian (/ search) dan memungkinkan Google Mediapartners-mitra Google untuk mengumpulkan semua tautan.

Tambahkan aturan filter dari tautan yang diblokir atau blokir tautan dari tautan yang diizinkan. 

Baca Juga : Cara Mengalihkan atau Redirect URL Blog Lama ke Blog Baru

Misalkan 2 aturan: Larang: / p dan Larang: / aturan tambahkan pencarian Izinkan filter untuk mendapatkan link yang disertakan dalam link-link yang diblokir ini dan memblokir link dari Perbolehkan: / link, mis.,


User-agent: Googlebot

User-agent: Twitterbot

User-agent: Facebot

Disallow: / p

Disallow: / search

Disallow: / 2018/11 / how-to-write-vietnam-facebook-safe-and-pay-high-tech .html

Allow: /

Allow: /p/about-us.html

Allow: / search / label / blogspot-seo

User-agent: Mediapartners-Google

Allow: /

Sitemap: https://www.masse.id/sitemap.xml


Tambahkan aturan (*) pemfilteran lanjut


Disallow: *? ShowComment = *

Disallow: *? Spref = fb

Disallow: *? Spref = tw

Disallow: *? Spref = gp

Disallow: *? Spref = pi

Disallow: *? Utm_source = *


Dengan aturan tambahan ini (*), apa pun linknya, yang mengandung nilai di belakang tanda bintang (*) akan diblokir.

Baca Juga : Cara Menghapus Broken Link Pada Blog Untuk Meningkatkan Pagerank

Comment Policy: Silahkan tuliskan komentar Anda yang sesuai dengan topik postingan halaman ini. Komentar yang berisi tautan tidak akan ditampilkan sebelum disetujui.
Buka Komentar
Tutup Komentar