IKLAN
Kontak Saya
300x250
Selamat Datang Di BiriBisi

Kamis, 09 Februari 2017

Cara Setting Robots.txt Khusus



Para pemilik blog menggunakan file robots.txt untuk memberikan petunjuk tentang situs mereka ke robot-robot web. File robot.txt ini disebut Protokol Pengecualian Robot.


Saat sebuah robot web ingin mengunjungi URL situs web, maka ia mengatakan http://www.biribisi.com/welcome.html. Namun sebelum melakukannya, mula-mula ia memeriksa http://www.biribisi.com/robots.txt, dan menemukan:

User-agent: *

Disallow: /

User-agent: * berarti bagian ini berlaku untuk semua robot.


Disallow: /  berarti melarang kepada semua robot untuk mengunjungi setiap halaman di blog.


Ada dua pertimbangan penting ketika menggunakan robots.txt:

  • Robot dapat mengabaikan robots.txt anda. terutama malware robot yang memindai web untuk kerentanan keamanan, dan alamat email pemanen yang digunakan oleh spammer yang akan membayar "no attention".
  • File robots.txt adalah sebuah file yang tersedia untuk umum. siapa pun bisa melihat bagian apapun dari server anda yang anda ingin tidak digunakan oleh robot. Jadi jangan mencoba untuk menggunakan robots.txt untuk menyembunyikan informasi.



Apa itu robots.txt?


Robots.txt adalah sebuah file yang di buat untuk memberi petunjuk tentang sebuah blog kepada robot-robot perambah web yang di gunakan oleh mesin-mesin pencari.

Baca Cara Membuat Blog.
Format File Robots.Txt Default blogger


Semua blog yang di buat di Blogger.com sudah memiliki file robot.txt didalamnya. Dan untuk mengetahui file robots.txt default yang digunakan blog anda, maka tempatkanlah kata robots.txt di direktori web server paling depan.


Contoh: http://www.biribisi.com/robots.txt


Hasilnya:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.biribisi.com/sitemap.xml

1.User-agent: Mediapartners-Google berarti bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantunya untuk menampilkan iklan yang relevan di blog anda sesuai kedudukan (niche) blog anda.


2.Disallow: berarti larangan bagi setiap robot tidak di berlakukan.


3. User-agent: * berati baguan ini berlaku untuk semua robot web dari mesin-mesin pencari  (search engine).


4. Disallow: /search berarti di larang merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link yang memiliki kata kunci pencarian tersebut setelah nama domain akan diabaikan atau tidak akan terindeks.


5. Allow: / berarti mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog anda.


6.Sitemap: http://www.biribisi.com/sitemap.xml. Ini akan mempermudah robot untuk merayapi dan mengindex setiap artikel yang di terbitkan.


Catatan:

File robots txt default blogger ini sudah sangat baik, karena itu sebaiknya anda tidak perlu melakukan pengeditan lagi, apalagi jika pengeditan yang anda lakukan salah, maka akan berakibat fatal bagi blog anda, yaitu blog anda justru akan di abaikan oleh mesin pencari.

Pengeditan sederhana


Namun Jika anda tetap ingin melakukan pengeditan terhadap file robots.txt, maka saya tekankan untuk berhati hati. Berikut ini contoh file robots.txt hasil editan yang di gunakan oleh sebagaian pengguna blog (bloger):


User-agent: Mediapartners-Google

Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.biribisi.com/sitemap.xml

Dalam file ini cuma ada satu pengeditan, yaitu kode "Disallow: /p/about.htnl yang berarti melarang robot-robot web untuk merayapi halaman statis. Sebelumnya kodenya adalah "Disallow: /search.


Pengeditan lebih luas


Kalau anda ingin melakukan pengeditan yang lebih luas lagi, maka anda bisa menggunakan yang berada di bawah ini yang berguna untuk mencegah penduplikatan konten yang terdapat di blog anda, itu bisa disebabkan karena di akses melalui mobile phone. Dan anda bisa mencegahnnya dengan mengedit file robots.txt anda menjadi seperti berikut:


User-agent: Mediapartners-Google

Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.biribisi.com/sitemap.xml

Catatan:

Sebaiknya anda perlu mempertimbangkan untuk melakukan pengeditan seperti ini, karena untuk saat ini kebanyakan orang mencari sesuatu di internet menggunakan hp android. Dan jika anda menyetting robots.txt blog anda seperti ini, maka blog anda di khawatirkan tidak bisa di akses pakai android. Itu berarti blog anda akan menjadi sepi dari pengunjung. Baca juga Cara Membuat Desktipsi Penelusuran Terbaik Ala Biribisi.

Cara pengaturan robots.txt khusus


Untuk melakukan pengaturan robots.txt anda perlu masuk ke dashbord blog anda terlebih dahulu, kemudian masukkan kode-kode diatas yang anda pilih kedalam kotak yang tersedia. Berikut ini langkah-langkahnya:


√Pertama. Simpan file robots.txt yang telah anda pilih, kemudian masuk ke dashbord blog anda

√Kedua. Pilih menu "Stelan", kemudian pilih "Preferensi penelusuran"
√Ketiga. Klik "Edit" pada "robots.txt khusus?" lalu klik "Ya"
√Keempat. Pastekan hasil copian ke dalam kotak yang tersedia
√Kelima. Klik "Simpan perubahan". Selesai.

Cara pengaturan tag tajuk robot khusus


Sebelum anda melakukan pengaturan pada tag tajuk robot khusus ini sebaiknya anda mengetahui bagaimana caranya melakukan pengaturan yang baik. Perlu anda ketahui bahwa file tag tajuk robot khusus ini terdiri dari 3 bagian:


  • Bagian pertama adalah tag tajuk (header) untuk halaman Beranda (homepage) blog anda. Secara default biarkan saja kosong atau jangan centang apa pun, kecuali anda benar-benar tahu fungsinya.
  • Bagian kedua adalah tag header untuk Laman Arsip dan Penelusuran blog anda. Sebaiknya di sini anda hanya mencentang noindex dan noarchive saja, agar robot-robot web tidak mengindeks halaman arsip dan halaman pencarian, sehingga blog anda bisa lebih seo.
  • Bagian ketiga adalah tag header untuk Default untuk Pos dan Laman. Di sini sebaiknya anda kosongkan semua atau tidak mencentang apapun. Biarkan robot web merayapi semua halaman pos dan laman beserta gambar-gambar yang ada di dalamnya.
Untuk mengatur tag tajuk robot khusus ini langkah-langkahnya hampir sama dengan cara pengaturan robots.txt khusus. Berikut ini detilnya:

√Pertama. Masuk ke dashbord blog anda, kemudian pilih "Setelan"

√Kedua. Pilih menu   "Preferensi penelusuran", lalu klik "Edit" pada "Tag Tajuk Khusus?"
√Ketiga. Pilih "Ya"
√Keempat. Centang "noindex" dan "noarchive" pada tag tajuk (header) "Laman Arsip dan Penelusuran"
√Kelima. "Simpan perubahan". Selesai.
Lihat Cara Membuat Baca selengkapnya Atau Read more.
Demikianlah tutorial dan panduan cara menyeting robots.txt khusus dan tag tajuk khusus yang bisa saya sajikan untuk anda. Semoga bernanfaat. Amin!


Comments
0 Comments

Tidak ada komentar: