Cara menulis file Robots.txt dengan mudah - 7 Tahap Emas untuk Ikuti

Original

Robots.txt file adalah sebuah misteri untuk banyak blogger seperti saya. Tetapi kenyataannya adalah, tidak ada di dunia ini yang misteri kecuali Anda menjelajahi itu benar-benar. Jika Anda khawatir tentang bagaimana menulis robots.txt file mudah, tidak pernah panik. Sama seperti sederhana seperti Anda menulis posting blog atau mengedit setiap artikel yang sudah ada. Semua Anda harus tahu adalah apa perintah ini digunakan untuk tindakan. Biasanya robot/laba-laba merangkak situs kami untuk banyak hal, mungkin itu menjadi halaman artikel, panel admin kami, tag, arsip, apa tidak. Mereka hanya indeks apa pun terlihat dan dapat diakses bagi mereka. Hal ini sangat sangat penting untuk membatasi mereka mengindeks segala sesuatu dari website kami. Sama seperti kita membatasi orang asing kami untuk nongkrong di apartemen kami.

File /robots.txt situs akan berlokasi di www.domain-name.com/robots.txt . Sebagai contoh,http://tipsmasakini22.blogspot.com/robot.txt. Biasanya Robots.txt file ini juga dikenal sebagai robot pengecualian protokol. Jadi setiap kali sebuah robot yang mengunjungi website Anda, itu harus pertama kunjungi halaman /robots.txt, dan kemudian mengunjungi halaman lain untuk mengindeks.

Bagaimana menulis Robots.txt File mudah: 7 tahap

Hari ini kita akan memeriksa bagaimana kita dapat membatasi Spider mesin pencari untuk menjelajah situs kami untuk hal-hal yang tidak diinginkan. Anda harus tahu fase emas 6 untuk menulis /robots.txt file. Dan Anda juga harus tahu dasar dan memajukan atleast perintah untuk satu kali untuk menulis /robots.txt file. Karena, Anda tidak mengedit setiap hari. Setelah Anda selesai dengan perintah Anda, Anda akan tidak menyentuh lagi (hanya mengatakan). Anda jelas dapat mengedit masalah kapan pun Anda bisa. Mari kita lihat perintah yang paling penting dan fase untuk menulis file berhasil /robots.txt.

Tahap 1: Perbedaan antara * dan / entri

Sehingga sebelum menulis file /robots.txt yang sukses, Anda harus tahu perintah dasar dan penggunaannya. Hal pertama yang perlu Anda ketahui tentang /robots.txt adalah agen-pengguna  command. Next comes the Disallow command which is explained as below.

User-agent: *
Melarang:

Di sini, User-agent: *  means that the section is applied to all the robots. * is called the wildcard, which usually means all. Coming to the Disallow command, this tells the robots that they cannot index anywhere they want.  So the * here means, robots should read all the matter before proceeding.

User-agent: *
Melarang: /

Disallow: / di sini berarti bahwa robot tidak diperbolehkan untuk menjelajah apa-apa. Jadi sekarang Anda punya perbedaan? jika * kemudian mengindeks semua, jika / kemudian tidak mengindeks apa-apa!

Tahap 2: Advance perintah dalam Robots.txt file

Sehingga kami menemukan perbedaan antara * dan /, sekarang saatnya untuk belajar sedikit lebih tentang kemajuan perintah dalam /robots.txt file. Dimulai dengan User-agent dan Disallow, kami akan memperoleh beberapa perintah untuk melarang robot yang tidak diinginkan dari mengakses situs kami.

User-agent: *
Melarang: /cgi-bin /

Ini perintah di atas berarti bahwa semua file robot tidak diperbolehkan untuk indeks apa saja dalam folder cgi-bin. Yang berarti, jika folder cgi-bin memiliki subfolder dan halaman seperti cgi-bin/newsite.cgi atau cgi-bin/example/idontknow.cgi, maka mereka tidak akan diindeks atau diakses oleh robot.

Dan jika Anda ingin membatasi file tertentu robot, kemudian menyebutkan nama robot untuk membatasi mengindeks situs Anda.

User-agent: Googlebot-gambar
Melarang: /

Dalam contoh di atas, kita membatasi bot pencarian gambar Google untuk mengindeks situs kami untuk gambar. Di sini, Googlebot-gambar adalah robot yang kita berusaha untuk melarang dari situs kami. Jadi tanpa izin dari /robots.txt, Googlebot-gambar tidak mengindeks setiap file dalam direktori root "/" semua subfolder. wont indeks apa pun dari situs Anda. Bot ini biasanya digunakan untuk memindai gambar untuk menunjukkan mereka dalam pencarian gambar Google.

Tahap 3: Perbedaan antara /something/ dan / sesuatu

Di sini kita akan melihat bagaimana kita dapat membatasi berbeda file, folder atau tempat-tempat yang dapat merugikan diri sendiri kesehatan.

User-agent: *
Melarang: /cgi-bin /
Melarang: / wp-admin /
Melarang: /wp-content /
Melarang: / WP-termasuk

/Robots.txt panjang di atas perintah memberitahu robot bahwa apa pun dalam cgi-bin direktori ini tidak dapat diakses oleh bot. Demikian pula wp-admin, wp-content, wp-termasuk direktori dibatasi untuk pelanggaran oleh robot.

ALOS Anda harus dicatat yang sangat penting mengenai penggunaan "/". Jika Anda ingin untuk menyebutkan direktori atau folder di situs Anda, maka mereka harus mulai dan berakhir dengan "/" dalam /robots.txt file. Sebagai contoh,

User-agent: *
Melarang: /cgi-bin /

Ini akan memberitahu robot adalah bahwa cgi-bin direktori. Dan

User-agent: *
Melarang: /cgi-bin

Ini akan memberitahu robot untuk mengobati cgi-bin tidak sebuah direktori, tapi sebagai file dalam situs web Anda. Seperti cgi-bin.html atau sesuatu. Jadi menghindari membuat kesalahan hilang "/" di awal dan akhir untuk direktori.

Tahap 4: Cara membatasi gambar yang tidak diinginkan

Jika Anda tidak ingin bot Google untuk mengindeks gambar tertentu, Anda dapat membatasi untuk.

User-agent: Googlebot-gambar
Melarang: /images/adsense.jpg

Menggunakan perintah di atas, Anda dapat membatasi Googlebot-gambar ke indeks adsense.jpg gambar.

Tahap 5: Cara membatasi halaman yang tidak diinginkan

Hanya mirip dengan perintah di atas, Anda dapat juga membatasi halaman tertentu di file /robots.txt Anda.

User-agent: *
Melarang: /seosiren/adsense.html
Melarang: /seosiren/applications.html
Melarang: /seosiren/secret.html

Perintah di atas mengatakan robot untuk indeks atau menjelajah di atas disebutkan halaman. /seosiren/ di sini berarti direktori, dan adsense.html, applications.html, secret.html sebagai halaman. Jadi kita membatasi /seosiren/ serta halaman lain menjadi indeks.

Tahap 6: Apakah /robots.txt sempurna tata letak file?

File /robots.txt Anda harus sesuatu seperti ini,

Sitemap: http://www.seosiren.com/sitemap.xml

User-agent: *
Melarang: /cgi-bin /
Melarang: / wp-admin /
Melarang: /wp-content /
Melarang: / WP-termasuk /
Melarang: /recommended/
Melarang: /comments/feed /
Melarang: /wp-content/plugins /
Melarang: /trackback/
Melarang: Software untuk mem flash
Melarang: /xmlrpc.php

User-agent: Mediapartners-Google *
Memungkinkan: /

User-agent: Googlebot-gambar
Izinkan: /wp-content/uploads /

User-agent: Adsbot-Google
Memungkinkan: /

User-agent: Googlebot-Mobile
Memungkinkan: /

Di sini dalam file /robots.txt di atas, kita membatasi direktori yang paling penting dan file untuk diindeks atau dijelajahi oleh robot.

Tahap 7: Knock Off!

Jika Anda tidak jelas atau masih bingung tentang berkas /robots.txt setelah membaca posting ini, saya akan menyarankan Anda untuk tiruan /robots.txt file dari situs Anda teman atau pesaing. Hehe! Itulah apa yang dapat Anda lakukan ketika Anda tidak jelas tentang hal-hal dalam sekejap. Situs pasti akan berakhir seperti http://tipsmasakini22.blogspot.com/robot.txt dan aku bahkan tidak keberatan jika Anda mengetuk dari file /robots.txt saya sendiri.

Ini adalah bagaimana kita dapat menulis robots.txt file mudah . Dan yang selalu lebih baik untuk membatasi bots ke indeks file yang tidak diinginkan dan direktori. Lebih, Google akan mulai mengingat situs Anda sebagai spam jika menemukan lebih dari satu judul posting artikel yang relevan atau nama. Jadi lebih baik untuk membatasi semua orang yang tidak diinginkan stuff dari sedang diindeks. Lain Anda tidak akan cukup beruntung untuk bertahan hidup pembaruan Google panda dan penguin.

Dan jika Anda merasa bahwa situs Anda telah sudah telah mengacaukan dengan tag yang tidak diinginkan, arsip dan isu-isu duplikat, jangan khawatir. Artikel berikutnya saya akan cara menghapus hal-hal yang tidak diinginkan dan bebas yang diperlukan dari Google dan situs web Anda. Saya harap Anda menyukai artikel ini. Silahkan bertanya pertanyaan Anda jika Anda merasa tidak nyaman dengan salah satu perintah. Saya selalu siap untuk membantu Anda keluar.