В интернете можно найти не один пост про создание robots.txt. Кроме как описания всех его функций, почти каждый блоггер показывает свой пример создания файла robots.txt, и советует его всем.

Когда я только переехал на свой домен, то и у меня появилась надобность создания файла robots.txt для моего блога. Найдя в интернете среди сотен статей более не менее понятную, я на ее примере создал свой файл.

Но спустя некоторое время оказалось, что данный файл не очень хорош и тогда один из блоггеров предложил мне помощь в создании robots.txt. Вернее он прислал мне уже готовый файл. Залив его на хостинг, я больше к нему не прикасался. Выглядит он сейчас вот так.

Сегодня читая блог Google Adsense, наткнулся на пост, где советуют тем кто крутит рекламу от Adsense на блоге, прописать в файле robots.txt следующие две строки:

User-agent: Mediapartners-Google
Disallow:

Прежде чем прописать данные строки, я решил посмотреть на robots.txt других блоггеров. как раз читая блог Сергея Кокшарова — Devaka, набрал в адресной строке его файл роботс, вот, что увидел там:

Я никогда не видел такого файла, поэтому скрин скинул в Твиттер, и спустя некоторое время Сергей ответил на этот твит написав следующее:

Я показал Сергею мой файл, на что он мне ответил следующее:

Понятно одно, что Сергей скорее всего проводит какой то эксперимент, и пока он не говорит об этом. Но мне сейчас это не очень помогает, так как пройдясь по блогам блоггеров которых я читаю, я у видел интересную ситуацию, у многих эти файлы идентичны, лишь у некоторых блоггеров robots.txt отличался. И это если честно, совсем поставило меня в тупик.

Получается, что каждый создает данный файл как ему хочется. Понятно, что нет единого файла для всех и кто то пишет несколько строк, а кто то расписывает от души строки robots.txt. Но увы ни где я так и не смог найти ответа что правильно, а что нет при составлении файла robots.txt. Миллион блогов, столько же блоггеров и каждый пишет и советуют свою версию данного файла, но так ни кто и не может сказать какой правильный из них.

Вернее сказать, какой robots.txt оптимальней подходит к вашему блогу, то, что советуют все или то который вы сами придумали для себя. Вопрос так и остался открытым:

Какой правильный файл robots.txt для блога?

Интересно так же узнать как вы создавали свой файл, использовали шаблоны с других сайтов или сами «сочиняли» файл robots.txt

Похожие посты:

• Хостинг, Ддос, Переезд и Вирусы
• Как заработать школьнику на блогах?
• Заработок в сети рерайтом
• 8 особенностей неудачника
• Облачные сервисы