Как внести изменения в файл Robots для Blogger'а

Вот такое сообщение я получила, когда решила посмотреть  как работает мой Google Ad Sense:

"Ошибки сканирования
Роботу AdSense не удалось просканировать вашу страницу. Иногда в таких случаях система показывает нерелевантные объявления, что приводит к уменьшению CTR. Но чаще всего на странице вообще не отображается никакая реклама, что влечет за собой понижение дохода и заполняемости блоков. Чтобы решить эту проблему и повысить эффективность AdSense, используйте ссылки в разделе "Инструкции по устранению неполадок".

Роботу не удалось получить доступ к моей странице, чтобы определить ее содержание и подобрать релевантные объявления.
Чтобы устранить эту проблему и обеспечить показ объявлений нужно было узнать причину блокирования страницы.
Побродив по просторам интернета я нашла много интересного материала на эту тему.
Хочу поделиться им с вами.
Почему, да потому, что в первый момент я впала в ступор. Я ничего не могла понять, кажется написано по русски, но...
Однако, через некоторое время удалось собраться и кое в чем разобраться. Вот "выжимки" из моих изысканий.


Как происходит индексация страниц?
В корневой директории есть файл robots.txt, а в нем инструкции для поисковых роботов.
По этим инструкциям и осуществляется индексация страниц сайта.
Поэтому если с индексацией, что то не так нужно срочно редактировать файл robots.txt

Как это сделать и где эта самая корневая директория?
Например если URL моего сайта http://www.poliushka.blogspot.ru/, то URL файла robots.txt
будет http://www.poliushka.blogspot.ru/robots.txt

Или, а это намного проще, нужно зайти в настройки блога. Вот так это выглядело у меня в блоге.

Настройки поиска.
Вот сюда то нам и надо. В этом месте и нужно указать поисковым роботам Где и Что нужно искать на вашем блоге.
И  здесь же находится файл robots.txt ( в этой рамочке- это я так поняла. Другого места вы все равно не найдете).

А теперь немного теории и терминов.
User-agent - это клиентский идентификатор, который используется поисковыми системами и браузерами.
User-agent: * - звездочка рядом с User-agent означает "любой юзер-агент".
disallow - не позволять индексировать
allow - позволить индексировать
Mediapartners-Google - юзерагент поискового робота Adsense
/ - корень сайта
Sitemap - xml карта (перечень главных ссылок на сайте в "сыром" виде)

То есть в правильном robots.txt у Blogger'а:

• должно быть разрешено все для робота контекстной рекламы;
• всем агентам ставится  запрет на search  в блоге( он запрещен к индексации, в противном случае плодятся дубли в кеше);
• должно быть разрешено индексировать весь блог.

Короче всегда проверяйте состояние своего robots.txt 

На сайте может быть только один файл «/robots.txt».
В файле robots.txt пишут, например:

User-agent: *
Disallow: /search
Disallow: /p/search.html
Disallow: /tags/

Значит здесь запрещена индексация 3-х директорий.
Обратите внимание каждая директория  указана на отдельной строке и расположена в столбик.

Вы можете:

запретить индексацию всего сайта роботами для этого нужно поставить / (слеш) после слова          Disallow
     User-agent: *
     Disallow: /

разрешить индексацию сайта роботами и для этого нужно всего навсего убрать этот самый  слеш
     User-agent: *
     Disallow:
     Или просто создать пустой файл «/robots.txt».

разрешить индексацию сайта одному роботу и запретить остальным
    User-agent: Yandex   - вместо звездочки указали конкретного робота
    Disallow:            -слеш надо убрать

    User-agent: *        - запрещена индексация всем остальным роботам
    Disallow: /

Ну а теперь к практике. Открываем Настройки блога и:

Настройки-Настройки поиска-Поисковые роботы индексация - Пользовательский файл robots.txt - Изменить

Выбрать ДА и вставить следующее:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /p/search.html
Allow: /
Sitemap: http://имя вашего сайта/feeds/posts/default?orderby=updated

User-agent: Yandex
Disallow: /search
Disallow: /p/search.html
Allow: /

Вместо имя вашего сайта вставьте имя вашего блога. Вот вы и дали задание поисковым роботам Гугла и Яндекса.

Обязательно сохранить изменения.

Но обратите внимание! 

Задание для робота вставляем в рамочку именно в таком виде - в столбик, а не в одну строчку.

Далее следуют  Персонализированные теги robots для заголовков. 

Давайте заодно по работаем и с ними.

Я сделала вот такие настройки.

Кроме того Вы можете сделать описание своего блога. Это поможет быстрее найти его на просторах интернета.

Описание вставляете вот в эту рамочку.

. Правильно говорят:

"У страха глаза велики" и "Глаза боятся, а руки делают"

Вот и все. Попробуйте у вас тоже получится.