Рады вас приветствовать в нашем блоге

Как составить правильный robots.txt?

Как составить правильный robots.txtПриветствую, друзья! Robots.txt — это очень важный файл, который влияет на индексацию страниц сайта поисковыми роботами. Многие составляют его неправильно, запрещая индексирование нужных страниц и разрешая индексирование тех страниц, которые не должны попадать в индекс.

 

Что такое Robots.txt?

Robots.txt — это файл, содержащий список правил, которые разрешают и запрещают индексирование определенных страниц и категорий сайта отдельным поисковым системам. Для каждой поисковой системы правила индивидуальны, хотя в чем-то они схожи.

Как составить правильный Robots.txt?

Не нужно изобретать велосипед, все возможные варианты написания robots.txt опубликованы в интернете. Писать, как правильно составить robots не имеет смысла. Хочу только отметить, что в этом файле нужно запретить все адреса, связанные с CMS сайта (WordPress, Joomla, DLE и т.д.) и с файлами темы или шаблона. Также следует запретить индексацию стандартных ссылок CMS, чтобы не было дублей в индексе поисковых систем.

Итак, в файле robots.txt запрещают индексирование файлов CMS и темы, комментариев, rss ленты и трекбека. Как я уже говорил, в интернете можно найти готовые файлы robots.txt. Ниже вы можете скачать файлы robots.txt для популярных CMS.

Файл для WordPress: скачать

Файл для Joomla: скачать

Файл для DLE: скачать

Файл для Blogger: скачать

Остальные можно найти на просторах интернета. P.S. не забудьте изменить адрес сайта и адрес карты сайта.

Как запретить или разрешить индексацию определенной страницы сайта?

Чтобы запретить индексацию определенной страницы нужно написать соответствующее правило. Образец: Disallow: /адрес страницы или категории

Если нужно разрешить индексацию, то следует написать: Allow: /адрес страницы или категории

Где находится и как загрузить Robots.txt на сайт?

Файл Robots.txt находится по адресу ваш_сайт.ru/robots.txt. Загружать его нужно в корень сайта. Сделать это можно с помощью FTP клиента или встроенного загрузчика в панели хостинг-компании. Лично для меня удобен первый вариант, так как не требует особых знаний и не нужно авторизовываться через административную панель.

Вот и все! Теперь вы знаете, каким должен быть правильный файл robots.txt и как его составить.

P.S. подписывайтеcь на обновления блога и получайте ежедневно информацию о свежих статьях, новых методиках и способах заработка в интернете!!!

Задавайте вопросы и дополняйте статью: