Файл robots.txt

Блог содержит информацию для тех, кто хочет научиться самостоятельно создавать сайты

Создание сайта

Продвижение сайта

Заработок в интернете

Скрипты|Scripts

ТОП как заработать в интернете

Выбор дизайна для сайта

Файл robots.txt

Почему не растет ТиЦ?

Бесплатный обмен постовыми возможен!

Поисковый запрос должен быть не менее 4-х символов.




Гостевая


Заметок в базе: 41
Комментариев: 184
Человек на сайте: 2

Файл robots.txt

Автор: Анатолий Матюхин

Дата: 2013-01-08

Файл robots.txt Файл robots.txt - это некая текстовая инструкция для индексации, предназначенная для поисковых систем. Попадая на сайт поисковый робот первым делом проверяет наличие файла robots.txt, по адресу http://ваш_сайт/robots.txt.

С помощью файла robots.txt веб мастер дает понять поисковому роботу любой из поисковых систем, что можно индексировать и выдавать в свет, а что нет. Так же в данном файле прописывается и главное зеркало вашего сайта, и где находится карта сайта или есть ли она вообще. И многое другое... В общем как я говорил выше - это инструкция по которой следует поисковая система. И которую можно написать как для всех сразу систем так и по отдельности.

В данной статье я буду рассказывать о параметрах которые действительно необходимы. А остальные оставлю за кадром в связи с ненадобностью!

Создание файла robots.txt

Теперь давайте создадим файл robots.txt. Откройте простой блокнот и сохраните его под названием robots в формате txt. Обязательно название файла пишите с маленькой буквы. Замечательно, сам файл мы создали.

Синтаксис robots.txt

Теперь давайте поймем что зачем следует. И что в обще писать! Первой строчкой идет всегда параметр который дает понять кому адресован данный файл, т.е. каких роботов это касается.

User-agent: *

В данном случае параметр User-agent со звездочкой. Это значит что адресовано всем поисковым роботам. А вот например:

User-agent: Yandex

Это означает, что адресуется только файл robots.txt для яндекса. Так же адресовать можно и google и другим поисковым системам.

Далее пишется что именно вы хотите скрыть от индексации.

User-agent: *
Disallow:/

Этим мы запрещаем всем роботам индексировать весь сайт. Если после Disallow: не поставить слеш, то значение меняется на противоположное. Разрешить индексировать всем роботам, весь сайт!

Когда нам надо запретить индексировать какой либо каталог (например, папку admin или img). То пишем это так:

User-agent: *
Disallow:/admin/
Disallow:/img/

Мы запретили всем роботам индексировать папки admin и img. Обратите внимание! Когда запрещаем индексировать папку, то в конце названия папки слеш обязателен!!!

Теперь давайте запретим индексировать файлы links.html и import.js.

User-agent: *
Disallow:/links.html
Disallow:/import.js

Тоже обратите внимание, что слеша тут быть не должно!

Если вам нужно запретить индексироваться каталог img, а один файл находящийся внутри данного каталога хотите оставить открытым, то вам придется переместить тот файл из каталога в открытое пространство. А сам каталог, в нашем примере img закрыть для индексации. Так как такой возможности у файла robots.txt к сожалению нет!

Если у вашего сайта есть карта сайта в xml формате, то её нужно указать в файле robots.txt. Делается это для того чтобы роботы быстрей проиндексировали вашу карту сайта. Пишется это так:

sitemap: ваш_сайт/sitemap.xml

Теперь вашу карту роботы увидят сразу как откроют robots.txt.

Так же необходимо указать главное зеркала сайта. Чтобы узнать какое (с www. или без три www) оно главное зеркало, то просто напишите адрес своего сайта в строке поиска (например, Яндекса) и посмотрите в выдаче какая ссылка на ваш сайт. Какая стоит в выдаче такая и есть главное зеркало. Что бы прописать это, нужно вписать в файл следующее, в моем случае без www:

Host: php-master.hut2.ru

В данном случае я указал что у моего сайта главное зеркало, на которое нужно обращать основное внимание, без трех www!

Вот и все основные параметры. Как видите ничего сложного! Главное пишите все аккуратно.

Если вам помогла данная статья, то кликните пожалуйста на кнопку социальной закладки. Что бы она помогла кому-нибудь еще! Заранее спасибо. Так же вы можете подписаться на мою E-mail рассылку.

Просмотров: 3092

Вы можете получать материал первыми. Так же бесплатные видео уроки, которые рассылаются только подписчикам! Подпишитесь и узнайте первым! Подписка на рассылку видео уроков.
Ваше имя: *
Ваш e-mail: *

Не пропустите интересные темы >> Самое популярное Перейти Самостоятельное создание сайта
Вы можете подписаться на RSS - ленту


Понравилась статья? Поделитесь ею с другими! Спасибо :)

Оцените заметку: 1 2 3 4 5

Комментарии к этой заметке:

Добавить Ваш комментарий:


(Обязательный вид: http://www.ваш_сайт.ru)


(Без названия, сайт не будет отображон)


(Ваш E-mail не будет виден)

Введите сумму чисел с картинки

All right reserved. CopyrightВ©2011-2015.


Яндекс.Метрика
X