Индексация: использование noindex, nofollow, robots и др.
На индексацию веб-страниц можно влиять по-разному. Кроме задания специальных директив в файле robots.txt используются noindex, nofollow, robots и др. элементы в коде веб-страницы.
Тег noindex
Используется для запрета индексации части страницы, но учитывается только
поисковыми роботами Яндекса и Рамблера (Google его игнорирует)
<noindex>то, что нужно скрыть</noindex>Атрибут rel=»nofollow»
Это атрибут тега <a>. Он не влияет на индексацию ссылки. Большинство поисковиков (кроме Google) по ней не переходит. Используется для того, чтобы сообщить поисковой системе, что рейтинг со страницы, на которой ссылка размещена, не должен передаваться по этой ссылке.
<a href="http://site.ru" rel="nofollow">Текст ссылки</a>Это значит, что «закрывать» ссылку нужно так:
<noindex><a href="http://site.ru" rel="nofollow">Текст ссылки</a></noindex>meta-тег
На странице meta-тег «robots» (как и все meta-теги) находится между тегами <head> и </head>. Он позволяет управлять индексацией всей страницы.
Инструкция для всех роботов:
<meta name="robots" content="значение">Атрибут content может иметь значение
- noindex — не индексировать
- index -индексировать
- nofollow- не следовать по ссылкам
- follow- следовать по ссылкам
- all — индексировать и следовать по ссылкам
- none — не индексировать и не следовать по ссылкам
- noimageindex — запретить индексирование картинок
- noarchive — запретить выводить ссылку «Сохранено в кэше» (поисковики будут по-прежнему индексировать страницу и выводить ее фрагмент)
- nosnippet — выводить выводить
фрагменты страницы ( это текст, который поисковики показывают под названием страницы в результатах поиска ). При удалении фрагментов удаляются также и сохраненные в кэше страницы.
Допустимо указывать несколько значений через запятую:
<meta name="robots" content="noindex, nofollow">Инструкция для робота Google
не индексировать картинки (ссылки будут индексироваться):
<meta name="googlebot" content="noimageindex">Атрибут alt
Атрибут alt тега <a> задает альтернативный текст для изображения, который отображается в браузере, если не удается показать само изображение
<a href="http://site.ru"><img src="http://www.mysite.ru/image.gif" alt="Мой рисунок"/></a>Поисковые системы запоминают значение атрибута alt при индексации страницы, но не используют его при ранжировании результатов поиска.
Известно, что Google учитывает текст атрибута alt только тех изображений, которые являются ссылками на другие страницы.
Когда используется зеркало сайта
Для того чтобы в поисковиках не было дублирования страниц с зеркала сайта, следует задать в meta-теге URL абсолютный адрес страницы, а на зеркале – абсолютный адрес страницы основного сайта.
<meta name="URL" content="абсолютный адрес страницы">