Статьи и заметки о хостинге, доменах, сайтах и интернете в целом
Header

Sitemap. Хорошая карта — полпути к успешной индексации

Июнь 27th, 2014 | Posted by admin in сайты

sitemap

Аспектов качественности сайтов очень много, но есть и кретичные. Например, правильно составленная «карта сайта» и файл индексации robots.txt

Критичность проявляется все на том же этапе индексации сайта поисковыми роботами, в особенности всеми любимого Яндекс-бота, вобще говоря разновидностей которого достаточно много, но сейчас не об этом. Допустим вы все делали правильно:

1) сделали сайт;
2) наполнили его;
3) разместили о нем пару ссылок в интернете;
4) добавили в поисковые системы;
5) не поленились и проконтроглировали индексацию сайта.

Но тут выясняется один неприятный момент вместо 10 (или более) страниц вашего сайта робот почему-то проиндексировал всего 2, причем одна из них главная, а вторая просто какой-то список категорий (например, если сайт работает на какой-нибудь cms). И вот мы оказываемся в ситуаций крайней растеренности, что же мы слделали не так, за что нас так не взлюбил поисковый роботяга Яндекса?

Если побродить по ссылкам в кабинете того же Яндекс.Вебмастера, то мы увидим множество интересных пунктов в меню при работе с выбранным сайтом.
И вот он, раздел который заслуживают особого нашего внимания:

Настройка индексирования

  • Анализ robots.txt
  • Файлы Sitemap

Файл robots.txt

Начнем как говориться по порядку, первый пункт меню посвящен, файлу содержащему инструкции для тех самых роботов поисковых машин, и в общем, самом простом виде, он выглядит примерно так:

Данный замысловатый текст всего лишь говорит, что:

1) инструкции содержащиеся в файле годны для абсолютно всех поисковых роботов;
2) для индексации разрешены все файлы, директории и поддериктории домена;
3) домен сайта — site.ru.

Такой краткий список инструкций вполне достаточен для малых и статичных сайтов и html-страничек, но для сайтов с легко изменяющимся содержанием и структурой, которые работают на cms, этого уже не достаточно.

Более детально о правилах написания инструкций для сайтов можно прочитать на странице Яндекса посвященной целиком и полностью данному файлу.

Я лишь приведу здесь вариант рабочего файла robots.txt данного блога, сделанного на cms WordPress

теперь перейдем ко второму не менее важному пункту меню Файлы Sitemap.

Файл Sitemap

Данный файл называется Картой сайт и его наличие также очень желательно для больших, «разветвленных» сайтов. Он содержит список всех страниц с приоритетом их индексации, также в нем может содержаться дата последних изменений страниц сайта. Как правило сайт имеет разширение xml (sitemap.xml), но оно также может быть html (sitemap.html), также на сайте оба эти файла могут присутствовать без каких либо негативных последствий для сайта.

Данные файлы генерируются в интернете на множестве сайтах (например mysitemapgenerator.com), а также с помощью плагинов различных cms. Многие cms автоматически генерируют данный файл и нам лишь остается указать его в файле robots.txt, либо нажать кнопку «Загрузить robots.txt с сайта» в кабинете Яндекс.Вебмастер.

Продолжение

Если часть страниц через пару недель, максимум месяц не зашла в индекс, тогда читайте следующий пост про индексацию сайта.

Оставить отзыв

Ваш e-mail не будет опубликован. Все поля кроме Сайт обязательны для заполнения.


   

 

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">