Статьи и заметки о хостинге, доменах, сайтах и интернете в целом
Header

sitemap

Аспектов качественности сайтов очень много, но есть и кретичные. Например, правильно составленная «карта сайта» и файл индексации robots.txt

Критичность проявляется все на том же этапе индексации сайта поисковыми роботами, в особенности всеми любимого Яндекс-бота, вобще говоря разновидностей которого достаточно много, но сейчас не об этом. Допустим вы все делали правильно:

1) сделали сайт;
2) наполнили его;
3) разместили о нем пару ссылок в интернете;
4) добавили в поисковые системы;
5) не поленились и проконтроглировали индексацию сайта.

Но тут выясняется один неприятный момент вместо 10 (или более) страниц вашего сайта робот почему-то проиндексировал всего 2, причем одна из них главная, а вторая просто какой-то список категорий (например, если сайт работает на какой-нибудь cms). И вот мы оказываемся в ситуаций крайней растеренности, что же мы слделали не так, за что нас так не взлюбил поисковый роботяга Яндекса?

Если побродить по ссылкам в кабинете того же Яндекс.Вебмастера, то мы увидим множество интересных пунктов в меню при работе с выбранным сайтом.
И вот он, раздел который заслуживают особого нашего внимания:

Настройка индексирования

  • Анализ robots.txt
  • Файлы Sitemap

Файл robots.txt

Начнем как говориться по порядку, первый пункт меню посвящен, файлу содержащему инструкции для тех самых роботов поисковых машин, и в общем, самом простом виде, он выглядит примерно так:

Данный замысловатый текст всего лишь говорит, что:

1) инструкции содержащиеся в файле годны для абсолютно всех поисковых роботов;
2) для индексации разрешены все файлы, директории и поддериктории домена;
3) домен сайта — site.ru.

Такой краткий список инструкций вполне достаточен для малых и статичных сайтов и html-страничек, но для сайтов с легко изменяющимся содержанием и структурой, которые работают на cms, этого уже не достаточно.

Более детально о правилах написания инструкций для сайтов можно прочитать на странице Яндекса посвященной целиком и полностью данному файлу.

Я лишь приведу здесь вариант рабочего файла robots.txt данного блога, сделанного на cms WordPress

теперь перейдем ко второму не менее важному пункту меню Файлы Sitemap.

Файл Sitemap

Данный файл называется Картой сайт и его наличие также очень желательно для больших, «разветвленных» сайтов. Он содержит список всех страниц с приоритетом их индексации, также в нем может содержаться дата последних изменений страниц сайта. Как правило сайт имеет разширение xml (sitemap.xml), но оно также может быть html (sitemap.html), также на сайте оба эти файла могут присутствовать без каких либо негативных последствий для сайта.

Данные файлы генерируются в интернете на множестве сайтах (например mysitemapgenerator.com), а также с помощью плагинов различных cms. Многие cms автоматически генерируют данный файл и нам лишь остается указать его в файле robots.txt, либо нажать кнопку «Загрузить robots.txt с сайта» в кабинете Яндекс.Вебмастер.

Продолжение

Если часть страниц через пару недель, максимум месяц не зашла в индекс, тогда читайте следующий пост про индексацию сайта.

tags

Как я уже рекомендовал в одном из предыдущих постов, для человека активно занимающемуся интернет деятельностью, или тому кто интересуется как создаются сайты, очень удобным для ввода в курс дела сайт htmlbook. Почему не какая нибудь толстая книжка, потому что, у вас сразу отпадет куча сопутствующих вопросов при чтении комментариев в каждом небольшом разделе, таких как: в каком редакторе писать html-код в разных операционных системах, как поступать в типовых рабочих ситуациях с кодом, в чем разница и т.д. Особенно просто разъясняются отличия версий HTML 4.01 и HTML5.Раньше все эти знания приходилось собирать по крупицам на форумах, причем уже после прочтения какого-нить внушительного тома литературного издания.

Ещё раз упомяну, что язык html не является языком программирования, а лишь язык верстки, здесь нет переменных и каких-то сложных логических конструкций, поэтому он легко понятен даже ребенку.

CSS же не является чем то самостоятельным, а скорее дополнением к технологии верстки html. Стандарт CSS взял на себя функции оформления и стилизации содержния html-страниц и по сравнению с языком верстки этот стандарт труднее для понимания. CSS целиком и полностью состоит из набора свойств объектов. В то время, как для языка верстки HTML остается только порядок размещения этих объектов на странице с помощью тегов.

В свое время когда я уже писал сайты с использованием CSS (файлов стилей), приходилось не мало усилий затратить, чтобы посмотреть как выглядят типовые каркасные конструкции сайта: сайт из шапки, футера и двух колонок например. Было не просто вникать в отличия резиновой верстки от фиксированной. Сейчас же в таких потугах нужды нет, создан не один сервис для онлайн генерации базовых шаблонов, вам лишь нужно задать интересующие параметры. Для новичка я считаю это отличное подспорье csstemplater.

Даже если вы не планируете зарабатывать на жизнь версткой, что конечно же совсем нелёгкий труд, то понимание и некоторые навыки обращения с html и css в любом случае помогут в таких делах как верстка красивого письма для рассылки, поздравительная открытка, красиво оформленная запись в личном блоге, в общем везде где есть, может быть, использован :) код разметки.

Когда уже первые шаги в освоении новой технологии сделаны, первая страница с использованием CSS написана, настало время протостировать написанное не только в своем браузере, но и в во всех других! Кажется что это засада, но зарубежные наши товарищи уже давно позаботились о такой удобном сервисе как онлайн просмотрщик в различных браузерах, пруфлинки: browsershots, browserling. Второй вариант более функциональный, но очень медленный, поэтому лучше работать с первым и уж когда совсем нужно все проверить тогда идти на второй сайт.

ftp

Приведу здесь первые шаги по установке системы управления на хостинг. Допустим хостингом человек обзавелся, cms выбрал, пусть это будет WordPress, теперь нужно эту систему установить на хостинг.

Для начала нужно сразу сказать, что практически любая cms состоит из огромного числа файлов, иногда их около 1000, иногда даже больше. Понятно, что дистрибутив cms скачивается с сайта разработчиков (wordpress.org) архивом, но вот сам архив лучше распаковывать всё таки на своем домашнем компьютере, а не на хостинге. Даже не смотря на то, что большинство хостингов поддерживают распаковку zip-архивов, совсем не факт, что распакованные файлы у вас окажутся в корне Директории, где должны быть, а могут например, и это чаще всего распаковаться в директорию например с названием CMS. Придется просто проделывать лишнюю работу по переносу этих файлов в корень вашего хоста.

Поэтому первым шагом, спокойно, распаковываем архив на свой ПК, а директорию называем осмысленно, например, «Мой Сайт №1″ и смотрим, что у нас там получилось. Картинка должна быть примерно следующая:

1

Теперь нужно все файлы быстро и без лишней волокиты перенести на хостинг, в этом нам поможет такая программка как FTP-клиент, можно использовать любую, но мы сделаем тестовую загрузку с помощью FileZilla, данный клиент удобен тем, что его можно использовать практически в любой операционной системе, и если вы решите перейти на Linux или Mac OS вам не придется заново привыкать к новой программе. Единственное, что может потребоваться перед работой с программой этой переключить язык интерфейса в меню Edit -> Parameters.. на русский.

Так выглядит интерфейс программы, после запуска
filezilla

В верхних трех полях указываем: сервер (домен, либо ip-адрес), имя_пользователя_хостинга, пароль. Эти данные берутся из регистрационной карточки пользователя. В поле порт можно ничего не указывать, программа будет по умолчанию использовать 21 порт, хотя лучше конечно 22 защищенный, но такую возможность предоставляет не каждый хостер.
После нажатия на кнопку «Быстрое соединение» в правой стороне окна появится список папок хостинга, для каждого хостинга он свой, но для размещения сайта используется корневая папка www, public_html, htdocs или public.

filezilla

Заходим в папку www (public) или др. Если у вас прикреплен к хостингу домен второго уровня, то внутри папки www вы обнаружите папку с название вашего домена, соответственно вам нужно загружать файлы именно туда. Для этого открываем в левой части экрана папку с файлами cms на локальном компьютере, выделяем все файлы и переносим в выбранную папку на хостинге у меня это папка worldoftanks.ru.

Начнется процесс копирования, он не очень быстрый, так как файлов довольно много, но с учетом хорошей скорости интернета, должен занять не более 10-20 минут.

filezilla

После завершения загрузки, важно проконтролировать, что все файлы загружены. Сделать это довольно легко глядя на вкладки в самом низу экрана.

filezilla

Если какие-то файлы не были переданы, то необходимо перейти на вкладку «Неудавшиеся передачи» и занаво скопировать указанные в этой вкладке файлы.

После загрузки всех файлов набираем в браузере адрес http://наш_сайт.ru/wp-admin/install.php и если видим приветствие мастера установки WordPress

install_wp_0

то значит все сделано правильно и FTP-клиент можно закрывать. В следующей посте мы проделаем шаги по настройке хостинга и установке самой CMS.