Поисковые системы

Введение

Данный курс предназначен для авторов и владельцев сайтов, желающих более
подробно заняться вопросами поисковой оптимизации и раскрутки своего ресурса.
Рассчитан он в основном на начинающих, хотя и опытный вебмастер, надеюсь,
почерпнет из него что-то новое. В Интернете можно найти большое количество
статей по теме поисковой оптимизации, в данном учебнике сделана попытка
объединить всю информацию в виде единого, последовательного курса.

Информацию, представленную в данном учебнике можно разбить на несколько
частей:
– четкие, конкретные рекомендации, практическое руководство к действию;
– теоретическая информация, которой, по нашему мнению, должен обладать любой
специалист в области seo;
– советы, наблюдения, рекомендации, полученные на основе опыта, изучения
различных материалов и т.п.

1. Общая информация о поисковых системах

1.1 История развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико,
а объем доступной информации относительно небольшим. В большинстве случаев
доступ к Интернет имели сотрудники различных университетов и лабораторий, а в
целом Сеть использовалась в научных целях. В это время задача поиска информации
в сети Интернет была далеко не столько актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети
стало создание каталогов сайтов, в которых ссылки на ресурсы группировались
согласно тематике. Первым таким проектом стал сайт Yahoo, открывшийся в апреле
1994 года. После того, как число сайтов в каталоге Yahoo значительно
увеличилось, была добавлена возможность поиска информации по каталогу. Это,
конечно же, не было поисковой системой в полном смысле, так как область поиска
была ограничена только ресурсами, присутствующими в каталоге, а не всеми
ресурсами сети Интернет.

Каталоги ссылок широко использовались ранее, но практически утратили свою
популярность в настоящее время. Причина этого очень проста – даже современные
каталоги, содержащие огромное количество ресурсов, представляют информацию лишь
об очень малой части сети Интернет. Самый большой каталог сети DMOZ (или Open
Directory Project) содержит информацию о 5 миллионах ресурсов, в то время как
база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler появившийся в
1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие
годы была лидером в области поиска информации в Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали Google в рамках
исследовательского проекта в Стэнфордском университете. В настоящий момент
Google самая популярная поисковая система в мире.

23 сентября 1997 года была официально анонсирована поисковая система Yandex,
самая популярная в русскоязычной части Интернет.

В настоящее время существует 3 основных международных поисковых системы –
Google, Yahoo и MSN Search, имеющих собственные базы и алгоритмы поиска.
Большинство остальных поисковых систем (коих можно насчитать очень много)
использует в том или ином виде результаты 3 перечисленных. Например, поиск AOL
(search.aol.com) и Mail.ru используют базу Google, а AltaVista, Lycos и
AllTheWeb – базу Yahoo.

В России основной поисковой системой является Яндекс, за ним идут Rambler,
Google.ru, Aport, Mail.ru и KM.ru.

1.2 Общие принципы работы поисковых систем

Поисковая система состоит из следующих основных компонентов:

Spider (паук) – браузероподобная программа, которая скачивает
веб-страницы.

Crawler (краулер, “путешествующий” паук) – программа, которая
автоматически проходит по всем ссылкам, найденным на странице.

Indexer (индексатор) – программа, которая анализирует веб-страницы,
скаченные пауками.

Database (база данных) – хранилище скачанных и обработанных страниц.

Search engine results engine (система выдачи результатов) – извлекает
результаты поиска из базы данных.

Web server (веб-сервер) – веб-сервер, который осуществляет
взаимодействие между пользователем и остальными компонентами поисковой системы.

Детальная реализация поисковых механизмов может отличаться друг от друга
(например, связка Spider+Crawler+Indexer может быть выполнена в виде единой
программы, которая скачивает известные веб-страницы, анализирует их и ищет по
ссылкам новые ресурсы), однако всем поисковым системам присущи описанные общие
черты.

Spider. Паук – это программа, которая скачивает веб-страницы тем же
способом, что и браузер пользователя. Отличие состоит в том, что браузер
отображает информацию, содержащуюся на странице (текстовую, графическую и т.д.),
паук же не имеет никаких визуальных компонент и работает напрямую с html-текстом
страницы (вы можете сделать “просмотр html-кода” в вашем браузере, чтобы увидеть
“сырой” html-текст).

Crawler. Выделяет все ссылки, присутствующие на странице. Его задача –
определить, куда дальше должен идти паук, основываясь на ссылках или исходя из
заранее заданного списка адресов. Краулер, следуя по найденным ссылкам,
осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer. Индексатор разбирает страницу на составные части и
анализирует их. Выделяются и анализируются различные элементы страницы, такие
как текст, заголовки, структурные и стилевые особенности, специальные служебные
html-теги и т.д.

Database. База данных – это хранилище всех данных, которые поисковая
система скачивает и анализирует. Иногда базу данных называют индексом поисковой
системы.

Search Engine Results Engine. Система выдачи результатов занимается
ранжированием страниц. Она решает, какие страницы удовлетворяют запросу
пользователя, и в каком порядке они должны быть отсортированы. Это происходит
согласно алгоритмам ранжирования поисковой системы. Эта информация является
наиболее ценной и интересной для нас – именно с этим компонентом поисковой
системы взаимодействует оптимизатор, пытаясь улучшить позиции сайта в выдаче,
поэтому в дальнейшем мы подробно рассмотрим все факторы, влияющие на
ранжирование результатов.

Web server. Как правило, на сервере присутствует html-страница с полем
ввода, в котором пользователь может задать интересующий его поисковый термин.
Веб-сервер также отвечает за выдачу результатов пользователю в виде
html-страницы.

2. Внутренние факторы ранжирования

Все факторы, влияющие на положение сайта в выдаче поисковой системы, можно
разбить на внешние и внутренние. Внутренние факторы ранжирования – это те,
которые находятся под контролем владельца веб-сайта (текст, оформление и т.д.).

2.1 Текстовое оформление веб-страниц

2.1.1 Объем текста на странице

Поисковики ценят сайты, богатые информационным содержанием. В общем случае
следует стремиться к увеличению текстового наполнения сайта.

Оптимальными следует считать страницы, содержащие 500-3000 слов или 2-20 кб.
текста (от 2 до 20 тыс. символов).

Страница, состоящая всего лишь из нескольких предложений, имеет меньше шансов
попасть в топ поисковых систем.

Кроме того, большее количество текста на странице увеличивает видимость
страницы в поисковых системах за счет редких или случайных поисковых фраз, что в
некоторых случаях может давать неплохой приток посетителей.

2.1.2 Число ключевых слов на странице

Ключевые слова (фразы) должны встречаться в тексте как минимум 3-4 раза.
Верхняя граница зависит от общего объема страницы – чем больше общий объем, тем
больше повторений можно сделать.

Отдельно следует рассмотреть ситуацию с поисковыми фразами, то есть
словосочетаниями из нескольких ключевых слов. Наилучшие результаты наблюдаются,
если фраза встречается в тексте несколько раз именно как фраза (т.е. все слова
вместе в нужном порядке), а кроме того, слова из фразы попадаются в тексте
несколько раз поодиночке. Также должно существовать некоторое различие
(разбалансировка) между числом вхождений каждого из слов, составляющих фразу.

Рассмотрим ситуацию на примере. Допустим, мы оптимизируем страницу под
фразу “dvd проигрыватель”. Хороший вариант – фраза “dvd проигрыватель”
встречается в тексте 10 раз, кроме того, слово “dvd” встречается отдельно еще 7
раз, слово “проигрыватель” еще 5 раз. Все цифры в примере условны, но хорошо
показывают общую идею.

2.1.3 Плотность ключевых слов

Плотность ключевого слова на странице показывает относительную частоту
содержания слова в тексте. Плотность измеряется в процентах. Например, если
заданное слово встретилось 5 раз на странице из 100 слов, то плотность этого
слова равна 5%. Слишком низкая плотность приведет к тому, что поисковая система
не придаст должного значения этому слову. Слишком высокая плотность способна
включить спам-фильтр поисковой системы (то есть страница будет искусственно
понижена в результатах поиска из-за чрезмерно частого употребления ключевой
фразы).

Оптимальной считается плотность ключевого текста 5-7%. В случае фраз,
состоящих из нескольких слов, следует посчитать суммарную плотность всех
ключевых слов, составляющих фразу и убедиться, что она укладывается в указанные
пределы.

Практика показывает, что плотность ключевого текста более 7-8%, хотя и не
ведет к каким-либо отрицательным последствиям, но и смысла особого в большинстве
случаев также не имеет.

2.1.4 Расположение ключевых слов на странице

Очень короткое правило – чем ближе ключевое слово или фраза к началу
документа, тем больший вес они получают в глазах поисковой системы.

2.1.5 Стилистическое оформление текста

Поисковые системы придают особое значение тексту, тем или иным способом
выделенному на странице. Можно дать следующие рекомендации:

– используйте ключевые слова в заголовках (текст, выделенный тегами “H”, в
особенности “h1” и “h2”). В настоящее время использование css позволяет
переопределить вид текста, выделенного этими тегами, поэтому использование тегов
“H” имеет меньшее значение, чем раньше, однако, пренебрегать ими ни в коем
случае не стоит;
– выделяйте ключевые слова жирным шрифтом (не во всем тексте, конечно же, но
сделать такое выделение 2-3 раза на странице не помешает). Для этого
рекомендуется использовать тег “strong”, вместо более традиционного тега “B”
(bold).

2.1.6 Тег “TITLE”

Один из наиболее важных тегов, которому поисковые системы придают огромное
значение. Обязательно нужно использовать ключевые слова в теге TITLE.

Кроме того, ссылка на ваш сайт в выдаче поисковой системы будет содержать
текст из тега TITLE, так что это, в некотором роде, визитная карточка страницы.

Именно по этой ссылке осуществляется переход посетителя поисковой системы на
ваш сайт, поэтому тег TITLE должен не только содержать ключевые слова, но быть
информативным и привлекательным.

Как правило, в выдачу поисковой системы попадает 50-80 символов из тега
TITLE, поэтому размер заголовка желательно ограничить этой длинной.

2.1.7 Ключевые слова в тексте ссылок

Также очень простое правило – используйте ключевые слова в тексте исходящих
ссылок с ваших страниц (как на другие внутренние страницы вашего сайта, так и на
другие ресурсы сети), это может добавить вам небольшое преимущество при
ранжировании.

2.1.8 Теги “ALT” изображений

Любое изображение на странице имеет специальный атрибут “альтернативный
текст”, который задается в теге “ALT”. Этот текст будет отображен на экране в
том случае, если скачать изображение не удалось или же показ изображений
заблокирован в браузере.

Поисковые системы запоминают значение тега ALT при разборе (индексации)
страницы, однако не используют его при ранжировании результатов поиска.

На данный момент достоверно известно, что поисковая система Google учитывает
текст в теге ALT тех изображений, которые являются ссылками на другие страницы,
остальные же теги ALT игнорируются. По другим поисковым систем точных данных
нет, но можно предполагать что-то подобное.

В целом стоит дать такой совет – использовать ключевые слова в тегах ALT
можно и нужно, хотя принципиального значения это не имеет.

2.1.9 Мета-тег Desciption

Мета-тег Description специально предназначен для задания описания страницы.
Этот тег никак не влияет на ранжирование, но, тем не менее, очень важен. Многие
поисковые системы (и, в частности, крупнейшая Google) отображают информацию из
этого тега в результатах поиска, если этот тег присутствует на странице и его
содержимое соответствует содержимому страницы и поисковому запросу.

Можно с уверенностью сказать, что высокое место в результатах поиска не
всегда обеспечивает большое число посетителей. Если описание ваших конкурентов в
результатах выдачи будет более привлекательным, чем вашего сайта, то посетители
поисковой системы выберут именно их, а не ваш ресурс.

Поэтому грамотное составление мета-тега Description имеет большое значение.
Описание должно быть кратким, но информативным и привлекательным, содержать
ключевые слова, характерные для данной страницы.

2.1.10 Мета-тег Keywords

Этот мета-тег изначально предназначался для указания ключевых слов данной
страницы. Однако в настоящее время он почти не используется поисковыми
системами.

Тем не менее, стоит заполнить этот тег “на всякий случай”. При заполнении
следует придерживаться следующего правила: добавлять только те ключевые слова,
которые реально присутствуют на странице.

2.2 Структура сайта

2.2.1 Число страниц сайта

Общее правило – чем больше, тем лучше. Увеличение числа страниц сайта
улучшает его видимость в поисковых системах.

Кроме того, постепенное добавление новых информационных материалов на сайт
воспринимается поисковыми системами как развитие сайта, что может дать
дополнительные преимущества при ранжировании.

Таким образом, старайтесь размещать на сайте больше информации – новости,
пресс-релизы, статьи, полезные советы и так далее.

2.2.2. Навигационное меню

Как правило, любой сайт имеет навигационное меню. Используйте ключевые слова
в ссылках меню, это позволит придать дополнительный вес тем страницам, на
которые ведет ссылка.

2.2.3 Ключевое слово в названии страницы

Существует мнение, что использование ключевых слов в названии html-файла
страницы может положительно сказаться на ее месте в результатах поиска.
Естественно, это касается только англоязычных запросов.

2.2.4 Избегайте подкаталогов

Если ваш сайт имеет умеренное число страниц (несколько десятков), то лучше,
чтобы они находились в корневой директории сайта. Поисковые системы считают
такие страницы более важными.

2.2.5 Одна страница – одна ключевая фраза

Старайтесь оптимизировать каждую страницу под свою собственную ключевую
фразу. Иногда можно выбрать 2-3 родственных фразы, но не следует оптимизировать
одну страницу под 5-10 фраз сразу, скорее всего результата не будет никакого.

2.2.6 Главная страница сайта

Оптимизируйте главную страницу сайта (имя домена, index.html) под наиболее
важные для вас словосочетания. Эта страница имеет наибольшие шансы попасть в топ
поисковых систем.

По моим наблюдениям, на главную страницу сайта может приходиться до 30-40%
общего поискового трафика.

2.3 Распространенные ошибки

2.3.1 Графический заголовок

Очень часто в дизайне сайта используется графический заголовок (шапка), то
есть картинка во всю ширину страницы, содержащая, как правило, логотип компании,
название и некоторую другую информацию.

Не стоит этого делать! Верхняя часть страницы очень ценное место, где можно
разместить наиболее важные ключевые слова. В случае графического изображения это
место пропадает впустую.

В некоторых случаях встречаются совсем нелепые ситуации: заголовок содержит
текстовую информацию, но в целях большей визуальной привлекательности выполнен в
виде картинки (соответственно изображенный текст не может быть учтен
поисковиками).

Лучше всего использовать комбинированный вариант – графический логотип вверху
страницы присутствует, но занимает не всю ее ширину. На оставшейся части
размещается текстовый заголовок с ключевыми словами.

2.3.2 Графическое навигационное меню

Ситуация схожа с предыдущим пунктом – внутренние ссылки на вашем сайте должны
также содержать ключевые слова, это даст дополнительное преимущество при
ранжировании. Если навигационное меню в целях большей привлекательности
выполнено в виде графики, то поисковики не смогут учесть текст ссылок.

Если же отказаться от графического меню нет возможности, не забудьте, по
крайней мере, снабдить все картинки правильными тегами ALT.

2.3.3 Навигация через скрипты

В некоторых случаях навигация по сайту осуществляется через использование
скриптов. Следует понимать, что поисковики не могут читать и исполнять скрипты.
Таким образом, ссылка, заданная через скрипт будет недоступна для поисковой
системы и поисковый робот не пройдет по ней.

В таких случаях следует обязательно дублировать ссылки обычным способом,
чтобы навигация по сайту была доступна для всех – и для ваших посетителей и для
роботов поисковых систем.

2.3.4 Идентификатор сессии

На некоторых сайтах принято использовать идентификатор сессии – то есть
каждый посетитель при заходе на сайт получает уникальный параметр &session_id=,
который добавляется к адресу каждой посещаемой страницы сайта.

Использование идентификатора сессии позволяет более удобно собирать
статистику о поведении посетителей сайта и может использоваться для некоторых
других целей.

Однако, с точки зрения поискового робота страница с новым адресом – это новая
страница. При каждом заходе на сайт поисковый робот будет получать новый
идентификатор сессии и, посещая те же самые страницы, что и раньше, будет
воспринимать их как новые страницы сайта.

Строго говоря, поисковые системы имеют алгоритмы “склейки” зеркал и страниц с
одинаковым содержанием, поэтому сайты, использующие идентификаторы сессий, все
же будут проиндексированы. Однако, индексация таких сайтов затруднена и в
некоторых случаях может пройти некорректно. Поэтому использование на сайте
идентификаторов сессий не рекомендуется.

2.3.5 Редиректы

Редиректы затрудняют анализ сайта поисковыми роботами. Не используйте
редиректы, если для этого нет четких причин.

2.3.6 Скрытый текст

Последние два пункта относится скорее не ошибкам, а к преднамеренному обману
поисков, но о них все же следует упомянуть

Использование скрытого текста (цвет текста совпадает с цветом фона, например,
белое на белом) позволяет “накачать” страницу нужными ключевыми словами без
нарушения логики и дизайна страницы. Такой текст невидим для посетителей, однако
прекрасно читается поисковыми роботами.

Использование таких “серых” методов оптимизации может привести к бану сайта –
то есть принудительному исключению сайта из индекса (базы данных) поисковой
системы.

2.3.7 Однопиксельные ссылки

Использование графических изображений-ссылок размером 1*1 пиксель (то есть
фактически невидимых посетителю) также воспринимается поисковыми системами как
попытка обмана и может привести к бану сайта.

3 Внешние факторы ранжирования

3.1 Для чего используется учет внешних ссылок на сайт

Как можно видеть из предыдущего раздела, почти все факторы, влияющие на
ранжирование, находятся под контролем автора страницы. Таким образом, для
поисковой системы становится невозможным отличить действительно качественный
документ, от страницы созданной специально под заданную поисковую фразу или даже
страницы, сгенерированной роботом и вообще не несущей полезной информации.
Поэтому одним из ключевых факторов при ранжировании страниц является анализ
внешних ссылок на каждую оцениваемую страницу. Это единственный фактор, который
неподконтролен автору сайта.

Логично предположить, что чем больше внешних ссылок имеется на сайт, тем
больший интерес этот сайт представляет для посетителей. Если владельцы других
сайтов в сети поставили ссылку на оцениваемый ресурс, значит, они считают этот
ресурс достаточно качественным. Следуя этому критерию, поисковая система также
может решить, какой вес придать тому или иному документу.

Таким образом, существует два основных фактора, по которым страницы,
имеющиеся в базе поисковика, будут отсортированы при выдаче. Это релевантность
(то есть, насколько рассматриваемая страница связана с темой запроса – факторы,
описанные в предыдущем разделе) и число и качество внешних ссылок. Последний
фактор также получил названия ссылочная цитируемость, ссылочная
популярность или индекс цитирования.

3.2 Важность ссылок (индекс цитируемости)

Легко увидеть, что простой подсчет числа внешних ссылок не дает нам
достаточной информации для оценки сайта. Очевидно, что ссылка с сайта
www.microsoft.com должна значить гораздо больше, чем ссылка с домашней страницы
www.hostingcompany.com/~myhomepage.html, поэтому сравнивать популярность сайтов
лишь по числу внешних ссылок нельзя – необходимо учитывать также и важность
ссылок.

Для оценки числа и качества внешних ссылок на сайт поисковые системы вводят
понятие индекса цитирования.

Индекс цитирования или ИЦ – это общее обозначение численных показателей,
оценивающих популярность того или иного ресурса, то есть некоторое абсолютное
значение важности страницы. Каждая поисковая система использует свои алгоритмы
для подсчета собственного индекса цитирования, как правило, эти значения нигде
не публикуются

Помимо обыкновенного индекса цитирования, который представляет собой
абсолютный показатель (то есть некоторое конкретное число), вводится термин
взвешенный индекс цитирования, который является относительным значением, то
есть показывает популярность данной страницы относительно популярности остальных
страниц в Интернет. Термин “взвешенный индекс цитирования” (ВИЦ) обычно
употребляют в отношении поисковой системы Яндекс.

Подробное описание индексов цитирования и алгоритмов их подсчета будет
представлено в следующих разделах.

3.3. Ссылочный текст

Огромное значение при ранжировании результатов поиска придается тексту
внешних ссылок на сайт.

Текст ссылки (или по другому якорный или ссылочный текст) – это текст,
стоящий между тегами “A” и “/A”, то есть тот текст, по которому можно “кликнуть”
указателем мыши в браузере для перехода на новую страницу.

Если текст ссылки содержит нужные ключевые слова, то поисковая система
воспринимает это как дополнительную и очень важную рекомендацию, подтверждение
того, что сайт действительно содержит ценную информацию, соответствующую теме
поискового запроса.

3.4 Релевантность ссылающихся страниц

Кроме ссылочного текста учитывается также общее информационное содержимое
ссылающейся страницы.

Пример. Предположим, мы продвигаем ресурс по продаже автомобилей. В этом
случае, ссылка с сайта по ремонту автомобилей будет значить гораздо больше, чем
аналогичная ссылка с сайта по садоводству. Первая ссылка идет с тематически
схожего ресурса, поэтому будет в большей степени оценена поисковой системой.

3.5 Google PageRank – теоретические основы

Первыми, кто запатентовал систему учета внешних ссылок стала компания Google.
Алгоритм получил название PageRank. В этой главе мы расскажем об этом алгоритме
и о том, как он может влиять на ранжирование результатов поиска.

PageRank рассчитывается для каждой веб-страницы отдельно, и определяется
PageRank’ом (цитируемостью) ссылающихся на нее страниц. Своего рода замкнутый
круг.

Главная задача заключается в том, чтобы найти критерий, выражающий важность
страницы. В случае с PageRank таким критерием была выбрана теоретическая
посещаемость страницы.

Рассмотрим модель путешествия пользователя по сети путем перехода по ссылкам.
Предполагается, что пользователь начинает просмотр сайтов с некоторой случайно
выбранной страницы. Затем по ссылкам он переходит на другие ресурсы. При этом
есть вероятность того, что посетитель покинет сайт и вновь начнет просмотр
документов со случайной страницы (в алгоритме PageRank вероятность такого
действия принята 0.15 на каждом шаге). Соответственно, с вероятностью 0.85 он
продолжит путешествие, перейдя по одной из доступных на текущей странице ссылок
(все ссылки при этом равноправны). Продолжая путешествие до бесконечности, он
побывает на популярных страницах много раз, а на малоизвестных – меньше.

Таким образом, PageRank веб-страницы определяется как вероятность
нахождения пользователя на данной веб-странице; при этом сумма вероятностей
по всем веб-страницам сети равна единице, так как пользователь обязательно
находится на какой-либо странице.

Поскольку оперировать вероятностями не всегда удобно, то после ряда
преобразований с PageRank можно работать в виде конкретных чисел (как, например,
мы привыкли видеть его в Google ToolBar, где каждая страница имеет PageRank от 0
до 10).

Согласно описанной выше модели получаем, что:
– каждая страница в сети (даже если на нее нет внешних ссылок) изначально
имеет ненулевой PageRank (хотя и очень маленький);
– каждая страница, имеющая исходящие ссылки, передает часть своего PageRank
страницам, на которые ссылается. При этом переданный PageRank обратно
пропорционален числу ссылок на странице – чем больше ссылок, тем меньший
PageRank передается по каждой;
– PageRank передается не полностью, на каждом шаге происходит затухание (та
самая вероятность 15%, когда пользователь начинает просмотр с новой, случайно
выбранной, страницы).

Рассмотрим теперь, каким образом PageRank может влиять на ранжирование
результатов поиска (говорим “может”, так как в чистом виде PageRank уже давно не
участвует в алгоритме Google, как это было раньше, но об этом ниже). С влиянием
PageRank все обстоит очень просто – после того как поисковая система нашла ряд
релевантных документов (используя текстовые критерии), отсортировать их можно
согласно PageRank – так как логично будет предположить, что документ, имеющий
большее число качественных внешних ссылок, содержит наиболее ценную информацию.

Таким образом, алгоритм PageRank “вытесняет” наверх в поиске те документы,
которые и без поисковика наиболее популярны.

3.6 Google PageRank – практическое использование

В настоящее время PageRank не используется непосредственно в алгоритме
Google. Это и понятно – ведь PageRank характеризует лишь количество и качество
внешних ссылок на сайт, но совершенно не учитывает ссылочный текст и
информационное содержимое ссылающихся страниц – а именно этим факторам придется
максимальное значение при ранжировании. Предполагается, что для ранжирования
Google использует так называемый тематический PageRank (то есть учитывающий
только ссылки с тематически связанных страниц), однако детали этого алгоритма
известны лишь разработчикам Google.

Узнать значение PageRank для любой веб-страницы можно с помощью Google
ToolBar, который показывает значение PageRank в диапазоне от 0 до 10. Следует
учитывать, что Google ToolBar показывает не точное значение PageRank, а лишь
диапазон PageRank, в который попадает сайт, причем номер диапазона (от 0 до 10)
определяется по логарифмической шкале.

Поясним на примере: каждая страница имеет точное значение PageRank,
известное только Google. Для определения нужного диапазона и вывода информации
на ToolBar используется логарифмическая шкала (пример показан в таблице)
Реальное значение PR                 Значение ToolBar
1-10                                            1
10-100                                        2
100-1000                                    3
1000-10.000                               4
и т.д.

Все цифры условны, однако наглядно демонстрируют, что диапазоны PageRank,
показываемые в Google ToolBar, не равнозначны друг другу. Например, поднять
PageRank c 1 до 2 легко, а с 6 до 7 гораздо сложнее.

На практике PageRank используется в основном в двух целях:

1. Быстрая оценка уровня раскрученности сайта. PageRank не дает точной
информации о ссылающихся страницах, но позволяет быстро и просто “прикинуть”
уровень развития сайта. Для англоязычных сайтов можно придерживаться следующей
градации: PR 4-5 – наиболее типичный PR для большинства сайтов средней
раскрученности. PR 6 – очень хорошо раскрученный сайт. PR 7 – величина,
практически недостижимая для обычного вебмастера, но иногда встречается. PR 8,
9, 10 – встречаются только у сайтов крупных компаний (Microsoft, Google и т.п.).
Знание PageRank можно использовать при обмене ссылками, для того чтобы оценить
качество предложенной к обмену страницы и в других подобных ситуациях.

2. Оценка уровня конкуренции по поисковому запросу. Хотя PageRank и не
используется непосредственно в алгоритмах ранжирования, тем не менее позволяет
косвенно оценить конкурентность заданного запроса. Например, если в выдаче
поисковой системы стоят сайты с PageRank 6-7, то сайт с PageRank 4 имеет очень
мало шансов подняться в топ.

Еще одно важное замечание – значения PageRank, показываемые в Google ToolBar
пересчитываются достаточно редко (раз в несколько месяцев), поэтому ToolBar
показывает в некотором роде устаревшую информацию. То есть сама поисковая
система Google учитывает изменения во внешних ссылках гораздо быстрее, чем эти
изменения отображаются в Google ToolBar.

3.7 ТИЦ и ВИЦ Яндекс

ВИЦ – взвешенный индекс цитирования – аналог PageRank, применяемый поисковой
системой Яндекс. Значения ВИЦ нигде не публикуются и известны только Яндексу.
Поскольку узнать ВИЦ нельзя, следует просто помнить, что у Яндекса есть
собственный алгоритм оценки “важности” страниц.

ТИЦ – тематический индекс цитирования – рассчитывается для сайта в целом и
показывает авторитетность ресурса относительно других, тематически близких
ресурсов (а не всех сайтов Интернета в целом). ТИЦ используется для ранжирования
сайтов в каталоге Яндекса и не влияет на результаты поиска в самом Яндексе.

Значения ТИЦ показываются в Яндекс.Баре. Следует лишь помнить, что ТИЦ
рассчитывается для сайта в целом, а не для каждой конкретной страницы.

На практике ТИЦ можно использовать для тех же целей, что и PageRank – оценка
раскрученности сайта и оценка уровня конкуренции по заданному поисковому
запросу. В силу охвата Интернета поисковой системой Яндекс, ТИЦ очень хорошо
подходит для оценки русскоязычных сайтов.

3.8 Увеличение ссылочной популярности

3.8.1 Сабмит в каталоги общего назначения

В Интернете существует большое число сайтов-каталогов (директорий), которые
содержат ссылки на другие ресурсы сети, разбитые по тематике. Процесс добавления
в них информации о своем сайте называется сабмитом (от англ. submit).

Такие каталоги бывают платными и бесплатными, могут требовать или не
требовать обратную ссылку с вашего сайта. Посещаемость их очень невелика, то
есть реального притока посетителей с них не получить. Однако, поисковые системы
учитывают ссылки с таких каталогов, что может поднять ваш сайт в результатах
поиска.

Важно! Учитывайте, что реальную ценность представляют лишь те
каталоги, которые размещают прямую ссылку на ваш сайт. На этом моменте стоит
остановиться подробнее. Существует два способа простановки ссылки. Прямая ссылка
ставится через стандартную конструкцию языка HTML (“A href=… и т.д.”). Кроме
этого, ссылки можно ставить через различного рода скрипты, редиректы и т.п.
Поисковые системы понимают лишь прямые ссылки, непосредственно заданные в
html-коде. Поэтому, если каталог не предоставляет прямой ссылки на ваш сайт, то
ценность его близка к нулю.

Не следует сабмититься в FFA (free-for-all) каталоги. Такие каталоги
автоматически размещают у себя ссылки любой тематики, они игнорируются
поисковыми системами. Единственное, к чему приведет сабмит в FFA – это
увеличение спама на ваши е-майл адреса. На самом деле главная цель FFA в этом и
заключается.

С осторожностью относитесь к обещаниям различных программ и сервисов добавить
ваш ресурс в сотни тысяч поисковых систем, каталогов и директорий. Действительно
полезных каталогов в сети наберется не более нескольких сотен, от этой цифры и
нужно отталкиваться. Профессиональные сервисы по сабмиту работают как раз с
таким количеством каталогов. Если же обещаются огромные цифры в сотни тысяч
ресурсов, значит база сабмита состоит в основном из упомянутых FFA архивов и
прочих бесполезных ресурсов.

Отдавайте предпочтение ручному или полуавтоматическому сабмиту – не доверяйте
полностью автоматизированным процессам. Как правило, сабмит, проходящий под
контролем человека, дает гораздо лучшую отдачу, чем полностью автоматический
сабмит.

Необходимость добавления сайта в платные каталоги, либо проставления ответной
обратной ссылки со своего сайта нужно решать отдельно по каждому каталогу. В
большинстве случаев особого смысла это не имеет, однако могут быть исключения.

Сабмит сайта в каталоги не дает очень значимого эффекта, однако несколько
улучшает видимость сайта в поисковых системах. Возможность эта
общедоступна и не требует больших временных или финансовых затрат, поэтому не
забывайте о ней при раскрутке вашего проекта.

3.8.2 Каталог DMOZ

Каталог DMOZ (www.dmoz.org)
или Open Directory Project является крупнейшим каталогом Интернета. Кроме того,
в Интернете существует большое число копий основного сайта DMOZ. Таким образом,
разместив ваш сайт в каталоге DMOZ, вы получите не только ценную ссылку из
самого каталога, но и еще несколько десятков ссылок от родственных ему ресурсов.
Таким образом, каталог DMOZ представляет большую ценность для вебмастера.

Попасть в каталог непросто, вернее это зависит от вашего везения. Сайт может
появиться в каталоге через несколько минут после добавления, а может и много
месяцев прождать своей очереди.

Если ваш сайт не появляется в каталоге в течение длительного времени, но вы
уверены, что все сделали правильно и сайт подходит для каталога по своим
параметрам, можно попробовать написать редактору вашей категории с вопросом о
своей заявке (сайт DMOZ предоставляет такую возможность). Никаких гарантий,
конечно, не дается, однако это может помочь.

Добавление в каталог DMOZ бесплатно, в том числе и для коммерческих сайтов.

3.8.3 Каталог Яндекса

Присутствие в каталоге Яндекса дает ценную тематическую ссылку на ваш сайт,
что способно улучшить позиции вашего сайта в поисковой системе. Кроме того, сам
каталог Яндекса способен дать некоторый трафик на ваш сайт. Объем этого трафика
зависит от рубрики каталога и ТИЦ вашего сайта (в каталоге сайты сортируются по
ТИЦ), в некоторых случаях трафик из каталога может быть довольно значительным

Существуют платный и бесплатный варианты добавления информации в каталог
Яндекса. Конечно, в случае бесплатного варианта ни сроки, ни само добавление
сайта никак не гарантируются.

В заключение еще пара рекомендаций по сабмиту в такие важные каталоги, как
DMOZ и Яндекс. Прежде всего, внимательно прочитайте требования к сайтам,
описаниям и т.п., чтобы не нарушить правил при подаче заявки (это может привести
к тому, что ваша заявка не будет рассматриваться).

И второе – присутствие в этих каталогах есть требование желательное, но не
обязательное. Если вам не удается попасть в эти директории, не стоит отчаиваться
– добиться высоких позиций в результатах поиска можно и без этих каталогов,
большинство сайтов именно так и делают.

3.8.4 Обмен ссылками

Обмен ссылками заключается в том, что вы со специально отведенной страницы
ставите ссылки на другие сайты, сами же получаете аналогичные ссылки от них.
Вообще, поисковые системы не приветствуют обмен ссылками, так как в большинстве
случаев он имеет целью изменить выдачу поисковой системы и не несет ничего
полезного пользователям Интернета. Однако, это эффективный способ увеличения
ссылочной популярности, если соблюдать несколько простых правил.

– меняйтесь ссылками с тематически связанными сайтами. Обмен с
нетематическими сайтами малоэффективен;

– перед обменом убедитесь, что вашу ссылку разместят на “хорошей” странице.
То есть страница должна иметь некоторый PageRank (желательно 3-4 или выше),
должна быть доступна для индексации поисковыми системами, размещаемая ссылка
должна быть прямая, общее число ссылок на странице не должно превышать 50 и
т.д.;

– не создавайте на сайте каталогов ссылок. Идея такого каталога выглядит
привлекательно – появляется возможность меняться с большим количеством сайтов
любых тематик, для любого сайта найдется соответствующая категория в каталоге.
Однако в нашем случае качество важнее количества и здесь существует ряд
подводных камней. Ни один вебмастер не поставит на вас качественную ссылку, если
в ответ он получает ссылку-пустышку из вашего каталога (PageRank страниц из
таких каталогов, как правило, оставляет желать лучшего). Кроме того, поисковые
системы относятся крайне негативно к подобным каталогам, были также случаи бана
сайтов за использование таких каталогов;

– выделяйте отдельную страницу на сайте под обмен ссылками. Она должна иметь
некоторый PageRank, быть проиндексирована поисковыми системами и т.д. Не ставьте
более 50 ссылок с одной и той же страницы (иначе часть ссылок может быть не
учтена поисковыми системами). Это поможет вам легче находить партнеров по
обмену;

– поисковые системы стараются отслеживать взаимные ссылки, поэтому, если есть
возможность, используйте для размещения ответных ссылок другой домен/сайт,
отличный от продвигаемого. Например, вы продвигаете ресурс site1.com, а ответные
ссылки ставите на ресурсе site2.com – это оптимальный вариант;

– проявляйте некоторую осторожность при обмене. Довольно часто приходится
сталкиваться с тем, что не совсем честные вебмастера удаляют ваши ссылки со
своих ресурсов, поэтому необходимо время от времени проверять наличие своих
ссылок.

3.8.5 Пресс-релизы, новостные ленты, тематические ресурсы

Этот раздел относится уже скорее к маркетингу сайта, а не к чистому seo.
Существует большое число информационных ресурсов и новостных лент, которые
публикуют пресс-релизы и новости на различные темы. Такие сайты способны не
только привести к вам посетителей напрямую, но и повысить столь нужную нам
ссылочную популярность сайта.

Если вы затрудняетесь создать пресс-релиз или новость самостоятельно, то
подключайте журналистов – они помогут вам найти или создать информационный
повод.

Ищите тематически связанные ресурсы. В Интернете существует огромное
количество проектов, которые, не являясь вашими конкурентами, посвящены той же
тематике, что и ваш сайт. Старайтесь найти подход к владельцам этих ресурсов,
вполне вероятно, что они будут рады разместить информацию о вашем проекте.

И последнее – это относится ко всем способам получения внешних ссылок –
старайтесь несколько разнообразить ссылочный текст. Если все внешние ссылки на
ваш сайт будут иметь одинаковый ссылочный текст, то это может быть понято
поисковыми системами как попытка спама.

4 Индексация сайта

Прежде чем сайт появится в результатах поиска, он должен быть проиндексирован
поисковой системой. Индексация означает, что поисковый робот посетил ваш сайт,
проанализировал его и занес информацию в базу данных поисковой системы.

Если некоторая страница занесена в индекс поисковика, то она может
быть показана в результатах поиска. Если страница в индексе отсутствует, то
поисковая система ничего не знает о ней, и, следовательно, никак не может
использовать информацию с этой страницы.

Большинство сайтов среднего размера (то есть содержащих несколько десятков
или сотен страниц) обычно не испытывают никаких проблем с правильной индексацией
поисковыми системами. Однако, существует ряд моментов, которые стоит учитывать
при работе над сайтом.

Поисковая система может узнать о вновь созданном сайте двумя путями:

– ручное добавление адреса сайта через соответствующую форму поисковой
системы. В этом случае вы сами сообщаете поисковой системе о новом сайте и его
адрес попадает в очередь на индексацию. Добавлять следует лишь главную страницу
сайта, остальные будут найдены поисковым роботом по ссылкам;

– предоставить поисковому роботу самостоятельно найти ваш сайт. Если на ваш
новый ресурс есть хотя бы одна внешняя ссылка с других ресурсов, уже
проиндексированных поисковой системой, то поисковый робот в короткие сроки сам
посетит и проиндексирует ваш сайт. В большинстве случаев рекомендуется
использовать именно этот вариант, то есть получить несколько внешних ссылок на
сайт и просто дождаться прихода робота. Ручное добавление сайта может даже
удлинить время ожидания робота.

Время необходимое для индексации сайта составляет, как правило, от 2-3 дней
до 2 недель, в зависимости от поисковой системы. Быстрее всех индексирует сайты
поисковая система Google.

Старайтесь сделать сайт дружественным для поисковых роботов. Для этого
учитывайте следующие факторы:

– старайтесь, чтобы любые страницы вашего сайта были доступны по ссылкам с
главной страницы не более чем за 3 перехода. Если структура сайта этого не
допускает, то сделайте так называемую карту сайта, которая позволит выполнять
указанное правило;

– не повторяйте распространенных ошибок. Идентификаторы сессий затрудняют
индексацию. Если вы используете навигацию через скрипты, то обязательно
дублируйте ссылки обычным образом – поисковые системы не умеют читать скрипты
(подробнее об этих и других ошибках рассказано в главе 2.3);

– помните, что поисковые системы индексируют не более 100-200 кб текста на
странице. Для страниц большего объема будет проиндексировано только начало
страницы (первые 100-200 кб.). Из этого следует правило – не используйте
страницы размером более 100 кб, если хотите, чтобы они были проиндексированы
полностью.

Управлять поведением поисковых роботов можно с помощью файла robots.txt, в
нем можно явно разрешить или запретить для индексации те или иные страницы.
Существует также специальный тег “NOINDEX”, позволяющий закрыть для индексации
отдельные части страницы, однако этот тег поддерживается только российскими
поисковыми системами.

Базы данных поисковых систем постоянно обновляются, записи в базе могут
подвергаться изменениям, исчезать и появляться снова, поэтому число
проиндексированных страниц вашего сайта может периодически меняться.

Одной из наиболее частых причин исчезновения страницы из индекса является
недоступность сервера, то есть поисковый робот при попытке индексации сайта не
смог получить доступ к нему. После восстановления работоспособности сервера сайт
должен появиться в индексе снова через некоторое время.

Следует также заметить, что чем больше внешних ссылок имеет ваш сайт, тем
быстрее происходит его переиндексация.

Отследить процесс индексации сайта можно с помощью анализа лог-файлов
сервера, в которых записываются все визиты поисковых роботов. В соответствующем
разделе мы подробно расскажем о программах, которые позволяют это сделать.

5 Подбор ключевых слов

5.1 Первоначальный выбор ключевых слов

Подбор ключевых слов – это первый шаг, с которого начинается построение
сайта. На момент подготовки текстов на сайт набор ключевых слов уже должен быть
известен.

Для определения ключевых слов прежде всего следует воспользоваться сервисами,
которые предлагают сами поисковые системы.

Для англоязычных сайтов это

www.wordtracker.com и

inventory.overture.com

Для русскоязычных

adstat.rambler.ru/wrds/,

direct.yandex.ru и

stat.go.mail.ru

При использовании этих сервисов нужно помнить, что их данные могут очень
сильно отличаться от реальной картины. При использовании сервиса Yandex Директ
следует также помнить, что этот сервис показывает не ожидаемое число запросов,
а ожидаемое число показов рекламного объявления по заданной фразе.
Поскольку посетители поисковой системы часто просматривают более одной страницы,
то реальное число запросов обязательно меньше числа показов рекламы по тому же
запросу.

Поисковая система Google не дает информации о частоте запросов.

После того, как список ключевых слов примерно определен можно провести анализ
своих конкурентов, с целью выяснить, на какие ключевые фразы ориентируются они,
возможно удастся узнать что-то новое.

5.2 Высокочастотники и низкочастотники

При оптимизации сайта можно выделить две стратегии – оптимизация под малое
число высокопопулярных ключевых слов, либо под большое число малопопулярных. На
практике обычно сочетаются обе.

Недостаток высокочастотных запросов – как правило, высокий уровень
конкуренции по ним. Для молодого сайта не всегда бывает возможно подняться в топ
по этим запросам.

Для низкочастотных же запросов, часто бывает достаточным упоминание нужного
словосочетания на странице, либо минимальной текстовой оптимизации. При
определенных условиях низкочастотные запросы могут давать очень неплохой
поисковый трафик.

Цель большинства коммерческих сайтов – продать тот или иной товар или услугу,
либо каким-то другим способом заработать на своих посетителях. Это нужно
учитывать при поисковой оптимизации и при подборе ключевых слов. Нужно
стремиться получать целевых посетителей на сайт (то есть готовых к покупке
предлагаемого товара или услуги), нежели просто к большому числу посетителей.

Пример. Запрос “монитор” намного более популярен и в разы более
конкурентен, чем запрос “монитор samsung 710N” (точное название модели). Однако,
для продавца мониторов второй посетитель гораздо более ценен, а получить его
гораздо легче, так как уровень конкуренции по второму запросу небольшой. Это еще
одно возможное различие между высокочастотными и низкочастотными запросами,
которое следует учитывать.

5.3 Оценка уровня конкуренции поисковых запросов

После того, как набор ключевых слов приблизительно известен, следует
определить основное ядро слов, под которые будет проводиться оптимизация.

Низкочастотные запросы по понятным причинам отбрасываются сразу (временно). В
предыдущем разделе мы описали пользу от низкочастотных запросов, однако на то
они и низкочастотные, что не требуют особой оптимизации. Поэтому в данном
разделе мы их не рассматриваем.

По очень популярным фразам уровень конкуренции как правило очень высок,
поэтому нужно реально оценить возможности своего сайта. Для оценки уровня
конкуренции следует подсчитать ряд показателей для первой десятки сайтов в
выдаче поисковика:
– средний PageRank страниц в выдаче;
– средний ТИЦ сайтов, чьи страницы попали в выдачу;
– среднее число внешних ссылок на сайты в выдаче по версии различных
поисковых систем;

Дополнительные параметры:
– число страниц в Интернете, содержащих заданный поисковый термин (другими
словами число результатов поиска);
– число страниц в Интернете, содержащих точное совпадение заданной фразы (как
при поиске в кавычках).

Эти дополнительные параметры помогут косвенно оценить сложность вывода сайта
в топ по заданной фразе.

Кроме описанных параметров, можно также проверить какое число сайтов из
выдачи присутствуют в основных каталогах, таких как каталоги DMOZ, Yahoo и
Yandex.

Анализ всех указанных выше параметров и сравнение их с параметрами
собственного сайта позволят достаточно четко предсказать перспективы вывода
вашего сайта в топ по указанной фразе.

Оценив уровень конкуренции по всем подобранным фразам, вы сможете выбрать ряд
достаточно популярных фраз с приемлемым уровнем конкуренции, на которые и будет
сделана основная ставка при раскрутке и оптимизации.

5.4 Последовательное уточнение поисковых запросов

Как уже говорилось выше, сервисы поисковых систем часто дают очень неточную
информацию. Поэтому определить идеальный для вашего сайта набор ключевых слов с
первого раза удается довольно редко.

После того, как ваш сайт сверстан и произведены определенные шаги по его
раскрутке, в ваших руках оказывается дополнительная статистика по ключевым
словам: вы знаете рейтинг вашего сайта в выдаче поисковых систем по той или иной
фразе и знаете также число заходов на ваш сайт по этой фразе.

Владея этой информацией можно довольно четко определить удачные и неудачные
фразы. Зачастую даже не нужно ждать, чтобы сайт вышел в топ по оцениваемым
фразам во всех поисковых системах – достаточно одной или двух.

Пример. Допустим ваш сайт занял первое место в поисковой системе Rambler
по данной фразе. При этом ни в Яндексе, ни в Google его еще нет в выдаче по этой
фразе. Однако, зная процентное соотношение заходов на ваш сайт из различных
поисковых систем (например, Yandex – 70%, Google – 20%, Rambler – 10%), вы уже
можете предсказать примерный трафик по этой фразе и решить, подходит она для
вашего сайта или нет.

Помимо выделения неудачных фраз, вы можете найти новые удачные варианты.
Например, увидеть, что некоторая фраза, под которую не делалось никакой
раскрутки, приносит неплохой трафик, даже несмотря на то, что ваш сайт по этой
фразе находится на 2 или 3 странице в выдаче.

Таким образом, в ваших руках оказывается новый, уточненный набор ключевых
слов. После этого следует приступить к перестройке сайта – изменение текстов под
более удачные словосочетания, создание новых страниц под новые найденные фразы и
т.д. Таким образом, через некоторое время вы сможете найти наилучший набор
ключевых слов для вашего сайта и существенно увеличить поисковый трафик.

Еще некоторые советы. По статистике, на главную страницу сайта приходится до
30%-50% всего поискового трафика. Она лучше всего видна в поисковиках и имеет
больше всего внешних ссылок. Поэтому главную страницу сайта следует
оптимизировать под наиболее популярные и конкурентные запросы. Каждую страницу
сайта следует оптимизировать под 1-2 основных словосочетания (и, возможно, под
ряд низкочастотных запросов). Это увеличит шансы выхода в топ поисковых систем
по заданным фразам.

6 Различная информация о поисковых системах

6.1 Google SandBox

В начале 2004 года в среде оптимизаторов обозначилось новое таинственное
понятие – Google SandBox или песочница Google. Такое обозначение
получил новый спам-фильтр Google, направленный на исключение из выдачи молодых,
вновь созданных сайтов.

Фильтр SandBox проявляется в том, что вновь созданные сайты отсутствуют в
выдаче поисковой системы практически по всем фразам. Это происходит, несмотря на
наличие качественного и уникального информационного содержимого и правильно
проведенную раскрутку (без использования спам-методов).

На данный момент SandBox касается только англоязычного сегмента, сайты на
русском и других языках этому фильтру не подвергаются. Однако, вполне вероятно
что этот фильтр может расширить свое влияние.

Можно предположить, что цель SandBox фильтра исключить из выдачи спам-сайты –
действительно, ни один поисковый спамер не сможет ждать месяцы до появления
результатов. Однако вместе с этим страдает огромное количество нормальных, вновь
созданных сайтов.

Точной информации о том, что же конкретно представляет из себя SandBox фильтр
до сих пор нет. Существует ряд предположений, полученных на основании опыта,
которые мы и приведем ниже:

– SandBox – это фильтр на молодые сайты. Вновь созданный сайт попадает в
“песочницу” и находится в ней неопределенное время, пока поисковая система не
переведет его в разряд “обычных”;

– SandBox – это фильтр на новые ссылки, проставляемые на вновь созданные
сайты. Постарайтесь заметить принципиальное отличие от предыдущего предположения
– фильтр накладывается не на возраст сайта, а на возраст ссылок на сайт. Другими
словами Google не имеет претензий к сайту, однако отказывается учитывать внешние
ссылки на него, если с момента их появления прошло менее X месяцев. Так как
внешние ссылки являются одним из основных факторов ранжирования, игнорирование
внешних ссылок равносильно отсутствию сайта в выдаче поисковой системы. Какое из
двух приведенных предположений более верно сказать сложно, вполне вероятно, что
оба они верны ;

– сайт может находится в песочнице от 3-х месяцев до года и более. Есть также
наблюдение, что сайты выходят из песочницы в массовом порядке. Т.е. срок
песочницы определяется не индивидуально для каждого сайта, а для больших групп
сайтов (сайты созданные в некотором временном диапазоне попадают в одну группу).
Фильтр затем снимается сразу для всей группы, таким образом, сайты из одной
группы пробудут в “песке” разное время.

Типичные признаки того, что ваш сайт находится в песочнице:

– ваш сайт нормально проиндексирован Google, регулярно посещается поисковым
роботом;
– ваш сайт имеет PageRank, поисковая система знает и корректно отображает
внешние ссылки на ваш сайт;
– поиск по адресу сайта (www.site.com) выдает правильные результаты, с
правильным заголовком, сниппетом (описание ресурса) и т.д.;
– ваш сайт нормально находится по редким и уникальным словосочетаниям,
содержащимся в тексте страниц;
– ваш сайт не виден в первой тысяче результатов по любым иным запросам, даже
по тем, под которые он изначально создавался. Иногда встречаются исключения и
сайт по некоторым запросам появляется на 500-600 позициях, что, конечно, сути не
меняет.

Методов обхода фильтра практически не существует. Есть ряд предположений, о
том, как это можно сделать, однако это не более чем предположения, к тому же
малоприемлимые для обычного вебмастера. Основной метод – это работать над сайтом
и ждать окончания фильтра.

После того, как фильтр снимается, происходит резкий рост рейтингов на 400-500
и более позиций.

6.2 Google LocalRank

25 февраля 2003 года компания Google запатентовала новый алгоритм
ранжирования страниц, получивший название LocalRank. В основе лежит идея
о том, чтобы ранжировать страницы не по их глобальной ссылочной цитируемости, а
по цитируемости среди группы страниц, тематически связанных с запросом.

Алгоритм LocalRank не используется на практике (по крайней мере, в том виде,
в каком он описывается в патенте), однако, патент содержит ряд интересных идей,
с которыми, мы считаем, должен быть знаком каждый оптимизатор. Учет тематики
ссылающихся страниц используется почти всеми поисковыми системами. Хотя
происходит это, видимо, по несколько другим алгоритмам, изучение патента
позволит уяснить общие идеи, как это может быть реализовано.

При чтении этой главы учитывайте, что в ней представлена теоретическая
информация, а не практическое руководство к действию.

Основную идею алгоритма LocalRank выражают следующие три пункта:

1. Используя некоторый алгоритм, выбирается определенное число документов,
релевантных поисковому запросу (обозначим это число N). Эти документы
изначально отсортированы согласно некоторому критерию (это может быть PageRank,
либо оценка релевантности или какой-либо другой критерий или их группировка).
Обозначим численное выражение данного критерия как OldScore.

2. Каждая из N страниц проходит новую процедуру ранжирования, в
результате которой каждая страница получает некоторый новый ранг. Обозначим его
LocalScore.

3. На этом шаге величины OldScore и LocalScore
перемножаются, в результате чего получается новая величина NewScore,
согласно которой и происходит итоговое ранжирование страниц.

Ключевой в данном алгоритме является новая процедура ранжирования, в
результате которой каждой странице присваивается новый ранг LocalScore. Опишем
эту процедуру подробнее.

0. Используя некоторый алгоритм ранжирования отбираются N страниц, отвечающих
поисковому запросу. Новый алгоритм ранжирования будет работать только с этими
N страниц. Каждая страница в этой группе имеет некоторый ранг OldScore.

1. При расчете LocalScore для данной страницы выделяются все
страницы из N, которые имеют внешние ссылки на данную страницу. Обозначим
множество этих страниц M. При этом, в множество M не попадут
страницы с того же хоста (host, фильтрация произойдет по IP адресу), а
также страницы, являющиеся зеркалами данной.

2. Множество M разбивается на подмножества Li . В эти
подмножества попадают страницы, объединенные следующими признаками:
– принадлежность одному (или сходным) хостам. Таким образом, в одну группу
попадут страницы, у которых первые три октета IP адреса совпадают. То есть,
страницы, IP адрес которых принадлежит диапазону
xxx.xxx.xxx.0
xxx.xxx.xxx.255
будут считаться принадлежащими одной группе;
– страницы, которые имеют одинаковое или схожее содержание (зеркала,
mirrors);
– cтраницы одного сайта (домена).

3. Каждая страница в каждом множестве Li имеет некоторый ранг (OldScore).
Из каждого множества выбирается по одной странице с самым большим OldScore,
остальные исключаются из рассмотрения. Таким образом, мы получаем некоторое
множество K страниц, ссылающихся на данную страницу.

4. Страницы в множестве K сортируются согласно параметру
OldScore, затем в множестве K остаются только k первых
страниц (k – некоторое заданное число), остальные страницы исключаются из
рассмотрения.

5. На данном шаге рассчитывается LocalScore. По оставшимся k
страницам происходит суммирование их значений OldScore. Это можно
выразить следующей формулой:

После того, как расчет LocalScore для каждой страницы из
множества N закончен, происходит расчет значений NewScore и
пересортировка страниц согласно новому критерию. Для рассчета NewScore
используется следующая формула:

NewScore(i)= (a+LocalScore(i)/MaxLS)*(b+OldScore(i)/MaxOS)

i – страница, для которой рассчитывается новое значение ранга.

a и b – некоторые числа (патент не дает более подробной
информации об этих параметрах).

MaxLS – максимальное из рассчитанных значений LocalScore

MaxOS – максимальное из значений OldScore

Теперь постараемся отвлечься от математики и повторим все вышесказанное
простым языком.

На первом этапе происходит отбор некоторого количества страниц
соответствующих запросу. Это делается по алгоритмам, не учитывающим тематику
ссылок (например, по релевантности и общей ссылочной популярности).

После того, как группа страниц определена, будет подсчитана локальная
ссылочная популярность каждой из страниц. Все страницы так или иначе связаны с
темой поискового запроса и, следовательно, имеют отчасти схожу тематику.
Проанализировав ссылки друг на друга в отобранной группе страниц (игнорируя все
остальные страницы в Интернете), получим локальную (тематическую) ссылочную
популярность.

После проделанного шага у нас есть значения OldScore (рейтинг страницы на
основе релевантности, общей ссылочной популярности и других факторов) и
LocalScore (рейтинг страницы среди тематически связанных страниц). Итоговый
рейтинг и ранжирование страниц проводится на основе сочетания этих двух
факторов.

6.3 Особенности работы различных поисковых систем

Все, сказанные выше идеи по текстовой оптимизации и увеличению ссылочной
популярности применимы ко всем поисковым системам в равной степени. Более
подробное описание Google объясняется большим наличием информации об этой
поисковой системе в свободном доступе, однако идеи, высказанные в отношении
Google, в большой степени применимы и к другим поисковым системам.

Вообще, я не являюсь сторонником поиска “секретного знания” о том, как
детально работают алгоритмы различных поисковых систем. Все они в той или иной
мере подчиняются общим правилам и грамотная работа над сайтом (без учета
каких-либо особенностей) приводит к хорошим позициям почти во всех поисковых
системах.

Тем не менее, приведем некоторые особенности различных поисковых систем:

Google – очень быстрая индексация, очень большое значение придается внешним
ссылкам. База Google используется очень большим числом других поисковых систем и
порталов.

MSN – больший, нежели у других поисковых систем, акцент на информационное
содержимое сайта.

Yandex – крупнейшая российская поисковая система. Обрабатывает (по разным
данным) от 60% до 80% всех русскоязычных поисковых запросов. Уделяет особое
внимание тематическим ссылкам (нетематические внешние ссылки также имеют эффект,
но в меньшей степени, чем у других поисковых систем). Индексация проходит
медленнее, чем у Google, однако так же в приемлемые сроки. Понижает в рейтинге
или исключает из индекса сайты, занимающиеся нетематическим ссылкообменом
(содержащих каталоги нетематических ссылок, созданных лишь с целью повышения
рейтинга сайта), а также сайты, участвующие в системах автоматического обмена
ссылками. В периоды обновлений базы, которые длятся несколько дней, выдача
Яндекса постоянно меняется, в такие периоды следует отказаться от каких-либо
работ по сайту и дождаться стабильных результатов работы поисковой системы.

Еще одна особенность Яндекс – различные результаты поиска в зависимости от
регистра ключевых слов (т.е. “Слово” и “слово” дают разные результаты поиска).

Rambler – наиболее загадочная поисковая система. Занимает второе (по другим
данные третье после Google) место по популярности среди российских
пользователей. По имеющимся наблюдениям, понижает в рейтинге сайты, активно
занимающиеся раскруткой (быстрое увеличение числа внешних ссылок). Ценит наличие
поисковых терминов в простом тексте страницы (без выделения различными
стилистическими тегами).

Mail.ru – набирающая популярность поисковая система. Использует результаты
поисковой системы Google после некоторой дополнительной обработки. Оптимизация
под Mail.ru сводится к оптимизации под Google.

6.4 Советы, предположения, наблюдения

В данной главе представлена информация, появившаяся в результате анализа
различных статей, общения оптимизаторов, практических наблюдений и т.п.
Информация эта не является точной и достоверной – это всего лишь предположения и
идеи, однако идеи интересные. Данные, представленные в этом разделе,
воспринимайте не как точное руководство, а как информацию к размышлению.

– исходящие ссылки. Ссылайтесь на авторитетные в вашей области ресурсы,
используя нужные ключевые слова. Поисковые системы ценят ссылки на другие
ресурсы той же тематики;

– исходящие ссылки. Не ссылайтесь на FFA сайты и прочие сайты, исключенные из
индекса поисковой системы. Это может привести к понижению рейтинга вашего
собственного сайта;

– исходящие ссылки. Страница не должна содержать более 50-100 исходящих
ссылок. Это не приводит к понижению страницы в рейтинге, но ссылки сверх этого
числа не будут учтены поисковой системой;

– внешние site wide ссылки, то есть ссылки, стоящие на каждой странице сайта.
Считается, что поисковые системы негативно относятся к таким ссылкам и не
учитывают их при ранжировании. Существует также другое мнение, что это относится
только к большим сайтам с тысячами страниц;

– идеальная плотность ключевых слов. Очень часто приходится слышать подобный
вопрос. Ответ заключается в том, что идеальной плотности ключевых слов не
существует, вернее она различная для каждого запроса, то есть рассчитывается
поисковой системой динамически, в зависимости от поискового термина. Наш совет –
проанализировать первые сайты из выдачи поисковой системы, что позволит примерно
оценить ситуацию;

– возраст сайта. Поисковые системы отдают предпочтение старым сайтам, как
более стабильным;

– обновление сайта. Поисковые системы отдают предпочтение развивающимся
сайтам, то есть тем, на которых периодически добавляется новая информация, новые
страницы;

– доменная зона (касается западных поисковиков). Предпочтение отдается
сайтам, расположенным в зонах .edu, .mil, .gov и т.п. Такие домены могут
зарегистрировать только соответствующие организации, поэтому доверия таким
сайтам больше;

– поисковые системы отслеживают, какой процент посетителей возвращается к
поиску, после посещения того или иного сайта из вылачи. Большой процент
возвратов означает нетематическое содержимое, и такая страница понижается в
поиске;

– поисковые системы отслеживают, насколько часто выбирается та или иная
ссылка в результатах поиска. Если ссылка выбирается редко, значит, страница не
представляет интереса и такая страница понижается в рейтинге;

– используйте синонимы и родственные формы ключевых слов, это будет оценено
поисковыми системами

;    – слишком быстрый рост числа внешних ссылок воспринимается поисковыми
системами как искусственная раскрутка и ведет к понижению рейтинга. Очень
спорное утверждение, прежде всего потому, что такой способ может использоваться
для понижения рейтинга конкурентов;

– Google не учитывает внешние ссылки, если они находятся на одном (или
сходных) хостах, то есть страницах, IP адрес которых принадлежит диапазону
xxx.xxx.xxx.0 xxx.xxx.xxx.255. Такое мнение происходит скорее всего от того,
что Google высказывал данную идею в своих патентах. Однако сотрудники Google
заявляют, что никаких ограничений по IP адресу на внешние ссылки не налагается,
и нет никаких оснований не доверять им;

– поисковые системы проверяют информацию о владельце домена. Соответственно
ссылки с сайтов, принадлежащих одному владельцу имеют меньший вес, чем обычные
ссылки. Информация представлена в патенте;

– срок, на который зарегистрирован домен. Чем больше срок, тем большее
предпочтение отдается сайту;

6.5 Создание правильного контента

Контент (информационное содержимое сайта) играет важнейшую роль в раскрутке
сайта. Тому есть множество причин, о которых мы расскажем в этой главе, а также
дадим советы, как правильно наполнить сайт информацией.

– уникальность контента. Поисковики ценят новую информацию, нигде ранее не
публиковавшуюся. Поэтому при создании сайта опирайтесь на собственные тексты.
Сайт, построенный на основе чужих материалов, имеет гораздо меньшие шансы на
выход в топ поисковых систем. Как правило, первоисточник всегда находится выше в
результатах поиска;

– при создании сайта не забывайте, что он изначально создается для
посетителей, а не для поисковых систем. Привести посетителя на сайт – это только
первый и не самый трудный шаг. Удержать посетителя на сайте и превратить его в
покупателя – вот действительно сложная задача. Добиться этого можно только
грамотным информационным наполнением сайта, интересным для человека;

– старайтесь регулярно обновлять информацию на сайте, добавлять новые
страницы. Поисковики ценят развивающиеся сайты. Кроме того, больше текста –
больше посетителей на сайт. Пишите статьи на тему вашего сайта, публикуйте
отзывы посетителей, создайте форум для обсуждения вашего проекта (последнее –
только если посещаемость сайта позволит создать активный форум). Интересный
контент – залог привлечения заинтересованных посетителей;

– сайт, созданный для людей, а не поисковых машин, имеет большие шансы на
попадание в важные каталоги, такие как DMOZ, Яндекс и другие;

– интересный тематический сайт имеет гораздо больше шансов на получение
ссылок, отзывов, обзоров и т.д. других тематических сайтов. Такие обзоры сами по
себе могут дать неплохой приток посетителей, кроме того, внешние ссылки с
тематических ресурсов будут по достоинству оценены поисковыми системами.

В заключение еще один совет. Как говорится, сапоги должен делать сапожник, а
писать тексты должен журналист или технический писатель. Если вы сумеете создать
увлекательные материалы для вашего сайта – это очень хорошо. Однако у
большинства из нас нет особых способностей к написанию привлекательных текстов.
Тогда лучше доверить эту часть работы профессионалам. Это более дорогой вариант,
но в долгосрочной перспективе он себя оправдает.

6.6 Выбор домена и хостинга

В настоящее время создать свою страницу в Интернет может любой и для этого не
нужно никаких затрат. Существуют компании, предоставляющие бесплатный хостинг,
которые разместят вашу страницу в обмен на право показывать на ней свою рекламу.
Многие Интернет-провайдеры также дадут вам место на своем сервере, если вы
являетесь их клиентом. Однако все эти варианты имеют очень существенные
недостатки, поэтому, при создании коммерческого проекта, вы должны отнестись к
этим вопросам с большей ответственностью.

Прежде всего стоит купить свой собственный домен. Это дает вам следующие
преимущества:

– проект, не имеющий собственного домена, воспринимается как сайт-однодневка.
Действительно, почему мы должны доверять данному ресурсу, если его владельцы не
готовы потратить даже символическую сумму для создания минимального имиджа.
Размещение бесплатных материалов на таких ресурсах возможно, но попытка создания
коммерческого проекта без собственного домена почти всегда обречена на неудачу;

– собственный домен дает вам свободу в выборе хостинга. Если текущая компания
перестала вас устраивать, то вы в любой момент можете перенести свой сайт на
другую, более удобную или быструю площадку.

При выборе домена помните о следующих моментах:

– старайтесь, чтобы имя домена было запоминающимся и его произношение и
написание было бы однозначным;

– для раскрутки международных англоязычных проектов более всего подходят
домены с расширением .com Можно также использовать домены из зон .net, .org,
.biz и т.п., однако этот вариант менее предпочтителен;

– для раскрутки национальных проектов всегда следует брать домен в
соответствующей национальной зоне (.ru – для русскоязычных проектов, .de – для
немецких и т.д.);

– в случае двуязычных (и более) сайтов следует выделить свой домен под каждый
из языков. Национальные поисковые системы в большей степени оценят такой подход,
чем наличие на основном сайте подразделов на различных языках.

Стоимость домена составляет (в зависимости от регистратора и зоны) 10-20$ в
год.

При выборе хостинга следует опираться на следующие факторы:

– скорость доступа;
– время доступности серверов (uptime);
– стоимость трафика за гигабайт и количество предоплаченного трафика;
– желательно, чтобы площадка располагалась в том же географическом регионе,
что и большинство ваших посетителей;

Стоимость хостинга для небольших проектов колеблется в районе 5-10$ в месяц.

При выборе домена и хостинга избегайте “бесплатных” предложений. Часто можно
видеть, что хостинг-компании предлагают бесплатные домены своим клиентам. Как
правило, домены в этом случае регистрируются не на вас, а на компанию, то есть
фактическим владельцем домена является ваш хостинг-провайдер. В результате вы не
сможете сменить хостинг для своего проекта, либо будете вынуждены выкупать свой
собственный, раскрученный домен. Также в большинстве случаев следует
придерживаться правила не регистрировать свои домены через хостинг-компанию, так
как это может затруднить возможный перенос сайта на другой хостинг (даже
несмотря на то, что вы являетесь полноценным владельцем своего домена).

6.7 Смена адреса сайта

Иногда по ряду причин может потребоваться смена адреса проекта. Некоторые
ресурсы, начинавшиеся на бесплатном хостинге и адресе, развиваются до
полноценных коммерческих проектов и требуют переезда на собственный домен. В
других случаях находится более удачное название для проекта. При любых подобных
вариантах встает вопрос правильного переноса сайта на новый адрес.

Наш совет в этом плане таков – создавайте на новом адресе новый сайт с новым,
уникальным контентом. На старом сайте поставьте на новый ресурс видные ссылки,
чтобы посетители могли перейти на ваш новый сайт, однако не убирайте совсем
старый сайт и его содержимое.

При таком подходе вы сможете получать поисковых посетителей как на новый, так
и на старый ресурс. При этом у вас появляется возможность охватить
дополнительные темы и ключевые слова, что было бы сложно сделать в рамках одного
ресурса.

Перенос проекта на новый адрес задача сложная и не очень приятная (так как в
любом случае раскрутку нового адреса придется начинать практически с нуля),
однако, если этот перенос необходим, то следует извлечь максимум пользы из него.

7. Semonitor – пакет программ для раскрутки и оптимизации сайта

В предыдущих главах мы рассказали о том, как правильно создать свой сайт и
какими методами его можно раскрутить. Последняя глава посвящена программным
инструментам, которые позволят автоматизировать значительную часть работы над
сайтом и добиться более высоких результатов. Речь пойдет о пакете программ
Semonitor, который вы можете скачать с нашего сайта (www.semonitor.ru).

7.1 Модуль Определение позиций

Проверка позиций сайта в поисковых системах является практически каждодневной
задачей каждого оптимизатора. Позиции можно проверять и вручную, однако, если у
вас несколько десятков ключевых слов и 5-7 поисковых систем, которые нужно
мониторить, то этот процесс будет очень утомительным.

Модуль Определение позиций проделает всю работу автоматически. Вы сможете
получить информацию о рейтингах вашего сайта по всем ключевым словам в различных
поисковых системах, увидеть динамику и историю позиций (рост/падение вашего
сайта по заданным ключевым словам), увидеть ту же информацию в наглядной
графической форме.

7.2 Модуль внешние ссылки

Программа сама опросит все доступные поисковые системы и составит наиболее
полный и не содержащий дубликатов список внешних ссылок на ваш ресурс. Для
каждой ссылки вы увидите такие важные параметры, как PageRank ссылающейся
страницы и ссылочный текст (в предыдущих главах мы подробно рассказали о
ценности этих параметров).

Помимо общего списка внешних ссылок вы сможете отслеживать их динамику – то
есть видеть вновь появившиеся и устаревшие ссылки.

7.3 Модуль Индексация сайта

Покажет все страницы, проиндексированные той или иной поисковой системой.
Необходимый инструмент при создании нового ресурса. Для каждой из
проиндексированных страниц будет показано значение PageRank.

7.4 Модуль Лог-Анализатор

Вся информация о ваших посетителях (с каких сайтов они попали на ваш ресурс,
какие ключевые слова использовали, в какой стране они находятся и многое другое)
содержится в лог-файлах сервера. Модуль лог-анализатор представит всю эту
информацию в удобных и наглядных отчетах.

7.5 Модуль Page Rank анализатор

Определяет огромное количество конкурентной информации о заданном списке
сайтов. Автоматически определяет для каждого сайта из списка такие параметры,
как Google PageRank, Yandex ТИЦ, число внешних ссылок, присутствие сайта в
основных каталогах DMOZ, Yandex и Yahoo каталоге. Идеальный инструмент для
анализа уровня конкуренции по тому или иному поисковому запросу.

7.6 Модуль Подбор ключевых слов

Подбирает релевантные ключевые слова для вашего сайта, сообщает данные об их
популярности (число запросов за месяц), оценивает уровень конкуренции по той или
иной фразе.

7.7 Модуль HTML анализатор

Анализирует html-код страницы, подсчитывает вес и плотность ключевых слов,
создает отчет о правильности текстовой оптимизации сайта. Используется на этапе
создания собственного сайта, а также для анализа сайтов конкурентов. Позволяет
анализировать как локальные html-страницы, так и он-лайн проекты. Поддерживает
особенности русского языка, поэтому может быть использован для успешной работы,
как с английскими, так и с русскими сайтами.

7.8 Программы регистрации сайтов AddSite и Add2Board

Программы AddSite (регистрация в каталогах) и Add2Board (доски объявлений)
позволят поднять ссылочную популярность вашего проекта. Подробнее об этих
программах можно узнать на сайте наших партнеров

www.addsite.ru

8. Полезные ресурсы

В сети существует масса ресурсов по продвижению сайтов. Приведем здесь
основные, наиболее ценные на наш взгляд:

www.searchengines.ru
– крупнейший в рунете сайт по оптимизации

forum.searchengines.ru
– место, где общаются оптимизаторы, как профессионалы так и новички

www.optimization.ru/subscribe/list.html
– архив рассылок компании Ашманов и партнеры, базовый курс поисковой
оптимизации. Самая лучшая рассылка на тему seo, здесь вы найдете самые последние
новости, статьи и т.д.

www.optimization.ru
– сайт посвященный ежегодной конференции Поисковая оптимизация и продвижение
сайтов в Интернете. Возможность приобрести доклады предыдущих конференций,
содержащие очень ценную информацию.

seminar.searchengines.ru
– сборник материалов по теме seo. Сборник платный, но цена невысокая, очень
хорошая подборка материалов.

Вместо заключения – раскрутка сайта шаг за шагом

В этой главе я расскажу о том, как раскручиваю свои собственные сайты. Это
нечто вроде небольшой пошаговой инструкции, в которой коротко повторяется то,
что было описано в предыдущих разделах. В своей работе я использую программу
Semonitor, поэтому она и будет взята в качестве примера.

1. Для начала работы над сайтом следует обладать некоторыми базовыми
знаниями, в достаточном объеме они представлены в данном курсе. Подчеркну, что
не нужно быть гуру в оптимизации и эти базовые знания приобретаются достаточно
быстро. После этого начинаем работать,экспериментировать, выводить сайты в топ и
т.д. Здесь нам и становятся нужны программные средства.

2. Составляем примерный список ключевых слов и проверяем уровень конкуренции
по ним. Оцениваем свои возможности и останавливаем выбор на достаточно
популярных, но среднеконкурентных словах. Подбор ключевых слов делается с
помощью соответствующего модуля, примерная проверка конкуренции в нем же. По
наиболее интересным для нас запросам проводим детальный анализ выдачи поисковых
систем в модуле Page Rank анализатор и принимаем окончательные решения по
ключевым словам.

3. Начинаем писать тексты для сайта. Часть текстов я пишу самостоятельно,
часть наиболее важных отдаю на написание журналистам. То есть мое мнение –
контент прежде всего. При наличии хорошего информационного содержимого, будет
легче получать внешние ссылки и посетителей. На этом же этапе начинаем
использовать модуль HTML-анализатор, создаем нужную плотность ключевых слов.
Каждую страницу оптимизируем под свое словосочетание.

4. Регистрация сайта в каталогах. Для этого служит программа AddSite
(www.addsite.ru)

5. После того, как первые шаги сделаны, ждем и проверяем индексацию, чтобы
убедиться, что сайт нормально воспринимается различными поисковыми системами.

6. На следующем шаге уже можно начинать проверку позиций сайта по нужным
ключевым словам. Позиции скорее всего будут не очень хорошими сначала, однако
информацию к размышлению это даст.

7. Продолжаем работать над увеличением ссылочной популярности, процесс
отслеживаем с помощью модуля Внешние ссылки

.    8. Посещаемость сайта анализируем с помощью Лога анализатора и работаем над
ее увеличением.