В этом небольшом посте я хотел бы поделиться своими наблюдениями относительно того, как индексирует страницы Яндекс и как это делает Google. Внимание на демотиватор (под катом).

Начну с Google, потому что с ним все просто. Пусть у нас есть сайт. Добавляем RSS-ленту в FeedBurner, публикуем анонсы в Twitter и менее, чем через час после публикации, страницы оказываются в индексе. Совсем другое дело Яндекс. Ему наплевать практически на все, что (по идее) должно было бы ускорять индексацию. А именно:

• Анонсы статей в тематических социальных сетях и на форумах;
• Те же анонсы в агрегаторах новостей;
• Ссылки в Twitter Яндексу, по всей видимости, тоже мало интересны;
• При размещении ссылки на главной странице сайта контент идексируется примерно за двое суток;
• Даже если у Вас на сайте есть xml sitemap, Яндекс обращается к нему реже одного раза в неделю.

Более 10 дней на индексацию sitemap.xml — как Вам это нравится? Разумеется, если у Вас хорошо раскрученный новостной портал, типа lenta.ru, то проблем с индексацией у него, скорее всего, не будет. С другой стороны, вряд ли среди моих читателей найдутся владельцы таких сайтов.

В настоящее время мне известен только один прием, который более-менее способен (пока что?) привлечь внимание Яндекса — это публикация анонсов в Живом Журнале. Посты в ЖЖ индексируются Яндексом в течение пары часов после создания, а страницы, на которые ссылается пост, попадают в индекс в течение суток. Я рекомендую производить кросспостинг в ЖЖ с помощью сервиса http://rss2lj.net .

Дополнение: Товарищ chirkofff в комментариях предложил использовать http://www.pistonposter.com/ . Сам я с этим сайтом не знаком, но выглядит очень прилично.

Дополнение: В последнее время было замечено, что публикация анонсов в Twitter все-таки стала влиять на скорость индексации Яндексом.

А такой ли большой проблемой является низкая скорость индексации? Да, большой! Если поисковик медленно индексирует новые материалы, значит пользователи этого поисковика узнают о них последними. Если индексация статей занимает много времени, значит кто-то успеет разместить на каком-нибудь форуме копию без обратной ссылки. Как затем прикажете определять первоисточник?

Не знаю, как вы, а мне нравится быть в курсе последних событий. Я хочу получать информацию изо всех доступных источников, а не из десятка «избранных» сайтов. Вот почему я предпочитаю Google.