В этом небольшом посте я хотел бы поделиться своими наблюдениями относительно того, как индексирует страницы Яндекс и как это делает Google. Внимание на демотиватор (под катом).
Начну с Google, потому что с ним все просто. Пусть у нас есть сайт. Добавляем RSS-ленту в FeedBurner, публикуем анонсы в Twitter и менее, чем через час после публикации, страницы оказываются в индексе. Совсем другое дело Яндекс. Ему наплевать практически на все, что (по идее) должно было бы ускорять индексацию. А именно:
- Анонсы статей в тематических социальных сетях и на форумах;
- Те же анонсы в агрегаторах новостей;
- Ссылки в Twitter Яндексу, по всей видимости, тоже мало интересны;
- При размещении ссылки на главной странице сайта контент идексируется примерно за двое суток;
- Даже если у Вас на сайте есть xml sitemap, Яндекс обращается к нему реже одного раза в неделю.
Более 10 дней на индексацию sitemap.xml — как Вам это нравится? Разумеется, если у Вас хорошо раскрученный новостной портал, типа lenta.ru, то проблем с индексацией у него, скорее всего, не будет. С другой стороны, вряд ли среди моих читателей найдутся владельцы таких сайтов.
В настоящее время мне известен только один прием, который более-менее способен (пока что?) привлечь внимание Яндекса — это публикация анонсов в Живом Журнале. Посты в ЖЖ индексируются Яндексом в течение пары часов после создания, а страницы, на которые ссылается пост, попадают в индекс в течение суток. Я рекомендую производить кросспостинг в ЖЖ с помощью сервиса http://rss2lj.net .
Дополнение: Товарищ chirkofff в комментариях предложил использовать http://www.pistonposter.com/ . Сам я с этим сайтом не знаком, но выглядит очень прилично.
Дополнение: В последнее время было замечено, что публикация анонсов в Twitter все-таки стала влиять на скорость индексации Яндексом.
А такой ли большой проблемой является низкая скорость индексации? Да, большой! Если поисковик медленно индексирует новые материалы, значит пользователи этого поисковика узнают о них последними. Если индексация статей занимает много времени, значит кто-то успеет разместить на каком-нибудь форуме копию без обратной ссылки. Как затем прикажете определять первоисточник?
Не знаю, как вы, а мне нравится быть в курсе последних событий. Я хочу получать информацию изо всех доступных источников, а не из десятка «избранных» сайтов. Вот почему я предпочитаю Google.