Чтобы ресурс появился в списках поисковой выдачи , надо проиндексировать его. После того, как поисковый робот или Паук соберет информацию на Вашем сайте, она поступит на обработку Индексатору, а затем уже станет общедоступной через поисковик. Без прохождения этого процесса, информация не может быть найдена пользователем интернета.

Но индексация не всегда проходит гладко. Существует список некоторых распространенных ошибок, которые могут препятствовать индексации или искажать ее результаты.

Вот основные из них:
  • Применение некоторых конструкций может затруднить нормальную индексацию.

Меню, созданные с помощью флеш или скриптов, напрочь игнорируются поисковыми машинами. Применение фреймов также приносит множество неприятностей в процессе индексации. Почему?

Потому что, когда по одному адресу в соседних фреймах открываются разные страницы, это сбивает поискового робота с толку. Он не знает, какой именно контент соотнести с данной страницей. Редирект на другой сайт, который применяют не только в качестве рекламы, но и при переезде на другой домен, воспринимается только как спам.

Другое дело, что перенаправление с серверной стороны не вызывает подобных проблем, но может быть источником других неприятностей. А именно - в части внешних ссылок. Ну и, статические страницы легче индексируются, в то время как динамические могут неверно быть отмечены (спутаны).
  • Заполнение баз индекса одинаковыми страницами.

Дубликаты могут появиться при применении идентификаторов различных сессий. Они нужны для сбора информации о посещаемости сайта, а также для отображения другой важной информации о поведении посетителей.

Проблема возникает из-за того, что при заходе поискового робота на портал, он получает дублированные страницы, которые отличаются только различными идентификаторами, а следовательно и адресами. Поисковые системы могут негативно среагировать на такое поведение, например, удалить большинство страниц из индекса. В данном случае, лучше всего прописать запрет на доступ к идентификаторам поисковому роботу.
  • Распространенная проблема с медленной индексацией появляется, если в интернет попадает достаточно крупный ресурс.

Тысячи страниц не смогут быстро обработаться. А все связано с тем, что робот за раз "забирает" в индекс только определенное количество страниц.

Эту проблему можно разрешить, если разбить сайт на несколько частей, которые будут помещены на разные поддомены. На каждый поддомен выделяется собственная квота страниц для индекса. Ну или можно на некоторое время поставить запрет на индекс самых неинтересных страниц, чтобы сначала стала доступна информация, способная привлечь наибольшее количество посетителей.

Следуя этим советам, можно избежать проблем с индексацией своего ресурса.