Чтобы поисковая система видела ваш сайт, она проводит с помощью поискового робота индексацию вашего сайта. Поисковый робот — это специальная программа поисковой системы. Робот сканирует пространство интернета, собирает информацию и, находя новые ресурсы, добавляет их в индекс поисковой системы. У всех поисковиков свои собственные роботы. Поисковые роботы Google собирают информацию с текстов, у Яндекс — роботы сканируют еще и картинки, иконки и др.
Иногда не требуется, чтобы вся информация на сайте была доступна пользователям. В таких случаях, часть информации необходимо закрыть, чтобы поисковый робот не смог найти, т. е. закрыть от индексации. Разные бывают ситуации, когда надо закрыть контент: смена дизайна или структуры сайта, смена домена и другие работы по изменению. С помощью файла robots. txt можно закрыть сайт от индексации поисковыми роботами или только часть информации, размещенной на нем. Пока файл пустой и требуется внести в него команды, которые позволят закрыть сайт полностью или часть. Чтобы во всем этом разобраться, целесообразнее обратиться к профессионалам, которые легко справятся с этой задачей. В этом можно убедиться, заказав проверку индексации.

Комментарии запрещены.

Навигация по записям