403-я ошибка — самый быстрый способ удалить сайт из индекса поисковой системы!
Часто, в поисковый индекс попадают страницы, которые нужно срочно скрыть от индексации и просмотра другими пользователями.
Как удалить сайт из индекса?
Поисковые системы предоставляют Владельцам сайтов достаточно возможностей для управления индексацией.
Например, управлять роботом «Яндекса» можно с помощью:
- директив файла robots.txt, позволяющего разрешать и запрещать индексацию отдельных страниц и целых разделов сайтов;
- мета-тега robots, позволяющего запрещать индексацию всей страницы;
- с помощью тега noindex, позволяющего запрещать индексировать отдельные участки текста на странице.
Все эти методы популярны и хорошо известны рядовым владельцам сайтов. Поэтому, если нужно скрыть от индексации часть текста или удалить из индекса поисковой системы целые разделы, достаточно воспользоваться любым подходящим решением.
Как правило, с момента запрета индексации до реального удаления страницы из поисковой базы проходит очень много времени. Но, оказывается, существует способ, позволяющий значительно ускорить данный процесс.
Сайт может быть удалён из индекса за один апдейт!
Как ускорить удаление?
Удалять сайт из индекса привычными средствами легко, но долго.
Недавно, мы заметили очень важную особенность индексирования сайта «Яндексом»! Сайт может быть удалён из индекса за считанные дни. Речь идёт вовсе не о наложении санкций со стороны поисковых систем.
Отдавая роботу поисковой системы 403-й ответ сервера, можно быстро удалить сайт из индекса!
403-я ошибка сервера
Обычно, при обращении к сайту 403-й ответ сервером выдаётся в следующих случаях:
- попытка доступа к системным ресурсам (например, файлам .htaccess или .htpasswd) или к файлам, доступ к которым был закрыт с помощью конфигурационных файлов;
- для доступа к странице требуется аутентификация не средствами HTTP (например, для входа в систему управления CMS или для доступа к разделe для зарегистрированных пользователей);
- сервер не удовлетворён IP-адресом клиента (например, временная блокировка из-за частых обращений или же на этапе разработки приложения доступ разрешён только некоторым IP).
Но ни что не мешает выдать роботу ответ 403 на запрос к любой странице, которую Вы пожелаете спрятать от индексации.
Преимущество данного подхода состоит в том, что результат не заставит себя долго ждать! Пожалуй, данный метод можно по праву считать одним из самых действенных для быстрого удаления сайта из поисковых систем.
К сожалению, ошеломляющая скорость реакции поискового робота на 403-ю ошибку может сыграть с сайтом злую шутку.
Резко уменьшилось число страниц в индексе
В последнее время всё труднее и труднее добавлять сайты в поисковые системы. Индексация новых сайтов может проходить достаточно тяжело и долго. Иногда приходится месяцами «шаманить» над своим сайтом, чтобы полностью «загнать» его в индекс.
Чем больше усилий вложено в развитие сайта, тем обиднее, когда вопреки Вашему желанию, за считанные дни сайт, вдруг, начинает резко вылетать из индекса. Все усилия оказываются напрасными. Виной тому может стать 403-я ошибка сервера!
На заметку! В панели «Яндекс.Вебмастер», страницы, возвращающие роботу 403-й ответ попадают в раздел «HTTP-статус: Доступ к ресурсу запрещён (403)».
Если Вы не настраивали сайт на 403-й ответ, то срочно:
- проверьте, какой ответ выдаёт сервер при обращении к страницам Вашего сайта;
- попробуйте добавить сайт в поисковую систему. Посмотрите, какие сообщения об ошибке будут Вам даны;
- проверьте сайт на вирусы, удалите все спамные сообщения;
- проверьте настройки сайта;
- обратитесь за помощью в техподдержку хостинг-провайдера.
На заметку! Сайт может быстро вылететь из индекса по вине самого владельца, например, из-за попадания в бан или под «модный» сегодня в «Яндексе» фильтр АГС. Подобные санкции со стороны поисковых системы, как правило, вполне заслуженны и приводят к вылету сайта практически мгновенно.
Мы хотим ещё раз напомнить Вам как важно следить за работоспособностью своего сайта, своевременно удалять вирусы и бороться со спамом!
Ещё рекомендуем прочитать:
«Яндекс» и Google назвали самые популярные запросы года
Пользовательские страницы "Одноклассников" будут индексироваться поисковиками
Google запустила сервис поиска авиабилетов
Как не надо раскручивать сайт
Компания Google купила факты
| К списку статей |
