нет оснований для удаления сервер не возвращает код 404
Как настроить переадресацию на 404 страниц вида site.eu/?hmb=654654?
Друзья, сделал новый сайт ребятам, когда подключил Яндекс.Вебмастер и Метрику обнаружил, что в поиске находятся страницы вида site.ru/?hmb=Zapros-poiska
Таких страниц отродясь не было, поэтому выдвинул предположение, что было заражен прошлый сайт и ссылки просто редиректили куда нибудь. Ну не суть.
Сейчас сайт новый, а вот в поиске эти страницы есть, и соответственно портят всю статистику. Нашел в яндекс справке как удалить страницы из поиска, но при удалении страниц они должны ссылаться на 404 ошибку. А так как это не обычная страница, а какой-то запрос то wordpress и не воспринимает ее как не найденную на сервере страницу. Как быть?
Примерно вот так в начале header.php вашего шаблона:
или просто отдавать 404-хедер по этому get:
По идее яндекс даст удалить ссылки. но редиректа не будет.
Роман Краббз: на просторах интернет нашел вот такой вариант с прописанием множества параметров, но н что-то не работает, там где-то ошибка?
Что означает ошибка 404 на сайте и что с ней делать
Натали Азаренко
Создайте рассылку в конструкторе за 15 минут. Отправляйте до 1500 писем в месяц бесплатно.
Отправить рассылку
Ошибка 404, либо Error 404 Not Found появляется, если браузеру не удалось обнаружить на сервере указанный URL.
Сообщение об ошибке 404
Что означает ответ 404
Error 404 Not Found отображается по-разному: «HTTP 404 не найден», «Ошибка 404 Not Found», «404 Страница не найдена». Смысл надписи всегда остаётся тем же: страница отсутствует либо просто не работает. Not Found в переводе означает «не найдено».
Ошибка 404 — классический код ответа по протоколу HTTP. Он свидетельствует, что связь с сервером установлена, но информации по заданному запросу нет.
Однако если просто ввести в поисковую строку произвольный набор символов, то браузер не покажет ошибку 404 Not Found — появится сообщение, что установить соединение с конкретным сервером невозможно.
Разберёмся в техническом формировании ответа Error 404 Not Found.
Техническая сторона вопроса. При связи по HTTP браузер запрашивает указанный URL и ждёт цифрового ответа. То есть любой запрос пользователя направляется на сервер размещения искомого сайта. Когда браузеру удаётся связаться с сервером, он получает кодированный ответ. Если запрос корректный и страница найдена, отправляется ответ с кодом 200 OK, что соответствует благополучной загрузке. При отсутствии страницы отправляется ответ об ошибке.
Что значит код «404». В ответе 404 первая четвёрка указывает на то, что запрос был чрезмерно длительным или в самом адресе была ошибка. Ноль предполагает синтаксическую неточность. Завершающая цифра кода отображает конкретную причину ошибки — «4» означает отсутствие данной ссылки.
Какие ещё ошибки бывают. Ошибку 404 не нужно путать с другими ответами, которые указывают на невозможность связи с сервером. Например, ошибка 403 сообщает, что доступ к URL ограничен, а ответ «Сервер не найден» свидетельствует, что браузер не смог обнаружить место размещения сайта.
Google на 404 странице сообщает о возможных причинах ошибки
Причины ошибки
Причины, по которым HTTP возвращает ответ 404 Not Found:
В большинстве ситуаций ошибка 404 отображается, когда не удаётся обнаружить нужную страницу на доступном сервере.
Причины отсутствия страницы на сайте бывают разными
Возможные последствия для сайта
Нужно ли считать 404 ошибку опасной для сайтов? Кажется, что нет ничего плохого в том, что пользователь не смог открыть одну веб-страницу. Однако если такая ситуация будет повторяться регулярно, это чревато оттоком аудитории. Одни пользователи решат, что сайт вовсе не существует. Другие подумают, что лучше не заходить на сайт, который работает с ошибками. Третьи будут игнорировать ресурс, на котором не смогли получить обещанную информацию.
Поисковые системы относятся к Not Found более лояльно. Например, Google отмечает, что 404 страницы не влияют на рейтинг. Но если при индексации роботы будут находить все больше ошибочных страниц, вряд ли это приведёт к более высокому ранжированию.
Если вы хотите улучшить взаимодействие с посетителями, важно найти и исправить все ошибки 404 на сайте.
Как выявить ошибку
На небольшом ресурсе легко проверить работоспособность ссылок вручную. Но если на сайте сотни и тысячи страниц, без дополнительного софта не обойтись. Есть немало сервисов и программ, позволяющих находить битые ссылки. Рассмотрим некоторые из них.
Search Console Google
Консоль поиска Google позволяет находить страницы с ошибкой 404 за несколько кликов:
Чтобы получить список страниц с ошибками, подтвердите права на ресурс — добавьте проверочную запись TXT в записи DNS регистратора домена. Такая запись не повлияет на работу сайта. Подробнее о процедуре подтверждения, читайте в справке Google.
Для использования Search Console Google нужно подтвердить свои права на сайт
Яндекс Вебмастер
Сервис для вебмастеров от Яндекса поможет быстро найти все ошибки 404:
Чтобы использовать Яндекс.Вебмастер, также нужно подтвердить право владения сайтом — добавить метатег в HTML-код главной страницы.
Для входа в Вебмастер авторизуйтесь в Яндексе
Screaming Frog
Для начала загрузите и установите программу на компьютер. После запуска добавьте URL проверяемого сайта и начните поиск проблем. Неработающие ссылки можно искать даже в бесплатной версии.
Инструмент SEO-паук в Screaming Frog помогает найти технические неисправности сайта
SiteAnalyzer
Эта бесплатная десктопная программа позволяет обнаружить технические погрешности на сайте. SiteAnalyzer быстро отыщет нерабочие и несуществующие ссылки.
SiteAnalyzer бесплатно найдёт неработающие URL
Как исправить ошибку Not Found
Выбор конкретного решения зависит от причины ошибки:
Удалять и менять ссылки вручную удобно только на небольших сайтах. Исправление ошибок на крупных порталах лучше автоматизировать. Например, с помощью специальных плагинов для внутренней перелинковки (Terms Description, Dagon Design Sitemap Generator) и для автоматического формирования адресов страниц (Cyr-To-Lat).
Чтобы ошибки 404 появлялись как можно реже, достаточно соблюдать простые рекомендации:
Мы разобрались, как найти и исправить ошибки Not Found внутри сайта. Но неработающая ссылка может быть расположена и на стороннем ресурсе. Допустим, когда-то на другом сайте разместили рекламную публикацию со ссылкой на определённую страницу. Спустя какое-то время страницу удалили. В этом случае появится ошибка 404. Устранить её можно, связавшись с администрацией ссылающегося сайта. Если же удалить/исправить ссылку нельзя, постарайтесь использовать ошибку с выгодой.
Как сделать страницу 404 полезной
Грамотно оформленная страница с ошибкой Error 404 Not Found — действенный инструмент конвертации посетителей. Ограничений по использованию страницы с ошибкой 404 нет. При этом практически все CMS позволяют настраивать дизайн этой страницы.
Что публиковать на странице 404:
При оформлении страницы-ошибки желательно опираться на рекомендации поисковиков:
Главное — по возможности отказаться от стандартной страницы 404. Подумайте, как привлечь внимание пользователя. Расскажите ему об отсутствии искомой страницы и предложите взамен что-то полезное или интересное.
Примеры оформления страниц 404
Designzillas
Мультяшная страница креативной студии привлекает внимание и её хочется досмотреть до конца. Если прокрутить страницу, можно увидеть, как из яйца вылупится дракон. При этом на странице есть ссылки на все основные разделы сайта.
Меню на сайте Designzillas есть и на 404 странице
Domenart Studio
Веб-студия «Домен АРТ» использует красочную страницу 404, оформленную в единой стилистике ресурса. Заблудившимся пользователям предлагают попробовать ещё раз ввести адрес или перейти в нужный раздел.
Контакты, поиск, меню — и всё это на 404 странице Domenart Studio
«Эко Пауэр», дистрибьютор производителя источников питания, демонстрирует короткое замыкание как символ ошибки. Посетителям предлагают перейти на главную.
Ошибка 404 «Эко Пауэр» выглядит как страница входа
Дом со всем
Компания «Дом со всем», занимающаяся бурением скважин, разместила на странице 404 свои контакты и перечень услуг. Со страницы можно перейти в любой раздел сайта или заказать обратный звонок. С таким наполнением посетителю не нужно искать дополнительную информацию где-то ещё.
Компания «Дом со всем» предлагает заказать обратный звонок
Kualo
Страница 404 на веб-хостинге Kualo может заставить пользователя забыть, зачем он сюда пришёл. Увлекательная игра притягивает внимание. В конце игры посетителю предлагают посмотреть сайт хостинга.
На странице Kualo можно просто поиграть и заработать скидки
Рано или поздно с ошибкой 404 сталкивается большинство сайтов. При регулярной проверке можно своевременно исправить неработающие ссылки, чтобы в ответ пользователи получали код 200 OK. Но для крупного ресурса лучше настроить оригинальную страницу, которая будет отображаться при появлении ошибки Not Found и подскажет посетителям, что делать дальше.
404 ошибка: где искать и как исправить
Страница с 404 ошибкой или “страница не найдена” — довольно распространенное явление в Интернете. 404 ошибку можно встретить при переходе по ссылке или при вводе URL-адреса страницы в строке браузера, когда сервер на запрос браузера не может найти запрашиваемый документ и возвращает код ответа 404.
Люди обычно не придают этому особого значения, увидев ошибку “страница не найдена” разочаровываются, а может даже раздражаются — нажимают кнопку “Назад” или закрывают вкладку. Однако 404-е ошибки могут оказывать влияние на SEO. Степень влияния зависит от причин возникновения таких ошибок и их масштаба.
В этой статье подробнее рассмотрим, что означает 404 ошибка, как она влияет на ранжирование сайта. Расскажем, как проверить сайт на 404 ошибки и дадим рекомендации на тему того, как их устранить.
Подключить услугу «SEO | Продвижение сайтов» от ADINDEX →
Что такое 404 ошибка (Not Found)
Ошибка 404 или Not Found (“не найдено”) — это стандартный код ответа сервера, который сообщает, что сервер не может найти запрашиваемый документ.
Когда страница работает корректно, сервер возвращает код ответа 200 ОК.
Если вы сейчас читаете эту статью, это означает, что ваш браузер установил соединение с сервером, он нашел запрашиваемую страницу и возвратил код ответа 200 (просто этот код вы не видите).
Распространенные причины появления 404 ошибок:
404 ошибки, связанные с удалением страниц на сайте и изменением формирования URL-адреса страниц — наиболее часто встречающиеся закономерности их появления, с которыми мы сталкиваемся на проектах ADINDEX.
Так, проводя аудит для одного клиента, мы обнаружили большое количество страниц с ошибкой 404. Проблема возникла после того, как контент-менеджер удалял товары, которых нет в наличии. В итоге это привело к частичной потере обратной ссылочной массы, так как на удаленные страницы вели внешние ссылки.
Рисунок 2. Пример динамики 404 ошибок
Как 404 ошибки влияют на SEO
Что Google говорит о 404?
Поисковая система воспринимает 404 ошибки как естественное явление. Из Cправки Google:
Рисунок 3. Cправка Google — Ошибки 404
Но при этом, 404 ошибки могут оказывать влияние на ранжирование сайта.
Ведущий SEO-специалист Екатерина Киясова
Дело в том, что не столько 404 страницы негативно влияют на SEO, сколько ссылки, содержащие URL-адреса, ведущие на 404 ошибки.
Слишком много ссылок на 404 ошибки сигнализируют о проблемах с качеством сайта. Они способны ухудшить индексацию сайта, что в свою очередь приведет к потере позиций. Также это создает негативный пользовательский опыт — рост показателя отказов и снижение времени взаимодействия с сайтом.
Именно “неработающие” ссылки являются критичным фактором. К тому же, это негативно отражается на краулинговом бюджете. Поисковый робот будет тратить свой ресурс на переход по ссылкам на страницы, отдающие 404 код ответа, вместо того, чтобы сканировать все нужные и ценные для продвижения страницы.
Поэтому, если нет битых ссылок, поисковый робот не сможет найти никаких ссылок, указывающих на 404 страницы.
Нет ссылок на 404 — нет 404.
Рисунок 4. Cправка Search Console
Отдельно рассмотрим Soft 404 ошибки — в чем их проблема?
Soft 404 ошибка или, так называемая, ложная 404 ошибка происходит, когда страница не существует, но возвращает код ответа 200 ОК. Стоит отметить, что такое понятие введено только ПС Google. В других поисковых системах термина “ложная 404 ошибка” не существует.
Причины возникновения Soft 404 ошибок следующие:
HTTP статус 200 ОК, то есть “успешно”, сообщает поисковым системам, что страница существует. Соответственно, несуществующая страница будет сканироваться и, как следствие, может попасть в результаты поиска.
Такая ситуация способна негативно отразиться на ранжировании всего сайта и впустую тратить ценный ресурс краулера.
3 способа, как проверить код ответа страницы
1. В браузере
Быстро проверить код ответа страницы без использования сторонних инструментов можно в браузере Google Chrome — кликнуть правой кнопкой мыши в любом месте на странице, нажать “Проверить код” и перейти в раздел “Network” — столбец “Status”. Код ответа 404 отображается так:
Рисунок 5. Google Chrome Inspector
В столбце статуса кроме 404 указано много других кодов состояния — это перечислены все ресурсы, которые загружает страница: запрошенные файлы, изображения и т.д.
За один раз позволяет проверить до 100 url’ов:
Рисунок 6. httpstatus.io
3. Плагин для Chrome
Бесплатное расширение Redirect Path в Google Chrome. Расширение отображает 301, 302, 404 и 500 коды ответа HTTP, а также перенаправления, выполняемые посредством JavaScript.
Пример отображения 404 ошибки в расширении Redirect Path:
Рисунок 7. Redirect Path
4 инструмента, как проверить сайт на 404 ошибки
Есть масса различных инструментов и плагинов работы с 404 ошибками. В этой статье приведем основные, которыми мы пользуемся ежедневно:
1. Google Search Console
Чтобы проверить, есть ли у сайта 404 ошибки, необходимо перейти в Отчет об индексировании — раздел “Покрытие” — “Ошибка”:
Рисунок 8. Google Search Console — Отчет об индексировании — Покрытие
В разрезе каждой ошибки приведен перечень страниц с датой последнего сканирования. Чтобы получить больше данных об URL, необходимо в отчете Search Console напротив URL нажать “Проверить URL”:
Рисунок 9. Search Console — Покрытие — Ошибка — Проверить URL
Согласно справке Search Console 404 ошибки делятся на 2 группы по принципу их нахождения поисковым роботом:
Рисунок 10. Указан источник обнаружения 404 ошибки, отчет “Отправленный URL не найден”
Рисунок 11. Источник обнаружения 404 ошибки скрыт, отчет “Не найдено (404)”
Serpstat позволяет выполнить аудит проекта. Обычно мы используем данный сервис, когда нужно быстро оценить состояние проекта, понять его слабые и сильные стороны. После добавления проекта и парсинга сайта сервис предоставит перечень ошибок с пояснениями, рекомендациями по их устранению и градацией (высокий, средний и низкий приоритет).
Так, аудит одного небольшого западного проекта показал довольно большое число 404 ошибок:
Причина была в том, что в блоге на сайте изменили принцип формирования url-адресов статей, но не обновили url’ы в ссылках на одном из его поддоменов:
Рисунок 13. Источник 404 ошибки, Serpstat.com
3. Ahrefs (Broken Links)
Инструмент Broken Link Checker показывает внутренние и внешние битые ссылки. Бесплатно отображает до 10 урлов.
Рисунок 14. Ahrefs Broken Link Checker
4. Сканеры Screaming Frog и Netpeak Spider
Эти программы используем в основном, когда анализируем техническую оптимизацию сайта и формируем ТЗ для программистов, они позволяют спарсить весь сайт и выгрузить таблицы в разрезе каждой ошибки.
Рисунок 15. 404 ошибки, Screaming Frog
Как устранить ошибки 404
Чтобы устранить 404 ошибки на сайте, необходимо определить их источник, т.е. найти местоположение битых ссылок. Для этого можно воспользоваться любым краулером. После завершения парсинга необходимо в списке всех урлов сайта отфильтровать по коду ответа — 404. Таким образом вы получите список всех 404 ошибок и внутренних ссылок на них. Данный список рекомендуется сопоставить со списком Google Search Console.
После установления источника 404 ошибок — удалить либо заменить на актуальные внутренние ссылки сайта, ведущие на страницы с 404 кодом ответа сервера. При этом, необходимо убедиться, что страницы, отдающие код 404, удалены из файла Sitemap.xml, иначе поисковый робот продолжит их сканировать.
В случае Soft или ложных 404 ошибок рекомендуется настроить код ответа сервера 404. И, аналогично, удалить или обновить ссылки, ведущие на них.
Пример отображения данных в Google Search Console после устранения 404 ошибок:
Рисунок 16. Устранение 404 ошибок
Как избежать появления 404 ошибок
Чтобы предотвратить появление 404 ошибок, рекомендуем следовать следующим правилам на примере наиболее типичных ситуаций:
Ситуация 1 — Изменение принципа формирования URL
Ситуация 2 — Работа с ПОСТОЯННО отсутствующими товарами (бренды или другие похожие сущности)
В управлении отсутствующими товарами нет единого правильного подхода. Выбор варианта оптимизации зависит от приоритетов и степени приемлемого риска.
Рассмотрим часто используемые подходы в управлении отсутствующих товаров:
Тайминги приведены условные. Цель — обеспечить максимально возможный период ранжирования по запросам отсутствующего товара.
Ситуация 3 — Работа с ВРЕМЕННО отсутствующими товарами
В случае, когда товары периодически уходят из запасов и возвращаются, настройка 404 кода ответа сервера или настройка 301/302 редиректа крайне рискованна потому, что возобновление ранжирования товарных страниц может происходить крайне долго.
В таком случае лучше оптимизировать такие страницы, например:
— реализовать разметку структурированных данных ‘In Stock’:
Рисунок 17. Разметка структурированных данных
— предлагать альтернативные товары, которые есть в наличии;
— изменить порядок вывода товаров в листинге: отсутствующие товары выводятся в конце листинга;
— добавить новый фильтр, чтобы пользователь мог самостоятельно фильтровать товары по наличию.
Ситуация 4 — Необходимость удалить любые страницы на постоянной основе (сервисные, генерируемые CMS, ненужные, не приносящие трафик и т.д.)
Как создать страницу 404
Страницы с ошибками создают плохой пользовательский опыт, но эффективная пользовательская 404 страница способна смягчить разочарование пользователей и побудить к дальнейшему изучению сайта.
Какой должна быть оптимизированная 404 страница, основные рекомендации:
Примеры креативных и информативных страниц 404
Olx.ua предлагает поиграть в крестики-нолики:
Рисунок 18. 404 страница olx.ua
Лаконичный дизайн 404 страницы Karabas.com:
У comfy.ua сохранена вся навигация в header и указаны возможные причины 404 ошибки:
Рисунок 20. 404 страница comfy.ua
Недовольный кот, шевелящий ушами и хлопающий глазами, встретит посетителей 404-й на сайте html6.com.ru:
Crello «сваливает» всю ответственность на голубей =) и предлагает вернуться назад или создать новый дизайн прямо с 404-й страницы:
Canva предлагает собрать закатный пазл:
Pixar предлагает перестать плакать, изобразив на 404-й странице ревущую девочку из своих мультиков:
У Marvel на 404-й странице тоже изображена одна из их героинь (в испуганном виде):
А у Figma надпись 404 можно растягивать, потянув за точки, отмеченные на изображении. Залипательно!:
Страница 404 у Airbnb тоже весьма креативная: девочка роняет на пол мороженое и улыбка на ее лице сменяется эмоцией грусти:
ВЫВОДЫ
Непосредственно сами 404 страницы не вредят SEO, но ссылки, ведущие на 404 ошибки, особенно, если их много, могут негативно влиять на эффективность сайта в органическом поиске. Бездействуя, можно потерять посетителей и продажи. Убедитесь, что на сайте нет неработающих внутренних ссылок.
Сделайте 404 страницу привлекательной, чтобы удержать пользователя на сайте.