Лучше всего снять с неё активную ссылку, чтобы она работала только как навигация, показывая посетителю, где именно он находится в данный момент. Но можно вовсе её убрать, юзабилити от этого не пострадает. Это важный технический параметр, который разработчики сайтов и системные администраторы игнорируют практически всегда. И далеко не каждый SEO-специалист понимает важность такого ответа сервера. Используйте принципы плоской структуры сайта, чтобы важные страницы были как можно ближе к главной.
Полезно сопоставить количество страниц в индексах Яндекс и Google. Правила обхода этих систем отличаются, но разница не должна быть существенной. А отличия в наборе данных панелей вебмастеров помогут вам получить дополнительные сведения и инсайды. После того, как робот-краулер просканировал URL и проанализировал его контент, он добавляет новые адреса в список обхода, чтобы обойти их позже или сразу. Пользователю в этом случае просто неудобно – чтобы вернуться на предыдущую страницу, ему придется нажать кнопку «назад» или зайти в поиск.
Оптимизация краулингового бюджета
Ещё одна проблема с лишними редиректами – это ссылочный вес. Каждое перенаправление уменьшает его, поэтому ваш линкбилдинг работает менее эффективно. Процесс краулинга лучше описан для роботов Google благодаря тому же Гэри Иллису (Gary Illyes). Google создаёт список URL и сортирует их по приоритетности. На одном из наших проектов мы обнаружили, что бот тратил на проверку одной страницы 6 секунд. Напомним, пользователь закрывает страницу спустя примерно 3 секунды.
Чтобы узнать https://deveducation.com/ при помощи Яндекс.Вебмастер, выбираем раздел «Индексирование» → «Статистика обхода». Сервис показывает количество обращений к сайту за текущий день, но не показывает общий показатель за желаемый период. Например, на нашем сайте количество страниц в индексации составило 150, количество обращений роботов — 67. Сервис показывает количество обращений к сайту за текущий день, но не показывает общий показатель за желаемый период.
«Чистка» сайта
Во время своей работы, они нагружают сервер, на котором размещён сайт. Первое, с чего начинается технический аудит сайта – это проверка перенаправлений на главную страницу. Страница может быть доступна по HTTP или HTTPS, а также с WWW и без него. Это дубли, и в таком случае поисковая система может счесть главным зеркалом любую из этих версий, а вы потеряете контроль – и краулинговый бюджет. Поэтому в обязательном порядке нужно настраивать 301-й (постоянный) редирект на выбранную вами версию. Поисковые системы далеко не сразу вносят в свои базы данных новые страницы сайтов.
Потерянные страницы — это страницы, на которые невозможно попасть через внутренние ссылки. Для больших сайтов это является критическим моментом, так как может существенно повлиять на скорость обхода и индексирование страниц. Во-первых, это вводит в заблуждение пользователя как увеличить краулинговый бюджет и раздражает его, так как он тратит свое время на поиск. Во-вторых, это приводит к трате ссылочного веса и расходу краулингового бюджета. Заголовок Last-Modified сообщает браузеру пользователя или роботу ПС информацию о дате и времени последнего изменения текущей страницы.
Настройте перелинковку на важные страницы сайта
Чтобы узнать краулинговый бюджет в Google Search Console, заходим в «Настройки» → «Статистика сканирования» → «Открыть отчет». То есть робот зайдет один раз на ошибочную страницу, ничего там не найдет, позже зайдет еще несколько раз в попытках обнаружить там контент. Все эти попытки в отчетах мы не увидим — зафиксируется только одно обращение робота, хотя по факту их может быть 4-5. На сканирование всем сайтам, в зависимости от их размера, выделяется разный бюджет. Небольшому — до страниц, вероятнее всего, будет выделен меньший бюджет, нежели крупному сайту.
К тому же, бот может сам выбрать в качестве основной страницу, которую нам продвигать не нужно. В идеальном мире количество страниц сайта, которое должно быть в индексе, равно количеству страниц самого сайта. Гораздо чаще краулинговый бюджет расходуется на старые и невостребованные страницы, более важные остаются незамеченными роботами и не попадают в выдачу. Краулинговый спрос — это количество страниц сайта, внесенные в список планов поисковых роботов по сканированию с целью дальнейшей индексации.
Продолжительное время ожидания ответа сервера может предвещать множество проблем, связанных с индексацией страницы. Неспособность оптимизировать сайт в этом отношении — одна из самых распространенных ошибок, независимо от размера сайта. Достаточно использовать информацию, доступную в Google Search Console. На вкладке «Индексирование» после перехода к статистике индексации можно получить всю необходимую информацию о том, как роботы Google видят сайт. Цель позиционирования веб-сайта — вывести его на передний план в рейтинге органических результатов поиска.
- Стоит проверить, каковы отдельные факторы и почему каждый из них так сильно влияет на краулинговый бюджет.
- Если ваш показатель от 20%, рекомендуем бить тревогу — вероятно, к битым ссылкам добавятся дубли страниц и скрытый контент.
- Чаще всего циклические ссылки встречаются в хлебных крошках — навигационной цепочке, когда ее хвост заканчивается активной ссылкой на текущую страницу.
- По нашему опыту оптимальное число внутренних ссылок на страницу — от 7 штук.
- Чем крупнее ваш сайт и чем чаще вы обновляете контент – тем важнее правильно настроить такой ответ сервера.
Есть элементы, которые не следует включать в карту сайта. К ним относятся страницы с кодом, отличным от 200, страницы, заблокированные в файле robot.txt, или области, исключенные из индексации, например, с использованием тегов noindex. Если карта реализована неправильно, это может привести к серьезным проблемам с индексацией страницы. Ошибка 404 сообщает, что искомая страница не существует. Такая информация может оттолкнуть пользователя от чтения других подстраниц на сайте.
Leave A Comment