Почему не индексируются некоторые страницы? Не индексируется в яндексе

В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.

1. Яндекс не индексирует сайт полностью

Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.

Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:

1. Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
2. Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
3. Добавьте на сайт Яндекс.Метрику
4. Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);

1.2. Старый сайт частично или полностью выпал из индекса

Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).

Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.

Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:

1. Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
2. Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).

2. Яндекс не индексирует страницы на сайте

Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:

1. Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
2. На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
3. Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
4. На страницу нет ссылок – соответственно, поисковая система не может ее найти.
5. Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
6. Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
7. Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.

Создали сайт, но не можете его найти в поисковиках? Не проблема! В этом материале Вы узнаете, как проиндексировать сайт в Яндекс и Google, за максимально короткий промежуток времени. Наверное, о плюсах быстрого попадания в индекс поисковых систем говорить излишне. Ведь любой понимает, что чем раньше его сайт будет показываться в поисковой выдаче, тем быстрее появятся новые клиенты. И чтобы это всё заработало, необходимо попасть в базу поисковиков.

Кстати говоря, благодаря правильному подходу, новые материалы нашего сайта достаточно хорошо, а самое главное всегда быстро индексируются поисковыми системами. Возможно и Вы попали на эту страницу после обращения соответствующим запросом в поисковой строке. От лирики же перейдём к практике.

Как узнать проиндексирован ли сайт?

Первое, что нужно сделать — узнать проиндексирован ли сайт поисковыми системами. Может быть так, что сайт просто не находится на первой странице поиска по тому запросу, которые Вы вводили. Это могут быть высокочастнотный запросы, чтобы показываться по которым нужно работать над , а не просто сделать и запустить сайт.

Итак, для проверки заходим во все поисковые системы, в которые имеет смысл заходить (Яндекс, Гугл, Мэйл, Рамблер ) и в строку поискового запроса вводим адрес сайта.

Если Ваш ресурс ещё не был проиндексирован — в результатах выдачи ничего не будет показано, либо покажутся другие сайты.

Как проиндексировать сайт в Яндексе?

Для начала расскажем, как проиндексировать сайт в Яндексе. Но прежде чем, добавить свой ресурс, проверьте, чтобы он корректно работал, правильно открывался на всех устройствах и содержал только уникальный контент . Например, если добавить сайт на стадии разработки, можно просто угодить под фильтр — с нами один раз такое случалось и пришлось ждать целый месяц, чтобы Яндекс понял, что у нас качественный сайт и снял санкции.

Чтобы сообщить Яндексу о новом сайте, необходимо и , первый инструмент отвечает за дополнительную информацию о ресурсе (регион, структура, быстрые ссылки ) и тот, как сайт выглядит в результатах органической выдачи, второй за сбор данных по сайту (посещаемость, поведение и прочее ), что согласно нашем опыту, так же оказывает влияние на индексацию сайта и его позиции в поиске. А ещё обязательно сделайте карту сайта и укажите её в панели вебмастеров.

Как проиндексировать сайт в Google?

Чаще всего Гугл сам достаточно оперативно находит новые сайты и загоняет их в поиск, но ждать, когда Google придёт и сделает за нам всю работу — слишком самонадеянно, поэтому давайте разберёмся, как проиндексировать сайт в Google.

Сначала — это панель вебмастеров Google, и . Придерживаемся тех же целей — дать максимум информации о сайте поисковым системам.

После того, как сайты добавлены, должно пройти от 3 до 7 дней , прежде чем поисковики обновят данные и проиндексируют сайт.

Всегда хочется, чтобы новые страницы сайта, стали показываться в результатах поиска, как можно быстрее и для этого есть несколько секретных (и очень простых) способов, как ускорить индексацию страниц сайта в поисковых системах.

3. Чтобы проделать манипуляцию описанную во 2-м пункте, только для поисковой системы Google, заходим в Search Console. Выбираем «Сканирование» и «Посмотреть, как Googlebot» -добавляем адрес новой страницы и нажимаем «Сканировать», после этого запрашиваем индексацию.

Анализ индексации сайта

В завершении необходимо отметить, что даже после успешной индексации сайта в поисковых системах, на этом работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказать в ситуации, когда значительная часть трафика из органической выдаче просто исчезла.

Так случилось со многими старыми сайтами, которые использовали старые методы продвижения, после выхода . При этом, Яндекс заранее сообщил о том, что запускает этот алгоритм и переоптимизированные страницы будут исключены из поиска, а тот же Google, никогда не сообщает о выходе новых алгоритмов. Поэтому только неустанный контроль позволит оставаться лидером тематики или стать им!

При продвижении сайта в поисковые системы иногда возникает следующая проблема - некоторые страницы ресурса никак не могут быть проиндексированы поисковиками. Почему так происходит? Сложно однозначно ответить на этот вопрос, пока нет возможности посмотреть на сам проект и попытаться исправить очевидные проблемы, если таковые имеются. И даже если причина, почему поисковики игнорируют какую-либо страницу, найдена, всегда существует вероятность, что она может быть не единственной. Естественно получается так - если часть страниц, оптимизированных под определённые ключевые слова, не индексируется поисковиками, то эффективное продвижение сайта просто невозможно.

Если возникают проблемы с индексацией, изначально есть смысл проверить в каждом поисковике отдельно, выбранном для продвижения - вполне возможно, что проблема есть только с одной поисковой системой. В этом случае причина может быть даже в банальной ошибке. Многие системы предоставляют возможность проверить проиндексирована ли определённая страница при помощи специальных операторов, однако есть более простой и быстрый способ - просто ввести в строку поиска адрес страницы и посмотреть результаты. В том случае, если поисковик не выдаст ссылку на эту страницу Вашего сайта, логично предположить, что она не проиндексирована.

Когда Вы уже осознали, что определённая страница действительно не проиндексирована в поисковике, необходимо проверить и все остальные страницы сайта, введя в строку поиска "site:имя_сайта.ru". При этом Вы точно поймёте, какие страницы Вашего ресурса уже проиндексированы, а какие нет - ведь проблема может быть куда масштабнее, чем одна "забытая" поисковиками страница. К основным причинам проблем с индексацией специалисты Newmann Bauer относят:

1. Слишком длинный динамический адрес страниц. Поисковики иногда "отказываются" от индексации страниц, адрес которых слишком длинный и содержит множество дополнительных параметров;
2. Если на страницах сайта содержатся тексты, которые являют собой обыкновенный спам. Также такое может произойти из-за контента, перенасыщенного ключевыми словами. Решение - наполнение страницы другим содержанием и просьба о переиндексации страницы. В противном случае спам может испортить рейтинг сайту в целом;
3. В том случае, если файл robots.txt, содержащий инструкции для поисковых роботов составлен неправильно, некоторые страницы могут быть просто исключены и необходимости их индексации для поисковых роботов не существует. Это также может быть причиной, по которой не индексируется какая-либо определённая страница ресурса;
4. На Вашем проекте содержатся скрытые ссылки. Если навигация по проекту происходит при помощи способов, которые не относятся к HTML, поисковики могут просто не видеть страницы, которые необходимо проиндексировать.

Бывает и так, что индексация всех страниц проходит правильно, а одна-единственная страница остаётся недоступной к обнаружению через поисковые системы. В этом случае вполне возможно, что такая страница доступна только тем пользователям, которые заполняют определённую форму или же кликают на всплывающее окно - поисковые роботы делать этого пока ещё не научились. На странице также может присутствовать редирект с использованием JavaScript или мета обновлением, которое препятствует индексации. Также в случае использования фрейма на странице, грубых ошибок в коде или слишком длинных размеров индексация вполне возможно будет неправильной.

От SiteClinic.

Плохая индексация сайта - одна из серьезных проблем вебмастеров. Почему сайт или его отдельные страницы до сих пор не в индексе? Чтобы ответить на этот вопрос, нужно провести небольшой анализ. Ниже приведен список основных причин плохой индексации, который можно использовать как чеклист для решения проблемы.

Основные причины

Существует 5 основных причин, по которым сайт или его отдельные документы могут не заходить в индекс (или делать это с трудом). Вот они:

— Робот не знает о сайте или документе
— Сайт или его часть недоступна для робота
— Сайт находится в черном списке
— Присутствует техническая ошибка
— Отдельные страницы или разделы показывают плохое качество

Ниже подробно расписан каждый перечисленный выше пункт.

1. Робот не знает о сайте/документе

Робот может не знать о сайте (не включить его в свое расписание) по разным причинам.

— Прошло мало времени

Для того, чтобы робот узнал о сайте или новой странице, необходимо время, когда он найдет ссылку (внутреннюю или внешнюю), либо когда кто-то зайдет на сайт из браузера с установленным тулбаром, либо вы намеренно сообщите роботу о появлении нового документа. Ускорить попадание документа в расписание индексации можно с помощью .

Также, если вы по логам сервера уже видите, что робот заходил на сайт, а страницы в индексе не появились, нужно подождать апдейта, который в Яндексе происходит не чаще 2 раз в неделю (а по праздникам доходит до 1 раза в 2-4 недели). В основной индекс страницы могут попадать за несколько часов в Google и минимум за 2 недели в Яндекс (если попадают раньше, то по документу скорей всего прошелся быстробот и позже страницы могут на время уйти из индекса до прихода основного робота).

— На сайт/документ не стоит ссылок

Если сайт обновляется редко, то робот на него также будет заходить редко и при добавлении новых страниц нужно убедиться, что на них стоят ссылки с главной, либо можно поставить ссылки с других внешних ресурсов (с целью подсказки роботу о новых документах).

2. Сайт или его часть недоступна для робота

Даже если поисковик уже знает о сайте, мы можем осознанно или неосознанно закрывать ему доступ к отдельным разделам и документам.

— Домен не делегирован (или снят с делегирования по жалобе)

Убедитесь, что приобретенный вами домен делегирован и доступен по доменному имени не только вам, но и другим пользователям сети. Попросите своих знакомых из другого города зайти на сайт и проверить, открывается ли он.

— Медленная скорость отдачи документов

Медленная скорость отдачи документов из-за проблем в хостинге или CMS не позволит роботу быстро индексировать сайт. Он будет продолжать его сканировать, но не так быстро, как если бы документы отдавались моментально. Простая оптимизация скорости загрузки сайта может существенно улучшить его индексацию.

Конечно же, существуют и другие причины плохой индексации сайта. Если ни один из вышеперечисленных признаков вам не подходит, необходимо связаться со службой поддержки поисковой системы, либо связаться со специалистами.

Если в вашем опыте встречались какие-то другие проблемы, мешающие сайту нормально индексироваться, делитесь ими в комментариях!

Что такое индексирование сайта? Как оно происходит? На эти и другие вопросы вы можете найти ответы в статье. в поисковых системах) называют процесс приобщения информации о сайте к базе данных роботом поисковой машины, которая впоследствии используется для розыска сведений на веб-проектах, прошедших такую процедуру.

Данные о веб-ресурсах чаще всего состоят из ключевых слов, статей, ссылок, документов. Индексироваться также могут аудио, изображения и так далее. Известно, что алгоритм выявления ключевых слов зависим от поискового устройства.

На типы индексируемой информации (flash файлы, javascript) существует некоторая лимитация.

Управление приобщением

Индексирование сайта - сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.

Также для ведения индексации применяют теги и реквизит , скрывающие содержимое ресурса от роботов Google и «Яндекса» (Yahoo применяет тег ).

В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе - от одной недели до четырёх.

Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.

Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.

Способы обработки

Индексирование сайта может выполняться несколькими способами:

1. Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
2. Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.

Сроки

Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.

Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.

За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.

Изменения

Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:

• санкции поисковика к веб-узлу;
• наличие погрешностей на сайте;
• изменение алгоритмов поисковиков;
• отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.

Ответы «Яндекса» на обычные вопросы

«Яндекс» - поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.

Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.

Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.

Индексирование сайта в «Яндексе» - довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется - робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.

Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).

Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда - через пару недель.

Процесс обработки

«Яндекс» - поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:

1. Поисковый робот выполняет обход страниц ресурса.
2. Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
3. Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.

Проверка индексации

Как проверить индексацию сайта? Выполнить это можно тремя способами:

1. Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
2. Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
3. Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.

Почему «Яндекс» отказывает?

Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.

У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.

Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.

Ускорение работы «Яндекса»

Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:

Промежуточные действия

Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.

База данных Google

Запрещение

Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?

Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:

1. User-agent: *
2. Disallow: /kolobok.html
3. Disallow: /foto/

Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий - не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».

Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между Запись для запрета, к примеру, может быть написана так: .

Ajax

А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.

Однако системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.

Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.

Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:

1. Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
2. HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на?_escaped_fragment_=.