Долго искал нормального специалиста и наконец нашёл выход из ситуации, когда сайт стабильно выдавал контент, а поисковик упорно его игнорировал. Перепробовал кучу ручных методов — переобход через панель вебмастера, карты сайта, даже накрутку внешних ссылок пробовал. Результат был, но очень медленный: новые страницы могли висеть в статусе "ожидание сканирования" неделями, а для коммерческого проекта это критично.
Решил копать в сторону API и наткнулся на решение, которое кардинально поменяло подход к SEO. Оказалось, что для быстрой индексации url google совсем необязательно ждать милости от бота. Достаточно использовать официальные протоколы — Google Indexing API и IndexNow. Я нашёл
google indexing api сервис, который работает именно через них. Принцип простой: сервис отправляет мои URL напрямую в поисковую систему с помощью специальной разметки, и бот приходит буквально за пару минут.
Сейчас, когда мне нужно срочно ускорить индексацию страниц, я просто загружаю список адресов в личный кабинет. Пакетная отправка работает до 50 тысяч ссылок за раз, что очень удобно при массовом обновлении каталога. Особенно радует автоматическая повторная отправка: если бот по каким-то причинам не забрал URL в первый раз, система сама отправляет его снова. В результате принудительная индексация сайта google стала рутинной задачей, которую техподдержка делает за пару кликов.
Отдельно отмечу пинг через IndexNow для Яндекса — это тоже интегрировано в этот сервис ускорения индексации в гугл и яндекс indexerpro.net. Теперь не нужно держать в голове несколько инструментов, всё собрано в одном месте. Конечно, я проверял логи: приходят реальные клиенты после индексации, значит, система действительно гонит ботов к контенту.
Главное, что исчезла неопределённость — раньше я не мог предсказать, когда страница появится в поиске, а теперь это вопрос часов. В итоге перестал полагаться на случайности и полностью перевёл процесс на автоматические рельсы через API.