SEO-трекинг конкурентов: автоматизация анализа выдачи и позиций

Изменения на сайте конкурента — новые страницы, обновлённые заголовки, перестроенная структура каталога — часто предшествуют изменениям в поисковой выдаче на недели. Кто первым замечает эти сигналы, тот успевает среагировать раньше остальных.

Что стоит отслеживать

• Новые страницы — конкурент расширяет охват по каким-то темам/категориям.
• Удалённые страницы — возможно, отказ от направления или редизайн структуры.
• Изменения title/description/H1 — сигнал о пересмотре SEO-стратегии по конкретной странице.
• Изменение внутренней перелинковки — на какие страницы конкурент теперь ссылается активнее.

Периодический обход и вычисление diff

from parsera import Client
 
client = Client(api_key="pk_...")
 
def crawl_site(base_url: str, max_pages: int = 30) -> list[dict]:
    result = client.crawl(
        url=base_url,
        max_pages=max_pages,
        fields=["title", "meta_description", "h1"],
    )
    return result.pages

def compute_diff(old_pages: list[dict], new_pages: list[dict]) -> dict:
    old_by_url = {p["url"]: p for p in old_pages}
    new_by_url = {p["url"]: p for p in new_pages}
 
    new_urls = [u for u in new_by_url if u not in old_by_url]
    removed_urls = [u for u in old_by_url if u not in new_by_url]
 
    changed = []
    for url, new_page in new_by_url.items():
        old_page = old_by_url.get(url)
        if old_page and (old_page["title"] != new_page["title"] or old_page["h1"] != new_page["h1"]):
            changed.append({"url": url, "old": old_page, "new": new_page})
 
    return {"new_pages": new_urls, "removed_pages": removed_urls, "changed": changed}

AI-интерпретация изменений

Сырой diff — список URL и полей — сам по себе не даёт стратегического понимания. LLM хорошо справляется с переводом технических изменений в human-readable инсайты:

def analyze_diff(diff: dict, competitor_name: str) -> str:
    prompt = f"""
    Сайт конкурента: {competitor_name}
    Новые страницы: {len(diff['new_pages'])}
    Удалённые страницы: {len(diff['removed_pages'])}
    Изменения title/H1: {len(diff['changed'])}
 
    Детали изменений: {diff}
 
    Проинтерпретируй эти изменения с точки зрения SEO-стратегии конкурента.
    Что это может означать для нашей собственной стратегии?
    """
    return llm_call(prompt)

Практичная схема мониторинга

1. Выбрать 3-5 ключевых конкурентов и приоритетные разделы их сайтов.
2. Обходить их раз в неделю (для быстро меняющихся ниш) или раз в месяц (для стабильных).
3. Вычислять diff между текущим и предыдущим обходом.
4. Раз в квартал — более полный обход всего сайта для выявления структурных изменений, которые не попали в приоритетный список.

Заключение

SEO-трекинг конкурентов превращает разовые аудиты в непрерывный процесс — вместо того чтобы гадать, почему у конкурента выросли позиции, вы видите конкретные изменения, которые этому предшествовали, и можете скорректировать свою стратегию с опережением, а не постфактум.