Model Context Protocol: подключаем веб-скрапинг к Claude и LLM-агентам

Model Context Protocol (MCP) — открытый протокол от Anthropic, который решает конкретную проблему: как дать LLM-ассистенту (Claude, любому MCP-совместимому клиенту) доступ к внешним данным и инструментам без написания кастомной интеграции под каждую пару «модель + сервис».

Применительно к веб-скрапингу это означает: вместо того чтобы копировать результаты парсинга вручную в чат, ассистент может сам запросить данные напрямую.

Зачем скрапингу MCP-сервер

Без MCP типичный процесс выглядит так: вы заходите в дашборд парсера, смотрите результаты, копируете нужные строки в чат с LLM, просите проанализировать. С MCP-сервером ассистент сам:

• получает список активных проектов парсинга и их статус;
• запрашивает последние собранные данные;
• при необходимости запускает новый скрапинг и получает результат напрямую.

Анатомия MCP-сервера

MCP-сервер — это процесс, который объявляет набор инструментов (tools) с именем, описанием и схемой параметров, и отвечает на вызовы по stdio или HTTP.

import { McpServer } from "@modelcontextprotocol/sdk/server/mcp.js";
import { StdioServerTransport } from "@modelcontextprotocol/sdk/server/stdio.js";
import { z } from "zod";
 
const server = new McpServer({ name: "scraper", version: "1.0.0" });
 
server.registerTool(
  "get_latest_results",
  {
    title: "Получить последние результаты парсинга",
    description: "Возвращает последние собранные строки данных по проекту",
    inputSchema: { projectId: z.string() },
  },
  async ({ projectId }) => {
    const rows = await fetchLatestRows(projectId);
    return { content: [{ type: "text", text: JSON.stringify(rows) }] };
  },
);
 
const transport = new StdioServerTransport();
server.connect(transport);

Ключевая часть — description. LLM-клиент решает, когда и как вызвать инструмент, основываясь именно на текстовом описании — чем точнее оно объясняет, что делает инструмент и какие у него последствия, тем корректнее агент им пользуется.

Разделение read-only и side-effect инструментов

Хорошая практика — явно помечать в описании, запускает ли инструмент реальное действие:

server.registerTool(
  "run_scrape_now",
  {
    title: "Запустить скрапинг прямо сейчас",
    description:
      "Запускает реальный сбор данных по проекту немедленно (тратит кредиты API, " +
      "может занять несколько минут). Не вызывать для простого просмотра статуса — " +
      "для этого есть get_project_status.",
    inputSchema: { projectId: z.string() },
  },
  async ({ projectId }) => {
    const result = await triggerScrape(projectId);
    return { content: [{ type: "text", text: JSON.stringify(result) }] };
  },
);

Подключение сервера к Claude Code

claude mcp add scraper -- node ./mcp-server/index.js

После этого ассистент видит все зарегистрированные инструменты сервера и может вызывать их в рамках диалога — без ручного копирования данных между интерфейсами.

Типичные сценарии применения

Заключение

MCP превращает скрапинг-платформу из «инструмента, которым управляют через UI» в «инструмент, которым может управлять LLM-агент напрямую». Для команд, которые уже используют Claude Code или похожих ассистентов в рабочем процессе, это убирает целый слой ручного копирования данных между системами.