OCR и компьютерное зрение: когда текста на странице недостаточно

Не все данные в вебе — это текст в HTML. Иногда нужная информация — это отсканированный документ, число на скриншоте, текст, отрисованный в canvas, или изображение чека. В этих случаях обычный парсинг DOM не работает вообще.

Когда обычный парсинг бессилен

• Сканы и PDF-документы без текстового слоя — счета, накладные, старые архивные документы.
• Canvas/WebGL-рендеринг — некоторые сайты (в том числе защищённые от скрапинга) рисуют текст через canvas вместо обычного HTML именно чтобы усложнить парсинг.
• Изображения с текстом — скриншоты таблиц, инфографика с ценами, водяные знаки поверх контента.

Классический OCR: Tesseract

import pytesseract
from PIL import Image
 
image = Image.open("invoice_scan.png")
text = pytesseract.image_to_string(image, lang="rus+eng")
print(text)

Tesseract хорошо справляется с чистым, ровным текстом на однородном фоне, но заметно теряет точность на сложных макетах — таблицах, многоколоночных документах, тексте под углом или с низким контрастом.

Vision-модели: понимание контекста, не только символов

from openai import OpenAI
import base64
 
client = OpenAI()
 
with open("invoice_scan.png", "rb") as f:
    image_b64 = base64.b64encode(f.read()).decode()
 
response = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Извлеки: номер счёта, дату, сумму, ИНН поставщика. Верни JSON."},
                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_b64}"}},
            ],
        }
    ],
)
 
print(response.choices[0].message.content)

Мультимодальная модель понимает не только отдельные символы, но и структуру документа — где находится таблица, что относится к заголовку, а что к строке данных. Это даёт заметно лучшую точность на сложных макетах, но стоит дороже за запрос, чем локальный OCR.

Извлечение текста из PDF без OCR

Если PDF содержит текстовый слой (не является сканом), OCR не нужен вообще:

import pdfplumber
 
with pdfplumber.open("report.pdf") as pdf:
    for page in pdf.pages:
        tables = page.extract_tables()
        for table in tables:
            print(table)

Это быстрее и точнее OCR — стоит всегда сначала проверить, есть ли у PDF текстовый слой, прежде чем применять распознавание изображений.

Сравнение подходов

Заключение

OCR и компьютерное зрение — не замена обычному парсингу, а дополнение для случаев, когда данные физически не представлены как текст в разметке. Правильная стратегия — сначала проверить, нет ли более дешёвого пути (текстовый слой PDF, скрытый API), и только затем переходить к OCR или vision-моделям, выбирая между ними по балансу точности и стоимости для конкретного объёма документов.