Как собирать данные с маркетплейсов: карточки, цены, продавцы и отзывы

Маркетплейс выглядит как обычный каталог, но для аналитики это сложная система: карточки, продавцы, категории, фильтры, отзывы, промо, логистика и меняющаяся выдача. Чтобы данные были полезны, их нужно собирать не “как получится”, а по заранее заданной модели.

Что именно собирать

Базовая карточка обычно включает:

• название товара;
• цену и старую цену;
• продавца;
• бренд;
• рейтинг;
• количество отзывов;
• характеристики;
• категорию;
• позицию в выдаче;
• ссылку на карточку;
• дату снимка.

Для продвинутой аналитики добавляют изображения, варианты товара, остатки, промо, доставку и изменения продавцов.

Категории или карточки

Есть два подхода.

Сбор по категориям нужен, если вы хотите видеть рынок: новых игроков, ассортимент, позиции и диапазон цен.

Сбор по списку карточек подходит для мониторинга конкретных SKU: цена, наличие, продавец, рейтинг, отзывы.

Часто используют оба: категории дают разведку рынка, список карточек — точный мониторинг важных товаров.

Дедупликация

На маркетплейсах один товар может существовать в нескольких карточках. Дубли появляются из-за разных продавцов, упаковок, цветов, размеров, регионов и ошибок в названии.

Ключи дедупликации:

Если дедупликацию не настроить, аналитика покажет рост ассортимента там, где на самом деле появились копии.

История важнее одного снимка

Один снимок показывает состояние витрины. История показывает динамику:

• кто снизил цену;
• когда появился новый продавец;
• как изменился рейтинг;
• какие карточки исчезли;
• где категория растет быстрее;
• как меняется промо-активность.

Для marketplace analytics храните снимки с датой, источником и версией схемы.

Качество данных

Проверяйте:

• пустые цены;
• карточки без продавца;
• резкий рост или падение количества товаров;
• дубли;
• ошибки валюты;
• страницы блокировки вместо карточек;
• разные форматы характеристик.

Куда отправлять данные

Для старта достаточно Google Sheets или Excel. Для регулярной аналитики лучше:

• BI;
• база данных;
• S3;
• REST API;
• webhook в внутреннюю систему.

Если данные нужны нескольким командам, не делайте одну “общую таблицу на все”. Лучше определить схемы: pricing, assortment, reviews, seller monitoring.

Итог

Сбор данных с маркетплейсов становится полезным, когда вы заранее проектируете модель данных: категории, карточки, продавцы, история, дедупликация и контроль качества. Тогда результат можно использовать не только для разовой таблицы, но и для регулярной аналитики рынка.