Catalogue AI: классификация новых SKU и очистка 182 000 карточек товаров

Две задачи одновременно: классифицировать каждую новинку в одну из примерно 1 400 листовых категорий и находить дубликаты карточек, которые точное сравнение строк не видит. Классификация — большая многоклассовая задача с длинным хвостом, мультиязычными описаниями и неконсистентными атрибутами поставщиков. Дубликаты отличаются порядком слов, единицами измерения, сокращениями и языком, поэтому сравнение названий почти ничего не находит; даже общий штрихкод GS1 (GTIN) ловит лишь ту часть дубликатов, где поставщики корректно заполнили поле. Обе модели должны были встроиться в существующий процесс заведения товара без нового инструмента, и человек всегда подтверждает.

Категорийный менеджер видит три ранжированных варианта с вероятностями и подтверждает одной клавишей. Исправления возвращаются в обучающую выборку той же ночью.

Решение построено как две модели за одним интерфейсом подтверждения: классификатор, возвращающий top-3 кода категорий с калиброванными вероятностями, и поиск дубликатов, который семантически эмбеддит каждую карточку и ищет ближайших соседей. Приближённый поиск соседей — стандартный способ быстро сравнивать сотни тысяч эмбеддингов; библиотека FAISS, использованная здесь, опубликована исследователями Meta в 2017 году и остаётся эталонной реализацией. Каждое подтверждение человека идёт в еженедельное переобучение.

• Классификатор. Градиентный бустинг поверх текстовых эмбеддингов (мультиязычные sentence transformers) и структурных атрибутов (состав, бренд, единица, хранение), обученный на истории присвоенных кодов. Порог уверенности решает, предвыбран ли top-1 или менеджер выбирает сам.
• Поиск дубликатов. Карточки эмбеддятся (название + атрибуты + штрихкод + описание); FAISS даёт пары-кандидаты, парная модель их оценивает, кандидаты группируются и ранжируются. Пары с одинаковым EAN показываются первыми как достоверные дубликаты.
• Интерфейс подтверждения. Экран слияния показывает обе карточки с полнотой атрибутов и покрытием остатками, предлагает, какую оставить, и фиксирует решение. Регулярные прогоны ловят новые дубликаты по мере заведения.
• Петля дообучения. Подтверждения и исправления собираются ежедневно; классификатор переобучается еженедельно (Airflow) с автоматическим порогом точности перед выкладкой.

Таблица сравнивает подход на правилах, который клиент пробовал раньше (ключевые слова и точное совпадение), с обученными моделями, которые его заменили. Правила прозрачны, но хрупки: на каждое новое написание у поставщика нужно новое правило. Обученные модели дороже в запуске и требуют размеченной истории, зато обобщаются на написания и языки, для которых никто не писал правил.

Точность измеряется на позициях, которые категорийные менеджеры реально подтвердили — честная метрика, — и росла каждую неделю по мере того, как исправления попадали в обучение.

Категорийные менеджеры обрабатывают группы дубликатов в отдельной очереди; большинство решений занимают секунды, потому что доказательства — тот же EAN, полнота атрибутов, где лежит остаток — на экране.

Стек целиком на Python: scikit-learn и LightGBM для классификатора, Sentence Transformers для мультиязычных эмбеддингов, FAISS для приближённого поиска соседей, инференс-сервисы на FastAPI, PostgreSQL для карточек и решений, Airflow для еженедельного переобучения и регулярных прогонов дубликатов. Интерфейс подтверждения на Vue встроен в существующий инструмент заведения товара через его API, так что категорийные менеджеры не покидают экран, которым уже пользуются.

Подход подходит любой компании, чьи мастер-данные ведут люди, а наполняют многие поставщики: продуктовый и DIY-ритейл, аптечные сети, дистрибьюторы запчастей, маркетплейсы. Чистые мастер-данные — фундамент, на котором стоит половина ИИ-дорожной карты: прогноз спроса, подбор замен при out-of-stock и conversational BI зависят от одной карточки на товар. McKinsey (2023) оценивает годовой эффект генеративного ИИ в ритейле примерно в 400–660 млрд долларов, и большая часть этой ценности предполагает чистые данные каталога. Регулирование ведёт туда же: Регламент ЕС об экодизайне (2024) вводит цифровой паспорт продукта, который потребует согласованных идентификаторов и атрибутов по каждому товару.

Это проект, с которого мы рекомендуем начинать, когда данные готовы, а бизнесу нужен видимый результат за недели.