Как это работает
Для кого и зачем
Для менеджера по закупкам сети общепита («Сушкоф и пицца», «Жизньмарт»). Обычно поиск поставщика — это Яндекс, 2ГИС, звонки и Excel: часы на одну категорию. Здесь цикл «найти → собрать условия → сравнить → запросить КП» сжат до минут.
Главный принцип: каждый факт с источником. У цены, минимального заказа, доставки и документов есть цитата, ссылка на страницу и дата сбора. Если в открытых источниках факта нет, сервис так и пишет: «не найдено». Такой пробел становится вопросом в письме-запросе КП.
Конвейер сбора
- Категории — одно дерево для обеих сетей; у категории есть ключевые слова, запросы и рубрики каталогов.
- Поиск кандидатов — Yandex Search API с регионом города, рубрики productcenter.ru.
- Склейка дублей — по ИНН и домену сайта.
- Обход сайтов — главная и до 4 страниц: контакты, доставка, о компании, документы. Ищем и ссылки на прайс-листы. Из каждой страницы выделяем основной контент без меню и футера.
- Извлечение фактов — правила и регулярные выражения. Со всей страницы: ИНН с проверкой контрольной суммы, телефоны, email, география. Из основного контента: цена за кг/шт, минимальный заказ (только число с единицей), условия доставки (по городу, области, России, самовывоз, через ТК, бесплатно от N ₽), упоминания документов.
- Проверка юрлица — ИНН → ЕГРЮЛ через DaData: статус, возраст, ОКВЭД, адрес, юрназвание.
- Рейтинг — прозрачные баллы, которые считаются при каждом запросе под выбранные категорию и город. Цена засчитывается, только если рядом назван товар категории.
Рейтинг: 100 баллов
| Релевантность | до 30 | предложение в рубрике каталога, категория на сайте и опт/HoReCa; −20, если похоже на ресторан |
| География | 20 | находится или работает в городе/области; 10 — город только в списке зоны доставки или «доставка по России» |
| Контакты | 10 | телефон, email |
| Условия | 10 | цена товара категории, минимальный заказ, условия доставки — только разобранные значения |
| Надёжность | до 25 | ИНН, действующее юрлицо, на рынке ≥ 3 лет, ОКВЭД опта или производства; −10 за розницу, −20 за общепит |
| Документы | 5 | упоминание на сайте деклараций, ветдокументов, ХАССП, ГОСТ (не проверка по реестру) |
Сейчас в базе
1089
поставщиков · 1653 предложений · 18663 фактов с источниками
- productcenter 692 поставщиков
- yandex 402 поставщиков
Почему без нейросети в ядре
Задачу закрывают правила: они воспроизводимы, объяснимы закупщику и не ломаются, если внешняя модель недоступна. Нейросети использовались при разработке. В рантайм LLM добавляется, только если правила не справляются — например, с условиями доставки, написанными свободным текстом. Тогда LLM работает один раз при сборе, с обязательной цитатой-доказательством.
Честный сбор
- Соблюдаем robots.txt, делаем паузы между запросами, User-Agent бота с адресом этой страницы.
- Капчи и антибот-защиту не обходим: такой источник пропускаем.
- HTML карт (2ГИС, Яндекс.Карты) не парсим, только официальные API.
- Частных лиц не собираем, только компании.
Что дальше
- Реестр Росаккредитации по ИНН: реальные номера деклараций.
- Разбор PDF/XLSX-прайсов: цена за кг по позициям.
- Платный 2GIS API: телефоны и рейтинг точек.
- Передача выбранного поставщика в складской модуль и автозаказ.