Как тестировать AI-поиск в каталоге: 12 сценариев для сложных запросов

Обложка статьи о тестировании AI-поиска по каталогу

Проверка AI-поиска начинается не с вопроса «есть ли ответ». Важно понять, выполнил ли поиск задачу покупателя: выбрал нужную категорию, учёл обязательные ограничения, показал правильный вариант и сохранил контекст уточнений. Выдача с похожими словами может выглядеть убедительно, но оказаться нерелевантной.

Ниже — практическая методика предрелизной и регулярной проверки. Примеры запросов и наборы товаров условные: это тестовые данные, а не описание ассортимента VtochKu. Для каждого сценария заранее фиксируйте ожидаемый результат, а затем сравнивайте с фактической выдачей.

Публичное описание VtochKu подтверждает поиск обычным языком по каталогу магазина с учётом характеристик, ограничений и контекста диалога. Это полезный контекст для методики, но не доказательство конкретного тестового стенда, порога качества или гарантированного бизнес-результата: их нужно проверять отдельно на согласованном наборе данных.

Почему обычной проверки «выдача есть» недостаточно

Сам факт ответа ничего не говорит о качестве поиска. Система может вернуть карточки, в которых встречается одно слово из запроса, но не решить задачу пользователя. Например, запрос о товаре для конкретного назначения может привести к другой категории, а ограничение по цене или размеру — потеряться при ранжировании.

Понимание задачи, релевантность и ложное совпадение — разные проверки

Удобно разделять четыре уровня. Сначала проверяется, правильно ли система поняла намерение и выделила условия. Затем — есть ли в выдаче товары, удовлетворяющие обязательным условиям. После этого оценивается порядок карточек и конкретный вариант товара. Отдельно фиксируется переход к карточке: он показывает следующий шаг пользователя, но не доказывает продажу или конверсию.

Ложное совпадение — это не только случайная карточка. Им может быть товар с похожим названием, который нарушает запрет, находится за пределом порога, относится к другой вариации или подходит лишь по второстепенному признаку. Такие случаи нужно описывать до прогона, иначе проверка будет зависеть от впечатления проверяющего.

Как подготовить один повторяемый тестовый сценарий

Один тест-кейс должен быть достаточно конкретным, чтобы его смог повторить другой сотрудник после изменения каталога, модели или настроек поиска. Не подменяйте тест живым пользовательским впечатлением: зафиксируйте исходные данные и правило оценки.

Запрос и контекст; ожидаемый результат; критерии релевантности; стоп-признаки и вердикт

Минимальная форма теста выглядит так:

ПолеЧто зафиксироватьЗачем это нужно
Запрос и контекстТочный текст запроса, предыдущие реплики и изменённые условияЧтобы повторить тот же смысл, а не приблизительную формулировку
Минимальный наборКарточки, варианты и пограничные значения, на которых проверяется правилоЧтобы отличить корректный выбор от случайного совпадения
Ожидаемый результатКатегория, обязательные свойства, допустимый компромисс или необходимость уточненияЧтобы заранее определить, что считать выполнением задачи
Критерии релевантностиУсловия, которые должны соблюдаться, и порядок их важностиЧтобы оценивать выдачу одинаково в разных прогонах
Ложное совпадениеКарточка или вариант, который выглядит подходящим, но нарушает правилоЧтобы не принять формальное совпадение за успех
Вердикт«Прошёл», «не прошёл» или «нужно уточнение» с коротким пояснениемЧтобы результат можно было сравнить после изменения

Для числовых условий заранее запишите единицы измерения и границы. Для вариантов товара укажите, проверяется ли конкретная вариация или достаточно родительской карточки. Если в тесте допустим компромисс, отметьте, какое условие нельзя нарушать и как система должна сообщить об отклонении.

12 сценариев проверки AI-поиска

Сценарии ниже образуют минимальный набор для проверки сложных запросов. Их можно адаптировать под структуру конкретного каталога, но нельзя менять правило оценки после просмотра результата.

1. Естественная формулировка задачи

Покупатель описывает нужный результат без точного названия товара. Это проверяет, умеет ли поиск перейти от задачи к категории и карточкам, а не ждать термин из каталога.

  • Запрос и контекст: тестовый запрос «Нужен вариант для защиты оборудования от влаги на открытом складе», новый диалог, точное название категории не указано.
  • Минимальный набор товаров: две карточки из целевой категории, одна карточка с похожими словами, но для домашнего применения.
  • Ожидаемый результат: поиск распознаёт задачу, выбирает релевантную категорию и показывает подходящие карточки либо задаёт уточнение, если данных недостаточно.
  • Критерии релевантности: назначение и существенное ограничение «для открытого склада» сохранены; карточки действительно соответствуют описанной задаче.
  • Ложное совпадение: товар с похожим словом «защита», который предназначен для другой задачи и не подходит для указанного применения.
  • Вердикт: «Прошёл», если задача и назначение поняты; «не прошёл», если выдача держится только на совпадении слов; «нужно уточнение», если целевая категория неоднозначна.

2. Несколько положительных характеристик

В запросе одновременно заданы категория и два–три свойства. Проверяется не наличие каждого слова где-нибудь в выдаче, а совместное выполнение существенных условий.

  • Запрос и контекст: тестовый запрос «Нужен офисный монитор 27 дюймов, с регулировкой по высоте и USB-C», новый диалог.
  • Минимальный набор товаров: карточка со всеми условиями, карточка только с USB-C и карточка нужного размера без регулировки.
  • Ожидаемый результат: первой релевантной частью выдачи становятся товары, удовлетворяющие всем обязательным свойствам, либо система явно сообщает, какого условия не хватает в каталоге.
  • Критерии релевантности: категория, размер, регулировка и порт проверены по данным карточки или варианта, а не только по заголовку.
  • Ложное совпадение: карточка, где совпадает размер и порт, но отсутствует обязательная регулировка.
  • Вердикт: «Прошёл», если существенные условия соблюдены вместе; «не прошёл», если одно из них потеряно; «нужно уточнение», если формулировка свойства допускает разные трактовки.

3. Жёсткое ограничение

Минимальный или максимальный параметр должен работать как граница, а не как пожелание. Такой тест особенно важен для цены, веса, габарита, мощности и других числовых характеристик.

  • Запрос и контекст: тестовый запрос «Покажи рабочие ноутбуки до 80 000 рублей», новый диалог; сумма — верхняя граница.
  • Минимальный набор товаров: один товар ниже порога, один ровно на пороге и один дороже порога с похожим назначением.
  • Ожидаемый результат: в релевантную выдачу попадают только товары не дороже заданного максимума; пограничное значение трактуется по заранее принятому правилу.
  • Критерии релевантности: цена взята из согласованного поля и проверена на момент теста; ни одна показанная как подходящая карточка не нарушает порог.
  • Ложное совпадение: товар с подходящим названием и характеристиками, но с ценой выше максимума, показанный без предупреждения.
  • Вердикт: «Прошёл», если ограничение соблюдено; «не прошёл», если карточка выходит за границу; «нужно уточнение», если неясно, какая цена или валюта используется.

4. Диапазон и единицы измерения

Число без единицы и границы может изменить смысл запроса. Проверяйте диапазоны, округление и перевод привычных единиц отдельно, не объединяя их с общей оценкой релевантности.

  • Запрос и контекст: тестовый запрос «Нужен кабель длиной примерно 2 метра, допустимо от 1,8 до 2,2 м», новый диалог.
  • Минимальный набор товаров: варианты длиной 1,8 м, 2 м, 2,2 м и 2,5 м; если каталог хранит другую единицу, добавьте эквивалентное значение.
  • Ожидаемый результат: диапазон и единица интерпретируются корректно, а значение за пределами диапазона не представляется полностью подходящим.
  • Критерии релевантности: система не путает метры с сантиметрами, учитывает обе границы и показывает округление только в пределах принятого правила.
  • Ложное совпадение: вариант с числом «2» в другой единице или товар длиной 2,5 м, попавший в релевантную часть без пояснения.
  • Вердикт: «Прошёл», если границы и единицы сохранены; «не прошёл», если числовое условие искажено; «нужно уточнение», если пользователь не задал допустимое отклонение.

5. Вариант товара

Родительская карточка может объединять несколько размеров, цветов, модификаций или комплектов. Проверка должна показать, на каком уровне поиска фиксируется соответствие.

  • Запрос и контекст: тестовый запрос «Нужна синяя версия, размер M, в комплекте из двух штук», новый диалог.
  • Минимальный набор товаров: нужная вариация, такая же модель в другом цвете, размер M в одиночной комплектации и родительская карточка с несколькими вариантами.
  • Ожидаемый результат: показана нужная вариация с указанными цветом, размером и комплектностью; если выбрать вариант нельзя, это явно обозначено.
  • Критерии релевантности: все условия проверены на уровне варианта, а не только у родительской карточки; название и данные карточки не противоречат друг другу.
  • Ложное совпадение: другая вариация той же модели, показанная как полностью подходящая без предупреждения.
  • Вердикт: «Прошёл», если совпал конкретный вариант; «не прошёл», если родительская карточка скрывает нарушение; «нужно уточнение», если комплектность не описана однозначно.

6. Синоним и разговорное слово

Покупатель может использовать бытовое слово, а каталог — профессиональный термин. Проверка показывает, сохраняется ли смысл и не возникает ли другое значение у многозначного слова.

  • Запрос и контекст: тестовый запрос с разговорным обозначением товара или свойства, например «нужна мышь потише для работы», без термина из поля каталога.
  • Минимальный набор товаров: карточка с нужным свойством, карточка с формальным совпадением слова в описании и товар с другим значением разговорного термина.
  • Ожидаемый результат: система сопоставляет разговорную формулировку с нужным смыслом и сохраняет ключевое ограничение «для работы» или задаёт уточнение.
  • Критерии релевантности: синоним не меняет категорию и обязательное свойство; карточки соответствуют задаче, а не только словарному совпадению.
  • Ложное совпадение: товар, где разговорное слово употреблено в другом значении или относится к нерелевантной категории.
  • Вердикт: «Прошёл», если смысл сохранён; «не прошёл», если синоним приводит к другой задаче; «нужно уточнение», если у слова несколько равноправных значений.

7. Отрицательное условие

Исключение должно учитываться так же явно, как положительное свойство. Тест не считается пройденным, если запрещённая характеристика остаётся в релевантной части выдачи.

  • Запрос и контекст: тестовый запрос «Нужна куртка для дождя, но без утеплителя», новый диалог.
  • Минимальный набор товаров: лёгкая водостойкая модель без утеплителя, утеплённая водостойкая модель и модель без защиты от дождя.
  • Ожидаемый результат: утеплённые варианты исключены из релевантной части или помечены как несоответствующие, а водостойкость сохранена как обязательное условие.
  • Критерии релевантности: отрицание интерпретировано именно как запрет, а не как необязательное пожелание; карточка подтверждает отсутствие исключённого свойства.
  • Ложное совпадение: товар, совпадающий по защите от дождя, но нарушающий запрет на утеплитель.
  • Вердикт: «Прошёл», если запрет соблюдён; «не прошёл», если исключённый вариант показан как подходящий; «нужно уточнение», если в каталоге нет данных о свойстве.

8. Уточнение в продолжении диалога

Второе сообщение должно дополнять первую задачу, а не запускать независимый поиск. Это отдельный сценарий, потому что правильная первая выдача не доказывает сохранение контекста.

  • Запрос и контекст: сначала «Нужен ноутбук для работы до 80 000 рублей», затем «И не тяжелее 1,5 кг»; обе реплики — один диалог.
  • Минимальный набор товаров: вариант, который соответствует первой реплике, но тяжелее 1,5 кг; вариант, соответствующий обоим условиям; вариант вне бюджета.
  • Ожидаемый результат: исходная категория и бюджет сохраняются, а выдача сужается по новому ограничению веса.
  • Критерии релевантности: после уточнения одновременно действуют оба условия; в ответе видно, какое новое условие применено.
  • Ложное совпадение: новый список лёгких товаров без ограничения по цене или повторная выдача прежнего тяжёлого варианта.
  • Вердикт: «Прошёл», если контекст сохранён и выдача сузилась; «не прошёл», если начат новый поиск; «нужно уточнение», если неясно, к какой карточке относится реплика.

9. Исправление условия

Пользователь может изменить только один параметр: увеличить бюджет, заменить размер или отменить ограничение. Проверяется точечное изменение, а не просто способность продолжить разговор.

  • Запрос и контекст: сначала «Покажи рюкзак до 10 литров», затем «Исправление: нужен объём до 20 литров, остальные условия оставь».
  • Минимальный набор товаров: вариант на 10 литров, вариант на 20 литров и вариант, нарушающий исходное назначение или другой сохранённый параметр.
  • Ожидаемый результат: меняется только объём, а категория, назначение и остальные условия сохраняются; отменённое значение больше не ограничивает выдачу.
  • Критерии релевантности: в финальном состоянии явно виден новый параметр и сохранённые условия; старое значение не используется как скрытый фильтр.
  • Ложное совпадение: система продолжает показывать только товары до 10 литров либо одновременно теряет категорию и назначение.
  • Вердикт: «Прошёл», если изменён один параметр; «не прошёл», если потеряны другие условия или сохранено отменённое; «нужно уточнение», если слово «остальные» не имеет однозначной опоры в диалоге.

10. Неполный или неоднозначный запрос

Когда данных недостаточно для безопасного выбора, хороший результат может быть вопросом, а не карточкой. Это проверка корректной неопределённости, а не способности показать хоть какой-то товар.

  • Запрос и контекст: тестовый запрос «Нужен подходящий адаптер», без модели устройства, разъёма и назначения.
  • Минимальный набор товаров: несколько адаптеров для разных разъёмов и один универсальный вариант, если его свойства действительно подтверждены в тестовых данных.
  • Ожидаемый результат: система задаёт конкретный уточняющий вопрос или прозрачно обозначает допущение; случайная карточка не выдаётся как единственно подходящая.
  • Критерии релевантности: вопрос сокращает неопределённость и связан с различием между доступными вариантами.
  • Ложное совпадение: уверенный показ адаптера только потому, что слово совпало с названием категории.
  • Вердикт: «Прошёл», если неопределённость обработана явно; «не прошёл», если выбран случайный вариант; «нужно уточнение» — это ожидаемый вердикт для самого теста, а не ошибка.

11. Противоречивые условия

Несовместимые требования нельзя молча разрешать в пользу удобного для выдачи варианта. Система должна показать конфликт или попросить выбрать приоритет.

  • Запрос и контекст: тестовый запрос «Нужен самый компактный и одновременно самый вместительный контейнер», где правила тестового каталога заранее считают требования несовместимыми.
  • Минимальный набор товаров: компактный вариант, вместительный вариант и карточка, которая не удовлетворяет ни одному из ключевых требований полностью.
  • Ожидаемый результат: система сообщает о конфликте и предлагает уточнить, какое условие важнее, либо описывает компромисс.
  • Критерии релевантности: конфликт не скрыт, а выбранный вариант не называется полностью подходящим без пояснения нарушенного условия.
  • Ложное совпадение: карточка, удовлетворяющая только одному требованию, выдана как полное решение.
  • Вердикт: «Прошёл», если конфликт прозрачно обработан; «не прошёл», если одно условие молча отброшено; «нужно уточнение», если приоритет не задан пользователем.

12. Приоритет и компромисс

Иногда пользователь задаёт несколько условий и прямо называет главное. Тогда релевантность нужно оценивать с учётом приоритета, а отступление по второстепенному условию — обозначать.

  • Запрос и контекст: тестовый запрос «Главное — совместимость с моделью X; желательно уложиться в минимальный бюджет», новый диалог.
  • Минимальный набор товаров: совместимый вариант с более высокой ценой, дешёвый несовместимый вариант и совместимый вариант, который удовлетворяет обоим условиям.
  • Ожидаемый результат: совместимые товары выше несовместимых; если показан компромисс, система явно сообщает, какое второстепенное условие не выполнено.
  • Критерии релевантности: главный приоритет не нарушен, порядок карточек объясним, а компромисс не маскируется под полное соответствие.
  • Ложное совпадение: более дешёвый товар без совместимости поставлен выше совместимого варианта только из-за совпадения по цене.
  • Вердикт: «Прошёл», если приоритет соблюдён и компромисс обозначен; «не прошёл», если второстепенное условие вытесняет главное; «нужно уточнение», если пользователь не задал порядок важности.

Как фиксировать результат до релиза и после изменений

Тестовый набор полезен только тогда, когда его можно прогнать повторно. Сохраняйте не только итоговый вердикт, но и состояние каталога, версию сценария, фактический ответ и причину оценки. Иначе после изменения данных будет трудно понять, изменилась система или сам тест.

Повторяемость набора

Соберите сценарии в неизменяемый набор и назначьте владельца. Перед каждым прогоном проверьте, что тестовые карточки, варианты и значения характеристик доступны в том виде, в котором они были зафиксированы. Если данные изменились, создайте новую версию теста, а не переписывайте старый результат.

  • Сохраняйте точный текст запроса, последовательность реплик и состояние диалога.
  • Фиксируйте идентификаторы тестовых карточек и вариантов, но не подменяйте ими пользовательский запрос.
  • Отмечайте обязательные условия, допустимые компромиссы и стоп-признаки до запуска.
  • Разбирайте «нужно уточнение» отдельно от ошибок: вопрос может быть правильным исходом для неполного запроса.

Сравнение версий

После изменения каталога, правил поиска или модели прогоняйте тот же набор и сравнивайте сценарии поштучно. В отчёте достаточно указать, что изменилось: понимание запроса, состав выдачи, порядок карточек, вариант товара или сохранение контекста. Не объединяйте несколько причин в один общий вывод.

Граница между качеством поиска и бизнес-метриками

Пройденный сценарий означает, что конкретная проверка выполнена по заранее заданному правилу. Он не доказывает рост конверсии, продаж или переходов. Переход из выдачи в карточку — отдельное событие, а бизнес-эффект требует отдельного измерения на согласованном периоде и наборе данных.

FAQ о проверке AI-поиска по каталогу

Что именно проверяет тестирование AI-поиска?

Понимание задачи пользователя, соблюдение ограничений, выбор релевантной карточки или варианта и сохранение контекста уточнений. Наличие ответа само по себе не считается успехом.

Чем этот подход отличается от проверки поиска по ключевым словам?

В сценарии оценивается смысл задачи и все существенные условия, а не только присутствие отдельных слов в названии или описании. Поэтому в тесте заранее указывают, что будет ложным совпадением.

Как понять, что результат релевантен?

Заранее зафиксировать обязательные условия, допустимые компромиссы и стоп-признаки, а затем сравнить выдачу с ожидаемым результатом. Проверка должна включать варианты товара и контекст диалога, если они есть в сценарии.

Что делать, если подходящего товара нет?

Зафиксировать отсутствие подходящего результата как ожидаемый исход только там, где это предусмотрено тестом, и отделить его от ошибок понимания запроса. В этом материале не разбирается отдельная методика восстановления после нулевой выдачи.

Доказывают ли 12 сценариев рост конверсии?

Нет. Они проверяют качество и повторяемость поиска. Бизнес-эффект требует отдельного измерения на согласованном периоде и наборе данных.

Следующий шаг. Если вы рассматриваете проверку AI-поиска для своего каталога, оставьте заявку: команда VtochKu изучит ваш каталог и сообщит, когда подключение станет доступно.