AI-відповіді з джерелами: як не дати боту вигадувати

У кожної команди підтримки, яка пробує AI, перший тиждень однаковий. Дев'ять відповідей із десяти кращі за те, що пише втомлений менеджер о 19:00. Десята вигадує термін доставки, якого не існує, і клієнт робить скриншот.

Саме ця десята відповідь — уся проблема, і кращою моделлю вона не вирішується. Вона вирішується зміною того, звідки береться відповідь.

Чому загальна модель помиляється у ваших правилах

Модель сама по собі відповідає, спираючись на загальне уявлення про те, як зазвичай працює бізнес. На питання про повернення вона видає найімовірнішу політику повернення — тобто чужу. Вона ніколи не читала ваших документів, тож не може знати, що ви приймаєте повернення 30 днів, але після 14-го повертаєте кошти на бонусний рахунок.

Гірше те, що вона ніяк не може про це попередити. Модель без інформації й модель із повною інформацією пишуть текст із однаковою впевненою інтонацією. Між знанням і здогадкою немає видимої різниці.

Відповідь підтримки оцінюють не за гладкістю. Її оцінюють за тим, чи компанія за неї відповідає.

Пошук: відповідь із ваших документів

Рішення — перестати питати модель, що вона думає, і почати просити її читати. На практиці:

1. Ваші документи — правила, FAQ, прайси, картки товарів, минулі схвалені відповіді — розбиваються на фрагменти й індексуються.
2. Коли приходить питання, система шукає в цьому індексі фрагменти, які справді його стосуються.
3. Моделі дають питання і ці фрагменти з інструкцією відповідати лише з них.
4. Відповідь повертається разом із фрагментами, тож менеджер бачить, на чому вона побудована.

Зазвичай це називають retrieval-augmented generation. Важлива тут не абревіатура, а те, що у відповіді тепер є походження, яке можна перевірити за дві секунди.

Уміння зрозуміти, що не знаєш

Друга половина проблеми — прогалини. Іноді в базі знань немає нічого, що стосується питання: клієнт питає про товар, який ви не описали, або про ситуацію, яку ніхто не записав.

Правильно побудована система вважає «відповідного фрагмента не знайдено» результатом, а не збоєм, який треба замаскувати. Що має відбуватися:

• З порожнечі не з'являється впевнена відповідь.
• Питання йде до людини — з поміткою, де саме шукали.
• Прогалина фіксується, щоб двадцята людина з тим самим незадокументованим питанням була останньою.

Останній пункт — це і є справжній спосіб, у який росте база знань: не на планерці, а з питань, на які не було відповіді.

Чернетки, автопілот і де проходить межа

Варто розрізняти два режими.

Чесна послідовність така: спочатку чернетки на кожне питання, доки ви не подивитеся кількасот і не зрозумієте, де модель надійна. Потім вузька конкретна категорія — години роботи, вартість доставки, наявність — переходить на автопілот, а решта залишається людям. Усе, що торкається повернення коштів, скарги чи юридичної обіцянки, залишається з людиною назавжди.

Чого вимагати від вендора

• Покажіть джерело цієї відповіді. Якщо інтерфейс не показує, з якого документа взято речення, перевірити не може ніхто.
• Покажіть, що буде, коли відповіді в документах немає. Просіть живу демонстрацію з питанням, якого база знань не покриває.
• Скажіть, що робиться з нашими даними. Ваші документи й розмови мають працювати на відповіді вашим клієнтам, а не навчати модель, спільну з іншими компаніями.
• Покажіть журнал. Хто що підтвердив, що виправили перед надсиланням, який документ використали — робота підтримки має бути прозорою.

Показник, який має значення наприкінці першого місяця, — не скільки відповідей написав AI. А скільки з них менеджер надіслав, не змінивши жодного слова, і як швидко питання без відповідей перетворилися на документи. Див. метрики, які варто рахувати і чеклист бази знань.