Все статьи

Пять видов знаний о продукте или почему ИИ-агент поверх документации не работает

Почему ИИ-агент поверх документации так часто разочаровывает: знание о продукте состоит из пяти видов, и три из них, самые денежные, нигде не записаны.

Юрий Шиляев

На прошлой неделе выступал на конференции IT Space в Минске, в потоке о разработке продуктов. Доклад был о том, почему AI-агент поверх документации так часто разочаровывает и почему знание о продукте устроено сложнее, чем принято думать.

Хочу в этой короткой статье пересказать эту мысль.

Почему ИИ-агент не помогает, даже если есть документация?

Сама идея ИИ-агента поверх документации звучит безупречно: берём документацию, делаем RAG, отдаём модели и ставим на сайт окно чата. Клиент спрашивает, агент отвечает, поддержка разгружена.

Такие агенты сегодня есть почти у каждого продукта, и многие ими пользовались. А вот тех, кому агент действительно помог разобраться в продукте или найти ответ на свой вопрос, заметно меньше. У меня лично чаще всего такие агенты вызывают раздражение.

Обычно в этом винят модель или говорят, что документация продукта слишком большая для AI (в «RAG не влазит», «тупит»). Я вижу причину в другом. Есть старая максима управления данными: мусор на входе, мусор на выходе. Агент отвечает на основе того, что ему дали, а дали ему лишь малую часть того, что компания знает о своём продукте или сервисе.

Резюмируя, агент хорош ровно настолько, насколько полно знание, на которое он опирается. Документация — только часть этого знания.

Из чего состоит знание о продукте

Когда говорят «знание о продукте», обычно представляют документацию. За годы, пока я строил обучение клиентов и партнёров, у меня сложилась другая картина. Это не заимствованная классификация, а вывод из собственной практики: видов знания о продукте пять, у каждого свой владелец, и это всегда разные люди.

Пять видов знаний о продукте: записаны первый и пятый, а второй, третий и четвёртый, от которых зависят внедрение, лояльность клиентов и воронка, обычно нет

Первый вид — как УСТРОЕН продукт: функции, настройки, интерфейс, интеграции (та самая документация). Им владеют разработка и продакт-менеджеры. Это знание, как правило, записано, потому что документацию пишут как часть релиза.

Второй вид — как ВНЕДРИТЬ продукт: с чего начать, в каком порядке настраивать, где клиент споткнётся. Им владеют специалисты по внедрению (Professional Services) и партнёры. Это знание редко бывает записано в самой продуктовой компании, сервисные компании (интеграторы) его конечно накапливают куда как лучше.

Третий вид — как ЧИНИТЬ продукт и как он ломается: типичные ошибки, обходные пути, причины сбоев. Им владеет поддержка. Это знание существует, но часто в виде сырых, не оформленных данных — тысяч обращений, переписок и закрытых заявок. Когда мы собирали курс для своей поддержки, тренеру пришлось самому сесть рядом с инженерами и вручную разбирать повторяющиеся проблемы.

Четвёртый вид — как ПРОДАВАТЬ продукт: какую ценность он даёт, чем отличается от конкурентов, какие истории клиентов убеждают. Им владеют продавцы и технические консультанты. Это знание также часто не записано нигде и уходит из компании вместе с людьми.

Пятый вид — что РАЗРЕШЕНО лицензией: права, ограничения, требования безопасности. Им владеют юристы и служба информационной безопасности. Это знание записано, но доверять ответы по этому типу знаний ИИ-агенту надо с большой осторожностью, так как ошибка здесь уже не неточность, а инцидент.

Резюмируя, из пяти видов знания три обычно не существуют в виде готового текста, который мы можем использовать для обработки ИИ: знание о внедрении, о сбоях и о продажах.

Почему не записано именно это?

Это не случайность. Документация — продукт разработки: без неё нельзя выпустить релиз, поэтому её пишут.

Знание о внедрении, сбоях и продажах рождается в работе с клиентами, и его владельцы заняты именно этой работой. Записывать то, что они знают, часто не входит в их задачу.

Важнее другое: не записано ровно то, от чего зависит выручка. От внедрения зависит, как быстро клиент получит первую ценность, от продаж — конверсия в воронке, от поддержки — продление.

Получается, что компания тщательно описывает, как устроен продукт, и почти ничего не записывает о том, как на нём зарабатывать.

Резюмируя, самое денежное знание живёт в головах, и именно его у агента нет.

Полтора из пяти

Вернёмся к агенту и посмотрим, какие виды знания он способен обслужить.

С первым он справится, для этого он и создан. С третьим — наполовину, если обращения в поддержку хоть как-то разобраны. Со вторым и четвёртым не справится вовсе, потому что индексировать там нечего. А пятый ему доверять нельзя: цена ошибки слишком высока для автоматики.

Выходит полтора вида из пяти. Агент тут ни при чём, ему просто не на что опереться.

Есть и второе ограничение. Агент отвечает на вопрос, который уже задан, а на старте (на этапе онбординга) клиент ещё не знает, о чём спрашивать.

Несколько лет я пользовался банковской картой, прежде чем случайно узнал о её привилегиях. Я о них не спрашивал, потому что не подозревал, что спрашивать есть о чём.

Новому пользователю сначала нужна мотивация: видео, обзорный курс, история другого клиента. Агент тоже становится полезен, но только тогда, когда человек освоился и у него появились конкретные вопросы.

Резюмируя, агент закрывает полтора вида знания из пяти и помогает только тем, кто уже знает, что спросить.

Наверное, у больших компаний агенты всё-таки работают?

Работают, но стоит посмотреть, какой ценой.

Внутренний агент Salesforce обслуживает 70 000 сотрудников, и 97,7% обращений решаются без заявки в поддержку. Цифра впечатляет. Только перед этим компания вычистила и переписала больше тысячи статей базы знаний. Более тысячи!

Модель от этого умнее не стала. Агент заработал, потому что под ним появился качественный текст.

Резюмируя, дорого не доставить знание клиенту, а создать его и держать в актуальном состоянии.

Где AI действительно помогает

Если главная проблема в том, что знания нет, то и главная польза AI — в том, чтобы помочь этому знанию появиться.

Первое, что можно сделать, — извлечь знание из голов. Если раньше на это требовалось заметное время (например выделить инженера на 2 месяца для написания курса), то сейчас все сильно упростилось. Как пример: три созвона с продакт-менеджером и специалистами по внедрению, запись разговоров и экрана, обработка транскриптов через AI. На выходе первичная документация по продукту за 1–2 недели. Никогда это еще не было так просто.

Второе — превращать обращения в статьи. Intercom научил AI группировать похожие вопросы из диалогов поддержки и предлагать черновики статей. Авторы базы знаний одобряют 60% таких черновиков. По сути это пост-продакшен знаний.

Третье — держать документацию актуальной. В проекте Mautic AI готовит правки документации на каждое изменение кода, а человек их проверяет. Путь от изменения до обновлённой страницы сократился с 98 дней до 27.

Четвёртое — дать продавцам то, чего нет нигде. Blackbaud внедрил для отдела продаж AI-помощника с конкурентной аналитикой. По данным вендора, доля выигранных сделок против главных конкурентов выросла на 28%.

При этом человек остаётся обязательным звеном там, где ошибка становится инцидентом: в лицензиях, правах, требованиях регуляторов. И там, где от точности формулировки зависит доверие к контенту.

Резюмируя, AI выгодно ставить на производство знания, может быть даже выгоднее, чем на ответы клиентам.

Выводы

Прежде чем запускать агента, проведите ревизию. Возьмите пять видов знания и для каждого ответьте на три вопроса: кто владелец, где это знание хранится сейчас и записано ли оно хоть где-нибудь.

Скорее всего, картина окажется знакомой. Первый и пятый вид на месте, третий разбросан по обращениям, а второй и четвёртый живут в головах конкретных людей.

Начните с того вида, который ближе всего к деньгам, и поручите AI помогать записывать то, что знают ваши лучшие специалисты.

Сначала знание, потом интерфейс.


О том, как обучение клиентов превращается в рычаг выручки, я пишу в Telegram-канале: t.me/ok_customeredu


Источники цифр

Обсудить тему

Хотите внедрить это
в вашей компании?

Расскажите о вашей ситуации. Подготовим конкретные рекомендации по архитектуре обучения.