Как построить качественный фундамент для LLM+RAG

Разбираемся, зачем генеративному ИИ нужна качественная база знаний и какими характеристиками она должна обладать, чтобы LLM-модель выдавала релевантные ответы, а не «галлюцинации».

LLM — это большие языковые модели, способные понимать и генерировать текст, близкий к человеческому. Они обучаются на больших объемах информации и могут выполнять различные задачи, такие как ответы на вопросы, написание статей, переводы и многое другое.

Но есть сложность: использовать LLM затратно, так как модель нужно постоянно обучать и настраивать с помощью дорогостоящих ML-специалистов. Еще есть облачные LLM-решения, но их применение в бизнесе история неуправляемая: обучением модели занимается поставщик клауд-сервиса, адаптировать ее под себя не получится.

И в этой ситуации на помощь приходит RAG — технология, которая объединяет возможности поиска информации (Retrieval) и генерации текста (Generation) и позволяет LLM-моделям работать с данными без длительного обучения.

RAG использует данные из разных источников, находит там информацию, соответствующую пользовательскому запросу, и «скармливает» сведения LLM. В результате языковая модель генерирует ответы, основываясь на контексте запроса и полученной информации от RAG.

Итак, ключевая ценность технологии RAG заключается в том, что она позволяет языковым моделям обращаться к внешним данным (файловое хранилище, база знаний, интернет), минуя необходимость постоянного обучения. Для того чтобы LLM выдавала актуальную и релевантную информацию, настраивать саму модель не нужно — достаточно изменить эти сведения в источнике данных, к которым обращается RAG.

На первый взгляд ситуация исключительно благоприятная: берете мощную LLM+RAG, подключаетесь к источниками информации, настраиваете модель и просто выводите эту солянку в удобный и привычный интерфейс. Что может пойти не так?

Но на практике внедрение таких технологий в бизнесе сталкивается с рядом вызовов. И речь даже не о качестве и технических характеристиках моделей: устойчивости к ошибкам, адаптивности, а еще и о том, откуда именно RAG будет брать информацию.

Очень важно учитывать, что алгоритмы LLM+RAG не обладают пониманием актуальности и значимости данных, они не могут самостоятельно решить, какая информация из всего объема подойдет пользователю. За это отвечают:

Пользовательский запрос. От того, насколько четко и понятно (с точки зрения логики ИИ) он сформулирован, в том числе зависит качество ответа.

Промпт. Некая инструкция, согласно которой действует модель при поиске и генерации ответов. Промпт предварительно можно настроить, чтобы уточнить контекст вопроса, пользователя, сценарии обращения, формат предоставления ответа, ограничения, в том числе ролевую модель. Чем четче настроен промпт, тем выше релевантность ответа ИИ.

База данных (база знаний), откуда модель черпает информацию. Именно к ней ИИ обращается за поиском данных для генерации ответа. И если база знаний содержит неточные или устаревшие сведения, RAG будет извлекать именно их.

RAG также не сможет определить, какой объем данных необходим для ответа на конкретный вопрос. А чем больше информационная выборка, которую использует LLM для построения ответа, тем выше вероятность, что модель начнёт «галлюцинировать», используя документы, нерелевантные запросу.

И если учесть, что для многих сценариев при построении ответов требуется учитывать ещё и права доступа конкретного пользователя, задача ещё больше усложняется.

RAG в ответ на запрос пользователя должна найти и отдать LLM-модели определенный объем информации. Чтобы сформировать этот объем, запрос пользователя обрабатывается с помощью специального сервиса, который отправляет его в Базу знаний, а затем извлекает оттуда наиболее релевантную информацию (фрагменты хранимых документов), на основе которых LLM-модель и будет формировать конечные ответы.

Технология RAG не предназначена для того, чтобы самостоятельно вытаскивать нужную информацию из всего массива данных — она должна на основании заранее размеченных, актуальных материалов, релевантных запросу, формировать свой ответ.

Основная задача заключается в том, чтобы правильно организовать данные и убедиться, что, с одной стороны, в выборке извлечено все необходимое, с другой — ничего лишнего. Ведь итогом работы должен стать максимально точный ответ без так называемых «галлюцинаций».

Поэтому для успешной работы RAG-технологии важно на уровне источника (базы знаний) научиться «сужать» кластер документов, передаваемых в модель для построения ответов и поддерживать его актуальность,

Поэтому механизмы базы знаний должны обеспечить:

• возможность четко определить область, из которой будет построена выборка для генерации ответа, как с учетом тематики вопроса, так и с учетом прав доступа конкретного автора запроса;
• актуальность и непротиворечивость информации в хранилище.

Контент должен быть классифицирован, разбит по направлениям, желательно в рамках иерархической структуры. Размечать нужно типы и форматы файлов, использовать вспомогательные инструменты, которые помогут еще более точно понять, что содержится в документе: привязку к категориям иерархического классификатора, теги, аннотации, дополнительные заголовки и так далее.

Подход к структуризации Базы знаний для RAG ничем не отличается от подхода к созданию СУЗ для людей: чем более детально проработана структура, тем выше релевантность ответа на вопрос. Это поможет выделить конкретное множество документов для построения ответов средствами ИИ.

Если ИИ сервису (LLM+RAG), подключенному к базе знаний задать один и тот же вопрос по выделенной области в базе знаний и по всему содержимому — ответ будет разным. И в первом случае он будет более релевантным.

В связи с этим важно учитывать, что если вы используете RAG+LLM для обслуживания клиентов, вам нужно использовать дополнительные механизмы, чтобы максимально сузить клиентский запрос, выявить тематику обращения и отправить ИИ искать ответ на него в конкретный раздел хранилища.

В базе знаний должна быть предусмотрена возможность актуализации, проверки и согласования данных — как тех, которые уже существуют в системе, так и новых. Устаревшие материалы должны удаляться или корректироваться, чтобы ими не смог воспользоваться AI или люди. Поэтому важны механизмы версионирования, настройка уведомлений для редакторов Базы знаний или автоматическая архивация/удаление контента.

Информация, которую использует AI и ваши сотрудники, не должна различаться. Если вы создадите отдельные источники данных, ошибки, неточности и противоречия в информации от роботов и людей неизбежны. Соответственно, база знаний для ИИ должна быть такой, чтобы ею с легкостью могли пользоваться люди. Это должен быть универсальный инструмент.

Если вы не планируете тратить время и ресурсы на самостоятельную разработку Базы знаний, нужно искать подходящее решение на рынке.

Дополнительно к требованиям к структуризации и актуальности данных, о которых мы уже говорили, можно отметить:

Если вы хотите получить комплексное решение под ключ, вам подойдет База знаний со встроенной техникой по работе LLM и RAG, допускающих как использование облачных LLM сервисов (упрощает старт и минимизирует затраты), так и локальных LLM (снижает риски информационной безопасности и позволяет выполнять индивидуальный тюнинг модели под особенности бизнеса). Все, что останется сделать — наполнить систему контентом и структурировать информацию.

LLM и RAG — мощные инструменты, которые в ближайшем будущем станут незаменимыми для бизнеса, но без качественной базы знаний их эффективность заметно снижается. Поэтому одна из основных задач внедрения генеративного ИИ — обеспечить актуальность и непротиворечивость данных. Помните: эффективный AI начинается с качественной информации.