10 апреля мы провели вебинар, посвященный применению больших языковых моделей (LLM) в бизнесе. Обсудили, как эти технологии уже сегодня меняют бизнес и повседневную жизнь и что нужно учесть уже сейчас, чтобы выстроить оптимальную стратегию внедрения LLM+RAG.
На вебинаре выступили Дмитрий Лактионов, руководитель продуктового направления Базы знаний и Роман Левченков, эксперт по внедрению ИИ. Мероприятие собрало более 150 участников: представителей бизнеса, вендоров, ИТ-интеграторов.
Рассказываем, какие вопросы обсуждали и к каким выводам пришли.
На вебинаре выступили Дмитрий Лактионов, руководитель продуктового направления Базы знаний и Роман Левченков, эксперт по внедрению ИИ. Мероприятие собрало более 150 участников: представителей бизнеса, вендоров, ИТ-интеграторов.
Рассказываем, какие вопросы обсуждали и к каким выводам пришли.
Основные вызовы внедрения ИИ
ИИ — не временный тренд, а данность, которая стремительно интегрируется во все сферы жизни. От ассистентов и генерации кода до анализа данных — компании и госструктуры видят в ИИ инструмент для повышения эффективности. Но вместе с этими возможностями приходят и вызовы.
«Главным образом они связаны с вопросами безопасности и контролем над облачными LLM. Такие решения вызывают опасения у бизнеса: передача конфиденциальной информации сторонним сервисам остается риском. К тому же, облачные LLM часто «живут своей жизнью» — их поведение сложно предсказать из-за постоянного дообучения», — отметил Дмитрий Лактионов.
Коллеги также обратили внимание и на другой аспект — «галлюцинации» ИИ. Чем «умнее» модель, тем выше риск получить ответ, далекий от реальности, особенно если вопрос сформулирован неточно.
В связи с этим бизнес все чаще обращается к локальным языковым моделям, и их количество стремительно растёт. Открытые решения вроде LLaMA или Mistral, которые можно кастомизировать под конкретные задачи, но даже готовые модели требуют серьезной доработки.
В связи с этим бизнес все чаще обращается к локальным языковым моделям, и их количество стремительно растёт. Открытые решения вроде LLaMA или Mistral, которые можно кастомизировать под конкретные задачи, но даже готовые модели требуют серьезной доработки.
Дмитрий Лактионов обратил внимание на основную сложность такого пути:
«В обучение ИИ нужно вкладывать ресурсы: нанимать дорогостоящих специалистов, тратить время на тонкую настройку. Но когда на рынке появляется более совершенная модель, всё приходится начинать заново».
Технология RAG и База знаний: как сделать ИИ надежным помощником
В этом случае на помощь приходит технология RAG (Retrieval-Augmented Generation). Суть технологии — в связке языковой модели с базой знаний компании. Это позволяет:
- Генерировать ответы на основе актуальных и структурированных данных.
- Избегать галлюцинаций, так как ИИ опирается только на предоставленные документы.
- Контролировать доступ к информации, исключая утечки конфиденциальных данных.
«Представьте, что RAG — это студент. Для ответа на вопросы вы даете студенту не всю библиотеку, а конкретные книги или даже выбранные главы их этих книг. Логично предположить, что в таком случае ответы будут точнее, а ошибки случаться реже», — пояснил Дмитрий Лактионов.
Самая важная задача — найти и предоставить модели самые актуальные и релевантные источники информации, только тогда стоит рассчитывать на точные ответы и отсутствие галлюцинаций.
Этот шаг приводит к необходимости создавать качественную базу знаний, в которой документы будут упорядочены и структурированы таким образом, чтобы модель получала оптимальный объём данных — не избыточный, но и не недостаточный, — что критично для точных и релевантных ответов.
База знаний решает еще одну проблему применения LLM — безопасность данных. При таком подходе учитываются права доступа конкретного пользователя к конкретному документу в базе знаний.
Этот шаг приводит к необходимости создавать качественную базу знаний, в которой документы будут упорядочены и структурированы таким образом, чтобы модель получала оптимальный объём данных — не избыточный, но и не недостаточный, — что критично для точных и релевантных ответов.
База знаний решает еще одну проблему применения LLM — безопасность данных. При таком подходе учитываются права доступа конкретного пользователя к конкретному документу в базе знаний.
«Самое важное, благодаря использованию LLM+RAG совместно с Базой знаний, у бизнеса появляется контроль над моделью и свобода выбора.
Если на рынке появится новая, более эффективная LLM, ее легко можно встроить в существующую схему с Базой знаний, которая остается основным источником знаний для LLM», — отметил Дмитрий Лактионов.
В ходе вебинара коллеги на реальных примерах продемонстрировали, как работает LLM+RAG в связке с Базой знаний и обратили внимание на то, как система игнорирует устаревшие или неподтвержденные данные, избегая галлюцинаций.
Итоги вебинара
Подводя итоги, спикеры отметили, что технологии вроде RAG делают ИИ безопаснее и управляемее, но их успех зависит от качества данных и человеческого контроля. Очевидно, что компании, которые уже сегодня инвестируют в интеграцию ИИ с внутренними базами знаний, получат преимущество. Но главное — не заменять людей, а усиливать их возможности, превращая рутину в творчество.
Важным показателем успеха вебинара для нас стали качество аудитории и вовлеченность участников. Мы отметили глубокое погружение слушателей в проблематику и живой интерес к практическому применению ИИ в бизнес-процессах.
Особенно ценно, что подтвердилась наша гипотеза: ключевым элементом для бизнеса становится платформа — гибкая база знаний, полностью контролируемая компанией. Это универсальное решение, которое не только работает «из коробки», но и обеспечивает независимость от конкретной языковой модели, позволяя бизнесу адаптироваться к любым технологическим изменениям здесь и сейчас.
Важным показателем успеха вебинара для нас стали качество аудитории и вовлеченность участников. Мы отметили глубокое погружение слушателей в проблематику и живой интерес к практическому применению ИИ в бизнес-процессах.
Особенно ценно, что подтвердилась наша гипотеза: ключевым элементом для бизнеса становится платформа — гибкая база знаний, полностью контролируемая компанией. Это универсальное решение, которое не только работает «из коробки», но и обеспечивает независимость от конкретной языковой модели, позволяя бизнесу адаптироваться к любым технологическим изменениям здесь и сейчас.