Что такое RAG и как ИИ ищет по документам компании
RAG (retrieval-augmented generation) — способ, при котором нейросеть сначала находит нужные фрагменты ваших документов, а потом формулирует ответ только по ним. Так ИИ по документам отвечает на вопросы о вашей компании, а не пересказывает общие знания, и каждый ответ можно проверить по источнику.
RAG простыми словами
Обычная нейросеть отвечает по тому, чему научилась при обучении. О вашем прайсе, регламентах и условиях договоров она ничего не знает, поэтому либо признаётся в этом, либо придумывает правдоподобный ответ. RAG решает задачу в два шага: сначала поиск по вашим документам, затем ответ по найденному. Подход описан в научной работе Lewis et al. «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» (NeurIPS 2020) и с тех пор стал основным способом подключать ИИ к закрытым данным компании.
Из чего состоит система
| Часть | Что делает | Где чаще всего ошибки |
|---|---|---|
| Подготовка документов | Собирает файлы, распознаёт сканы, разбивает на фрагменты | Устаревшие версии, таблицы, потерянная структура |
| Индекс | Хранит фрагменты в виде, по которому можно искать по смыслу, а не только по словам | Слишком мелкие или слишком крупные фрагменты |
| Поиск | Находит фрагменты, подходящие вопросу, с учётом прав доступа | Не найден нужный документ или найден лишний |
| Генерация | Нейросеть формулирует ответ по найденному и показывает источник | Ответ без ссылки, домысел вместо «не знаю» |
| Проверка | Контрольные вопросы, журнал ответов, разбор спорных случаев | Запуск без проверки на реальных вопросах |
Чем RAG отличается от обычного поиска и от дообучения
- Обычный поиск ищет слова в названиях и тексте и возвращает список файлов. Искать ответ внутри файлов приходится человеку.
- Дообучение модели встраивает знания в саму модель. Обновить их можно только повторным обучением, а источник ответа не виден.
- RAG ищет по смыслу, собирает ответ из нескольких документов и называет источник. Новый документ начинает работать после загрузки в базу.
Где RAG применяют в компаниях
- Внутренний помощник для сотрудников: регламенты, инструкции, шаблоны документов, ответы по HR-политикам.
- Поддержка клиентов: ИИ-чат-бот, который отвечает по актуальному прайсу и условиям, а не общими фразами.
- Отдел продаж: быстрые ответы менеджера по характеристикам, ценам и условиям поставки.
- Юристы и закупки: поиск по договорам и приложениям, сравнение условий.
Хотите увидеть RAG на своих документах?
ИИ база знанийКак проверить RAG до запуска
- Возьмите 20 вопросов, на которые вы знаете ответ, и документ, где он лежит.
- Включите в набор вопросы по таблицам, вопросы из двух документов и вопросы, ответа на которые в базе нет.
- Для каждого ответа отметьте: верен ли он, есть ли ссылка на источник, тот ли это документ.
- Посчитайте две цифры: долю верных ответов и долю честных «в документах ответа нет».
- Повторите тот же набор после правок, чтобы увидеть, что улучшилось.
С чего начать
Выберите одну тему, где сотрудники чаще всего задают одни и те же вопросы: например, регламенты отдела продаж или условия поставки. Соберите по ней действующие версии документов, уберите архив и запустите пилот. Как проходит внедрение и сколько стоит пилот, описано на странице ИИ база знаний, а о том, как RAG вписывается в общую автоматизацию бизнес-процессов, — на соседней странице.
Частые вопросы
Что такое RAG простыми словами?
Чем RAG отличается от дообучения модели?
Можно ли использовать RAG с документами, где есть персональные данные?
Сколько документов нужно для начала?
Почему RAG иногда ошибается?
Услуги по теме
Читайте также
Расскажите о задаче — предложим, где ИИ даст результат
Бесплатно разберём процессы и покажем демо на ваших данных до договора. Честно скажем, где автоматизация окупится, а где нет.