Введение

В условиях ускоренной цифровизации языковые модели становятся ключевыми инструментами реализации управленческих процедур в различных отраслях и сферах бизнеса. Они дают возможность автоматизации процессов, построения прогнозов, оценки и анализа вероятности рисков, т.е. фактически автоматизации всех тех функций, которые ранее реализовывались функциональными специалистами. Это особенно важно для тех сфер и задач, где техническая работа экспертов является сложной, параметры прогнозирования – неизвестными, а точность конечного результата – ключевым условием формирования верных решений.

В контексте решения задач аналитики важным инструментом решения сложных управленческих задач являются языковые модели, построенные на основе алгоритмов искусственного интеллекта (LLM). Они позволяют проводить анализ текста, интерпретировать смысл предложений, обрабатывать их и генерировать новые текстовые фрагменты на основе «изученных» моделью смысловых и лексических соотношений. Разновидностью языковых моделей является система RAG (Retrieval- Augmented Generation), которая позволяет проводить динамический поиск текстовых данных и их обработку в режиме реального времени. В отличие от прочих типов LLM, RAG использует собственную, сформированную на основе «текстового опыта» и его обработки, базу данных. Примером использования таких систем являются наборы информации, которая связана с определенной областью, и которую, соответственно, легко извлечь из массива данных по определенным параметрам.

Внедрение машинного обучения и искусственного интеллекта в целом является важной частью построения процессов, повышения качества обслуживания и разработки новых продуктов, что доказали примеры General Electric, BMW, Unilever и Siemens. В контексте решения задач бизнеса RAG позволяют существенно быстрее решать рабочие задачи; так, широко известен кейс T-bank, в котором была реализована задача создания базы знаний, основанной на RAG, для поиска патентов для технологической компании в контексте процесса управления инновациями. В результате время и точность поиска были сокращены на 40%, а портфолио интеллектуальной собственности конкурентов и тенденции рынка стали более доступными аналитикам банка для использования и обработки.

Вместе с тем, подобные успешные кейсы и оценка возможностей их использования в других отраслях и сферах бизнеса актуализируют необходимость оценки параметров работы таких моделей, их точности и соотношения входных и выходных параметров. Аналитическая цель ставит такие задачи, как выбор метрик, позволяющих оценить модель с помощью объективных измерений, сравнивать альтернативные решения.

Актуальность настоящей статьи определяется необходимостью оценки и верификации моделей RAG для использования их в процессе управления инновациями для кейсов, аналогичных реализованному в T-bank, а именно исследования возможностей реализации патентного поиска с использованием моделей RAG.

Объектом исследования является эффективность рассматриваемых систем в сравнении с эффективностью прочих типов языковых моделей за счет использования внешней базы данных в рамках предметной области, в данном случае, патентной аналитики.

Методика исследования

Краткий обзор научных публикаций по тематике практического использования RAG в практике бизнеса позволил сделать вывод об исследовании подобных вопросов, во-первых, относительно небольшое число, во-вторых, они охватывают не все области приложения моделей подобного типа. В целом в исследовательском поле наблюдается дефицит качественных и количественных работ в отношении использования RAG в управлении инновациями, в частности, в патентной аналитике.

Среди зарубежных авторов следует выделить работы С.Ванг, Ю.Хигиан, В.Менхао [‎Wang S. et al., 2024]; Я.Динг, Ю.Ву, З.Динг [‎Ding Y., Wu Y., Ding Z., 2025]; Ф.Сантос, М.Перез, Джункьера Брада Е. [‎Santos F. et al., 2025] и ряд других [‎Khan A.A. et al., 2024; ‎ Bommasani R. et al., 2021; ‎ Vaswani A., et al., 2017]. В зарубежном исследовательском поле наличествуют статьи-апробации, в которых представлены результаты экспериментов использования моделей больших данных в процессе патентного анализа в различных отраслях.

Среди российских научных работ можно привести примеры статей, акцентирующих важность патентной и инновационной деятельности в обеспечении экономических процессов в целом
(З. А. Корейша, В. С. Паршина [‎Корейша З. А., 2017]).

Использование языковых моделей проиллюстрировано в статьях Я.И. Добро­ходова, А.В. Суриной [Доброходов
Я.И., Сурина А.В., 2024‎], Г.К. Чунгуловой, Э.Н. Оразалиевой [‎Чунгулова Г.К., Оразалиева Э.Н., 2024], Т.В.Лягошиной [‎‎Лягошина Т.В., 2024] и др. [‎‎Каширина И.Л., Осипов И.Р., Яковлев В.А., 2025; ‎ Оболенский Д.М., Шевченко В.И., 2024] Вместе с тем, имеются и публикации об использовании технологии RAG в различных сферах как альтернативы LLM [‎Науменко А. О., 2025].

Однако, представленные работы не учитывают множества аспектов. В частности, ни одна работа не посвящена анализу возможностей использования RAG для целей управления инновациями. Требуется расширение предметного поля и апробация уже имеющихся на сегодняшний день положений на материалах реальных кейсов.

Для обеспечения практической ценности результатов исследования был использован комплексный методологический подход, включающий эмпирический анализ, постановку и обработку результатов эксперимента и количественную обработку полученных данных.

В статье обозначены следующие гипотезы: во-первых, о том, что архитектура систем RAG дает возможность получения более точных ответов в сравнении с классическими моделями (превышает качество поиска информации не менее чем на 5%), что дает возможность обосновать использование рассматриваемых систем для решения прикладных аналитических задач; во-вторых, о том, что использование RAG позволяет генерировать выводы, которые являются не менее чем на 10% более структурированными, чем традиционные языковые модели. Подтверждение или опровержение высказанных гипотез проведено по результатам эксперимента по сравнению моделей на основе количественных и качественных показателей.

Результаты и выводы

Для иллюстрации далее представлены два возможных варианта применения RAG для целей управления инновациями (предполагающим, например, патентование):

-      необходимость поиска конфиденциальной информации, связанной с безопасностью технологии блокчейн в сфере финансовых услуг, с 2020 по 2025 год;

-      поиск патентов на захват молекул углерода с 2020 по 2025 г. в контексте конкурентного анализа технологии, лежащей в основе стартапа, и выявление технологий, для внедрения которых отсутствует финансирование (однако, запатентованных), для включения в перспективные патентные портфели.

В первом случае используется патентный поиск по ключевому слову «блокчейн в финансах» на период 2020-2025 гг. Запрос формулируется на естественном языке, который затем обрабатывается системой. Для поиска релевантных документов используется гибридный механизм, сочетающий поиск по ключевым словам («блокчейн», «безопасность», «финансы») и семантический анализ, учитывающий семантическую схожесть терминов. Система фильтрует найденные патенты, используя фильтры и дополнительные критерии, например, географическое положение, организация-владелец и отрасль. Патенты предстают в виде структурированного списка, содержащего информацию о заявителе, дате публикации, стране регистрации и сути изобретения, что позволяет делать выводы о дальнейшей стратегии управления патентами.

Во втором случае в ответ на запрос система инициирует многомодульный поиск не только из патентных источников, но и из смежных ресурсов (научных публикаций, открытых отчетов и реестров программ финансирования). На основе полученных данных патентная информация сравнивается с исходными данными других организаций. Полученная база данных патентов может быть дополнена анализом, что позволяет выявлять проблемные области в научно-техническом прогрессе и определения приоритетных направлений для инвестиций и государственной поддержки.

Алгоритм RAG реализовывается следующим образом:

1.    Ввод запроса в систему, например «Каковы последние патенты в сфере искусственного интеллекта?» или «Патенты, связанные с искусственным интеллектом».

2.    Подключение к патентным базам данных.

3.    Идентификация документов, которые соответствуют контексту, даже если результат не содержит слов из запроса.

4.    Извлечение релевантных патентов: поиск патентов с алгоритмами искусственного интеллекта.

5.    Передача в систему RAG LLM, обработка данных.

6.    Структурированный ответ системы.

Для апробации RAG был разработан и реализован эксперимент, целью которого является оценка качества ответов, предоставляемых различными языковыми моделями. Параметры для оценки:

-      юридическая корректность (оценка того, насколько точно модель интерпретирует юридически значимые элементы патента, такие как названия, формулировки, номера заявок, правообладатели и даты);

-      обоснованность цитирования (сравнение с оригинальными документами);

-      степень интерпретируемости ответов для лиц, принимающих управленческие решения (оценка того, насколько понятен пользователю текст системы, какие ограничения и формальные элементы содержит текст).

Пользовательское тестирование было проведено с привлечением 12 участников из трех профессиональных групп: аналитиков, исследователей и менеджеров, работающих в сфере инноваций в корпоративном и государственном секторах. Участникам было предложено решить задачи, основанные на реальных сценариях, включающих анализ и сравнение патентов по различным критериям: страна, период, технологическая область, а также юридическая корректность и структурирование данных, чтобы оценить, насколько хорошо модели способны генерировать ответы, которые корректно интерпретируются пользователями.

Для проведения эксперимента были использованы четыре модели: ChatGPT-4o, GigaChat 1., DeepSeek- V2, RAG. Каждый участник должен был использовать разные модели и отвечать на вопросы по шкале от 1 (я полностью не согласен) до 5 (полностью согласен) по каждому критерию. Каждому участнику дается задание: поиск патентов по заданным критериям, например, «Найти патенты, связанные с управлением инновациями в США с 2020 по 2025 гг», и сравнить патенты по юридической точности и технологическому содержанию. Юридическая корректность оценивалась на основе того, насколько точно модель интерпретирует названия патентов, формулировки, даты публикации и страны.

Результаты, представленные в табл. 1, показывают, что RAG получила самые высокие баллы по всем показателям.

Таблица 1

Сравнение показателей систем ChatGPT-4o, GigaChat 1., DeepSeek- V2, RAG
по заданным критериям

Table 1

Comparison of the performance of ChatGPT-4o, GigaChat 1, DeepSeek-V2,
and RAG systems based on specified criteria

GigaChat получил самые низкие оценки по всем показателям, это означает, что его ответы менее четкие и подробные, чем у других моделей.

Что касается точности моделей, оценки искажений, вымышленных фраз и неправильного понимания формулировок, то в таблице представлено

Таблица 2

Сравнение показателей точности моделей ChatGPT-4o, GigaChat 1., DeepSeek-V2, RAG

Table 2

Comparison of the accuracy rates of the ChatGPT-4o, GigaChat 1, DeepSeek-V2, and RAG models