Актуальность проблемы. Задачи оценивания качества и полезности вузовских научно-технических разработок, а также эффектов от их реализации, являются актуальными, и вместе с тем, сложными и многоаспектными. Следует отметить, что жизненный цикл (ЖЦ) продукта может быть намного больше, чем у проекта. ЖЦ научно-технических разработок определяют стадии, которые связывают начало реализации идеи с ее воплощением. Каждая стадия знаменуется получением измеримого результата. Необходимость постоянного оценивания потенциала научно-технических разработок на каждом этапе ЖЦ продиктована, в первую очередь, тем, что по мере перехода от фундаментальных исследований к опытно-конструкторским разработкам и в дальнейшем – к освоению производства новой продукции, происходит резкое увеличение затрат. Цикл финансирования инноваций включает в себя последовательные этапы. Согласно статистическим данным, затраты увеличиваются примерно в 10 раз, ввиду этого прекращение коммерчески бесперспективных научно-технических разработок будет способствовать экономии значительных финансовых, интеллектуальных и других видов трудно восполняемых ресурсов. Следовательно, требуется разработка модельного инструментария, позволяющего работать с экспертными суждениями, включающими в себя элементы такой проверки, удовлетворяющей важнейшим требованиям.

Анализ научных исследований. Японский ученый И. Нонака, обосновавший подходы к оцениванию эффективности деятельности по производству новых знаний, основным критерием оценки эффективности определяет способность преобразовывать неформализованные знания в формализованные. В исследовании Д. Прайс попытался вывести закон экспоненциального роста знаний. В более поздних исследованиях, проведенных японским ученым К.О. Маэм, закон экспоненциального роста Д. Прайса нашел свое подтверждение. Экспоненциальная зависимость влияния новых знаний на результаты деятельности хозяйствующих субъектов получила свое подтверждение в работах ряда зарубежных ученых, таких, как Дж. Холтон, Л. Райденур, Р. Стоун, В. М. Молокановой, Г. К. Дьомина. Авторы отмечают недостаточную разработанность методов анализа деятельности по генерации и трансформации новых знаний, что также обуславливает низкую активность при организации в вузах таких научных исследований, на результаты которых будет реальный спрос на рынке.

Цель работы. Разработать инструментарий процедуры оценивания коммерческого потенциала научно-технических разработок, объединяющий в рамках единой модели качественные и количественные критерии.

Основной материал исследования. По мере перехода разработки от одной стадии к другой научно-техническая разработка развивается и становится научно обоснованной. Начальное финансирование, как правило, соответствует ранней стадии развития технологии, которая предполагает доказательство коммерческого потенциала предлагаемой идеи при её внедрении. Система коммерциализации технологий предусматривает, в первую очередь, достижение целей и получение результатов, использование ресурсов, наличие механизма трансформации ресурсов в результаты, организацию и управление. Для получения точной оценки коммерческого потенциала научно-технических разработок важным является организация проведения эффективной процедуры их оценивания.

Сравнительная легкость получения бюджетных средств на НИОКР, опирающаяся на известный постулат о некоммерческом характере фундаментальной науки и необходимости ее государственного регулирования, создавало благоприятные условия для проведения исследований и разработок, не имеющих практической ценности. В рыночно-ориентированной экономике, в условиях высокой конкуренции и политики импортозамещения в России лишь 6-8 % научно-технических разработок успешно проходят процедуру коммерциализации и превращаются в новый или усовершенствованный продукт, реализуемый на рынке, или способ производства (технологию), используемый на практике. При выделении средств на коммерциализацию научно-технических результатов необходимо оценивать их потенциал. В настоящем исследовании рассматривается оценивание (как процесс) и оценка (как результат) измерения коммерческого потенциала разработок. Формализованный вариант оценивания, который дает количественные оценки, считаем измерением.

В процедурах принятия решений о поддержке научно-технических разработок вузов необходимо учитывать их междисциплинарный характер и оценивать их по критериям, относящимся к явным и неявным знаниям. Аккумуляция таких знаний возможна посредством анкетирования авторов-разработчиков по вопросам, ответы на которые позволят по сформированным критериям формализовать знания о научно-технических разработках для последующей обработки. С нашей точки зрения, важнейшей составляющей отмеченного механизма должна стать задача выявления и привлечения неявных, некодифицированных знаний и компетенций как внутри вуза, так и извне, то есть тех комплементарных знаний, которые способны дополнить его собственную базу знаний.

Проведенный обзор показал, что аппарат алгебры конечных предикатов позволяет единым образом формализовать как процедурные, так и декларативные знания о научном результате. Процессное представление знаний, как было показано выше, дает возможность совместить процедурные и декларативные знания в одной модели. Поэтому данный математический аппарат обеспечивает возможность формализации процессных знаний в виде иерархии предикатов для последующего учета при проведении экспертиз коммерческого потенциала научно-технических разработок.

Следует отметить, что на каждой стадии ЖЦ разработки имеет место различное соотношение качественных и количественных критериев оценки. Ввиду этого, актуальной проблемой является совершенствование математического инструментария процедур оценивания коммерческого потенциала вузовских разработок. С целью решения этой проблемы, необходимо согласование позиций различных игроков относительно единой для всех цели в условиях неопределенности внешних и внутренних условий и разнонаправленности векторов интересов, наиболее эффективными являются методы использования экспертного знания, позволяющие существенно повысить точность как оценочных, так и прогнозных моделей за счёт расширения круга рассматриваемых параметров, как количественных, так и качественных, что значительно позволяет приблизить модели к реальности.

Знания эксперта, полученные в ходе экспертизы в прямом диалоге, носят поверхностный характер и не отражают сложных скрытых (имплицитных) знаний, которые служат основой интуитивного мышления. Проблемы извлечения, вербализации и использования имплицитных знаний в процессах экспертиз всегда будут актуальными. Следует отметить, что вопросы оценивания неявных знаний и их формализации при проведении в России экспертиз коммерческого потенциала вузовских разработок изучены недостаточно. При проведении экспертиз коммерческого потенциала научно-технических разработок опираются на количественные показатели, характеризующие их экономическую эффективность, которые на ранних стадиях жизненного цикла невозможно оценить достоверно, одновременно с этим, наблюдается ряд проблем, в том числе – неучет неявных знаний команды авторов-инициаторов. Ввиду этого стоит выделить постадийное оценивание разработок с привлечением дополнительных комплементарных знаний.

При оценивании коммерческого потенциала вузовских разработок, на каждой из стадий эксперт обладает разным объемом, полнотой и качеством исходной информации (полученных знаний). Для эффективной аккумуляции вузовских знаний с целью проведения эффективной экспертизы научно-технических разработок вузов уместно использовать элементы теории распознавания образов. При постановке задач распознавания используют математический язык, стремясь заменить эксперимент логическими рассуждениями и математическими доказательствами. Низкий уровень валидности традиционных моделей (обусловлен их несогласованностью с исходными данными об объекте) и результативности (выражается в неспособности достигать поставленные цели) значительно затрудняет решение управленческих задач, что приводит к низкой социально-экономической эффективности инвестиций и отказу хозяйствующих субъектов от экономико-математического моделирования. Для распознавания на конкретной стадии ЖЦ тех идей, которые обладают необходимыми и достаточными конструкторско-технологическими признаками (КТП) для перехода на следующий этап ЖЦ, а, следовательно, и экспертизы – предлагается ввести «эталон оценки» – Эт, соответствие которому для рассматриваемых разработок (Р) будет являться обязательным условием. Как показывает зарубежный опыт компаний «Ксерокс», «Кадиллак», «Ниссан», «Вестерн электрик», использование метода эталонной оценки способствует сокращению расходов, времени разработки и уровня ошибок в принятии решения до 60%. Эталон (Р_Эт) представляет собой набор КТП, оцененных экспертами по всем критериям, оценки которых Q^эт являются допустимыми оценками необходимости и достаточности знания для трансформации в инновацию. Выбор эталонного варианта по тем же критериям можно описать следующей иерархией, представленной на рис. 1.

Рис. 1. Иерархия выбора эталонного варианта

Fig. 1. Hierarchy of choice of the reference variant

Каждый эксперт (Э) оценивает предлагаемые варианты эталонов от Эт-1 до Эт-m, после чего проводится анализ и устанавливаются диапазоны допустимых значений  каждого из КТП для рассматриваемой предметной области предстоящей экспертизы научно-технических разработок, с которым будут сравниваться остальные разработки. При этом, парное сравнение критериев позволит определить, какой именно КТП из рассматриваемой пары имеет наибольшее значение для достижения заявленной цели. Значения количественных КТП также предполагается сравнивать с заданными допустимыми характеристиками.

Для перехода на следующий второй этап ЖЦ результат экспертизы научно-технической разработки должен удовлетворять условию необходимости и достаточности знаний для возможности адекватной оценки требуемых критериев уже на этапе 2 «Лабораторный макет». Фрагмент анкеты для инициатора идеи и её оценивание экспертами представлены в табл. 1.

Предложенная лингвистическая шкала, имеющая количественные градации, таким образом, позволит оценить каждый КТП (в том числе – формализовать и оценить неявные знания). По мере перехода на новый этап ЖЦ разработки происходит наращивание знаний и увеличивается количество количественных КТП.

Как показывает зарубежный опыт, использование метода эталонной оценки способствует сокращению расходов, времени разработки и уровня ошибок в принятии решения. Поэтому соответствие эталону для рассматриваемых научно-технических разработок по каждому КТП будет являться обязательным условием допустимой оценки необходимости и достаточности знания для проведения экспертизы. В этом случае в качестве требования задается более одной формулы логики предикатов по количеству КТП на конкретном этапе ЖЦ, так будут образованы узлы нижнего уровня. В процессе синтеза эта структура получит дальнейшее развитие.

Из-за сложности структуры анкеты на каждом этапе для получения более точных результатов возможно проведение дополнительной экспертизы, процедура которой предполагает регламентированный обмен информацией между экспертами, что позволит каждому эксперту сформировать единое мнение.

Как было сказано выше, неявные знания являются важным компонентом, влияющим на коммерческий потенциал научно-технических разработок. Однако перевод неявных знаний в явную форму связан с их схематизацией в целом и структуризацией базовых понятий в частности. Фактически, с помощью логической математики формализуется понятие посредством его замены соответствующим предикатом и затем – описания этого предиката.

Понятия можно формально представлять предикатами, т.е. любое понятие, с математической точки зрения, представляет собой некоторый предикат, заданный на каком-то множестве, тогда мы приходим к задаче формального описания многоместных предикатов. Предлагается на основе предикативной модели разбиение критериев на ряд односложных утверждений, уточняющих состояние научно-технических разработок, для снятия неопределенностей: технической – A_x и рыночной – В_y , ответы на которые позволяют сформировать оценки по каждому из них.

Предикатные утверждения экспертам для оценивания альтернатив по качественному критерию А_4.3 «Способности членов команды для эффективной работы по проекту» к вопросам анкеты инициатора №1.1, 1.2, 1.17, позволяют формализовать неявные знания команды, определяющие наличие эффективной группы сподвижников идеи из числа разработчиков:

1) к вопросам анкеты №1.1, 1.2, 1.17: «Команда оперативно и ответственно относится к решению вопросов (оценивается по информации о причинах недопущения проектов к конкурсам грантов, заполнению анкет всеми участниками, в случае возвращения на доработку – по оперативности исправления и т.д.)» (х): Да (а)=1; Нет(а)=0;

2) к вопросу анкеты № 1.1: «Команда обладает способностями к эффективному управлению информационными потоками» (у): Да (b)=1; Нет (b)=0;

3) к вопросу анкеты № 1.1: «У команды имеются деловые связи (сложившееся научное, производственное и деловое сотрудничество, на которое можно было бы опираться в рамках продвижения разработки)» (z): Да (с)=1; Нет (с)=0;

4) к вопросу анкеты № 1.1: «Команда способна управлять контактами, проводить переговоры, заключать соглашения, готова продемонстрировать технологию и принимать реальные формы сотрудничества, которые могут иметь место в рамках проектов коммерциализации технологий» (h): Да (d)=1; Нет (d)=0;

5) к вопросу анкеты № 1.17: «Команда самостоятельна в привлечении средств для проведения исследований (описаны состояние и источники инвестирования в реализацию идеи, совершенные попытки привлечения средств для проведения исследований)» (l): Да (g)=1; Нет(g)=0.

Допустимые оценки (сопоставимых предикатами с качественной градацией оценки), выставленные экспертами по качественному критерию A₁ «Ясность доказательства научно-технической состоятельности идеи» на первом этапе ЖЦ сведены в таблицу 2.

Каждый раз, когда структура модели подвергается изменениям, применяется процедура оценивания с участием механизма управления, и оценивается степень соответствия представления этой модели требуемым функциям. Когда, по прошествии нескольких повторных циклов этой процедуры, процесс синтеза нормально закончится, будет создана иерархическая абстрактная структура, имеющая требуемые функции при заданных процедурах оценок. Аналогично строятся таблицы истинности допустимых значений для всех качественных критериев, позволяющих снять техническую и рыночную неопределенности. На рисунке 2 представлена многоэтапная процедура оценивания коммерческого потенциала вузовских разработок и ее математический инструментарий на основе формализации оценок по систематизированным критериям, предполагающая использование средств алгебры конечных предикатов. Полученные значения играют важную роль при формализации неявных знаний и последующем использовании их в системах искусственного интеллекта. Таким образом, проблема трансформации неявных знаний в явную форму связана со структуризацией шаблонов их представления.

Предикатный подход к формализации каждой составляющей неявных знаний включает в себя следующие шаги: 1) формирование предикатного представления базового набора понятий текущего уровня неявных знаний (в прямом виде, либо в косвенном виде, через описание свойств); 2) формирование набора предикатов, отражающих связи между понятиями; 3) уточнение набора понятий, при необходимости формирования новых связей; 4) формирование набора предикатов, отражающих объекты и процессы в заданной области; 5) формирование шаблонов представления знаний на основе предикатного представления понятий и связей. Веса критериев устанавливаются ЛПР в ходе обсуждения с экспертами методом парных сравнений, при котором экспертам необходимо определить важность критериев оценки научно-технических разработок.

К каждому критерию подобран ряд утверждений, уточняющих состояние научно-технических разработок, характеризующих состояние разработки по сформулированному КТП.

Для определения «весов» всех утверждений по критерию каждому эксперту предлагаются всевозможные пары, составленные из рассматриваемых утверждений. Он должен относительно каждой пары ответить, какое утверждение из этой пары он считает более важным («1»), чем второе в паре («0»). Полученные таким образом данные сводятся в квадратную матрицу, состоящую из 0 и 1, число строк и столбцов которой равно числу рассматриваемых утверждений к конкретному критерию. В рамках исследования вместо выражения типа «утверждение V_i более важно в оценке коммерческого потенциала научно-технических разработок, чем утверждение V_j» используется выражение «V_i > V_j». Пример такой матрицы представлен в табл. 3.

Сами с собой утверждения не сравниваются. Суть отраженной с помощью этой матрицы информации обусловливает некоторые формальные свойства матрицы. Во-первых, она должна быть асимметричной: если на пересечении i-й строки j-го столбца стоит 1 (0), то на пересечении j-й строки и i-го столбца должен стоять 0 (1). Мы видим, что это свойство выполняется для данной матрицы.

Во-вторых, матрица должна удовлетворять условию транзитивности: если некое утверждение V_i кажется респонденту более важным для оценивания коммерческого потенциала научно-технической разработки, чем V_j, а V_i больше, чем V_k то естественно ожидать, что утверждение V_i будет на его взгляд более значимым, чем V_k. Так, в таблице можно видеть, что первое утверждение по мнению эксперта более значимо, чем второе (на пересечении первой строки и второго столбца стоит 1), а второе — значимо больше последнего (на пересечении второй строки с последним столбцом стоит 1). Естественно ожидать, что первое утверждение будет, по мнению эксперта более важным, чем последнее, что и отражает матрица, поскольку в ней на пересечении первой строки и последнего столбца стоит 1. Подсчитываются «1» в каждой строке, что позволяет определить «важность» каждого утверждения, уточняющего критерий. Затем принимается, что в сумме все утверждения одного критерия составляют 1, и в соответствии с приоритетами (подсчитанным по строкам), каждому утверждению ЛПР назначает «вес».

При традиционном способе реализации математической модели и заложенных в ней знаний, строится моделирующий алгоритм, что позволяет сделать вывод о том, что знания процедурно зависят от метода (алгоритма) обработки. В системах искусственного интеллекта знания о предметной области, как правило, представлены в виде декларативной модели формирования базы знаний и соответствующих правил вывода из нее и явно не зависят от процедуры их обработки. Для этого используются специальные модели представления знаний (продукционные, фреймовые, сетевые и логические). При обработке модели знаний используются процедуры логического вывода, а в базе знаний обычно фиксируются общие закономерности, правила, описывающие предметную область.

Разбив соответствующие этапы проведения экспертизы на процедуры, можно получить частные этапы проведения экспертизы. По результатам такой формализации каждая научно-техническая разработка получает оценку от 0 до 1, которая демонстрирует его технологическую (не-)зрелость и уровень коммерческой значимости. В случае, если оценка уровня технологической зрелости научно-технической разработки ≤0,5 (допустимого значения), то к следующему этапу экспертизы для определения уровня коммерческой значимости она не допускается и возвращается на доработку и корректировку, т.к. считается технологически незрелой. В случае, если оценка на этом этапе соответствует значению из эталонного диапазона от 0,5 до 1, то научно-техническая разработка допускается к этапу оценивания ее коммерческого потенциала. Далее посредством иерархических методов парных сравнений предполагается ранжирование всех научно-технических разработок, прошедших оба этапа экспертизы, затем определяются наиболее коммерчески значимые разработки для принятия грамотного обоснованного управленческого решения в отношении всех альтернатив. Результат анализируется ЛПР и формируется обоснованное экспертное заключение.

Предложенная многоэтапная процедура оценивания коммерческого потенциала вузовских разработок и ее инструментарий на основе формализации оценок по систематизированным критериям, предполагает использование средств алгебры конечных предикатов. Ее реализация позволит снизить уровень технической и рыночной неопределенности получения экономической выгоды от внедрения научно-технических разработок, а, следовательно, – обеспечить получение надежной интегральной оценки коммерческого потенциала альтернативных научно-технических разработок.

Выводы и перспективы дальнейших научных разработок. Таким образом, обоснован комплексный инструментарий оценивания коммерческого потенциала вузовских разработок, основанный на использовании эталонных значений минимально допустимых оценок. Его отличительной особенностью является поэтапное проведение процедуры оценки по критериям, характеризующим уровень технологической зрелости и коммерческого потенциала разработок, что обеспечивает достоверное отсеивание технологически незрелых и (или) коммерчески непривлекательных идей. А реализация предложенной многоэтапной процедуры позволит снизить уровень технической и рыночной неопределенности получения экономической выгоды от внедрения вузовских разработок, и, следовательно, обеспечить получение надежной интегральной оценки коммерческого потенциала научно-технических разработок.