Корпоративное управление и инновационное развитие экономики Севера
Вестник Научно-исследовательского центра 
корпоративного права, управления и венчурного инвестирования
Сыктывкарского государственного университета

В соответствии с решениями президиума Высшей аттестационной комиссии Минобрнауки России с 19.02.2010 г. входит в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученых степеней кандидата и доктора наук

СИСТЕМА КРИТЕРИЕВ И ПРИНЦИПЫ ВЫДЕЛЕНИЯ КЛЮЧЕВЫХ ИНДИКАТОРОВ ДЛЯ ИННОВАЦИОННОГО УНИВЕРСИТЕТА

Сычёв А.В. , Елкин С.В. 

Предлагается подход к оценке качества индикаторов научного и инновационного развития университета. Вводятся критерии и принципы оценки, используется 5-ти балльная шкала оценки по каждому критерию. В качестве примера приводится оценка качества ряда индикаторов, часто используемых университетами.

The approach to estimate the quality of indicators of scientific and innovative development of university is suggested. Criteria and principles of estimation are introduced with the usage of 5-points scoring scale for the estimation of each criterion. As an example, the quality estimation for a number of indicators frequently used by universities is given.

Ключевые слова: инновационная деятельность, способность высшего учебного заведения, индикаторы развития университета, инновационный университет, оценка качественных показателей.

Keywords: innovative activities, capacity of higher education institution, university development indicators, innovative university, estimation of indicators’ quality.

Инновационная экономика выдвигает целый ряд фундаментальных проблем. Их природа связана с главной новацией - особым характером развития. Он возникает благодаря мощным массовым технологиям, создающим очень высокий уровень взаимовлияния и обеспечивающим высокие темпы одновременных согласованных изменений. Это имеет фундаментальные следствия. Важнее оказывается сохранение согласованности массовых изменений (совершенствований), чем оптимизация отдельных частных решений. Динамика хозяйственной системы становится важнее фиксирования устойчивых состояний. Меняется аксиоматика теорий и моделей рынка, она становится связанной с динамикой. Меняются модели развития, методы и критерии проектирования и т.д. Становится необходимым перевести систему применяемых решений в состояние адекватное происходящим изменениям (смене технико-экономических укладов).

Высшие учебные заведения являются инструментом проведения такой работы: центром формирования моделей, их интерпретаций в технико-экономической системе, воспроизводства эффективного для практической деятельности в новых условиях комплекса знаний и их экспансии посредством подготовки кадров и создания САПР.

В связи с изменением характера развития технико-экономических систем существенные особенности возникают в составе учебных дисциплин. Поскольку вопрос о системности (согласованности) в ИЭ становится доминирующим, то базовыми дисциплинами становятся: системный анализ (как наука о сохранении системности решений), экономическая динамика (как наука о механизмах, создающих согласованное развитие комплексов технико-экономических решений), форсайт - исследования (как наука об отображении тенденций согласованной динамики в инновационную систему). В процессе развёртывания инновационной экономики они оформляются как прикладные дисциплины.

Возникает ряд фундаментальных особенностей аналитического аппарата всех дисциплин. Эффективная современная экономика должна прежде всего анализироваться как множество взаимосогласованных процессов совершенствования. Поэтому важно создавать системы решений, поддерживающие процессы взаимного совершенствования. Задачи анализа приобретают новый характер.

Хорошо известен тезис о том, что для принятия управляющих решений, в том числе и по формированию новой экономики, необходимо иметь обратную связь с реформируемой системой. С этой целью принято разрабатывать систему индикаторов, показателей и критериев (далее просто индикаторов). Для того чтобы эта система индикаторов отражала процессы, происходящие в экономике, она должна быть точно подогнана под условия задачи. В данной работе рассматривается задача оценки качества индикаторов развития для инновационного университета.

В научной литературе представлено множество подходов к оценке инновационной деятельности вуза, которые можно объединить в три группы.

Во-первых, методы оценки, основанные на анализе существующей государственной статистической документации. По ним проводится государственная аккредитация вузов, рейтинги специальностей, направлений и конкурсный отбор инновационных вузов России и др.

Во-вторых, методы, основанные на критериях оценки исследовательских университетов за рубежом. Такие подходы используются в Томском политехническом университете, Московском государственном техническом университете им. Н. Э. Баумана, Санкт-Петербургском государственном политехническом университете и др. Инновационный вуз часто ассоциируют с понятием «исследовательский университет», которое широко распространено на западе и фактически идентично понятию «элитный университет». Его концепция базируется на представлении о тесной интеграции образования и научных исследований, включая использование результатов исследований в практике обучения студентов.

В-третьих, методы оценки, основанные на других подходах. Например, Владивостокский государственный университет экономики и сервиса использует критерии оценки, основанные на принципах стратегического менеджмента. Они положены в основу управления инновационной деятельностью с использованием корпоративной информационной среды вуза. Российский государственный технологический университет им. К. Э. Циолковского, Томский, Новосибирский, Ростовский государственные университеты считают основным критерием выделения инновационного вуза объем привлечённых финансовых средств за счёт инновационной деятельности. Многие авторы склоняются к мысли, что финансовые ресурсы (особенно фонды, распределяемые на конкурсной основе) должны иметь форму капиталовложений в будущее, а не субсидиями или средствами, призванными сохранить существующее положение. Другими словами, инновационные идеи, направленные на проведение изменений или внедрение новых направлений в области преподавания или исследований, должны получать гораздо более значительную финансовую поддержку, чем обычная деятельность. Институт механики смешанных сред УрО РАН, Самарский государственный аэрокосмический университет, Государственный научный центр ГУП НПО «Астрофизика» и Дальневосточный государственный университет основывают свои методики на интеграции образования, науки и сферы наукоемкого производства. Они считают, что подготовка элитных специалистов в сфере критических технологий и наукоемкого производства должна осуществляться на базе фундаментальной науки и ее практических приложений с использованием достижений вузовской, академической и отраслевой науки в рамках некоммерческого образовательного и научно-производственного партнерства на инновационных принципах.

На данный момент целый ряд вузов прошли этап первоначального приобретения опыта инновационного развития [1-4].  При этом, осуществляя проектирование системы индикаторов для оценки инновационного развития, каждый из авторов исходил из каких-то принципов.

Однако в каждом подходе совершаются свои ошибки при проектировании индикаторов и обнаруживаются ценные находки. Специфика предмета не позволяет использовать для проектирования индикаторов традиционные принципы, известные из экономической статистики. Процессы инновационного развития ещё не нашли свои математические модели, поэтому зачастую для оценки приходится использовать экспертизу. В условиях отсутствия теоретической базы по формированию комплексов индикаторов можно использовать традиционный подход, обычно называемый феноменологическим. Для этого необходимо разработать систему критериев и принципов исходя из «здравого смысла» для оценки качества индикаторов. Это позволит среди множества индикаторов, используемых на практике, выделить те, которые будут наилучшим образом удовлетворять предлагаемым критериям. Выделенные таким образом индикаторы составят эмпирическую базу для дальнейших теоретических построений. За основу возьмем систему, предложенную нами в работе [5].

Изложим общие принципы и критерии, на основе которых, на наш взгляд, необходимо проектировать систему индикаторов для инновационного университета (вуза).

Измеримость (критерий). Здесь под измеримостью понимается возможность получения необходимой информации об объекте исследования (мониторинга) для расчёта соответствующего индикатора. По некоторым важным для анализа экономическим переменным на сегодняшний день отсутствует статистическая информация [2]. Однако она может быть получена в будущем, после того как будут внесены в Росстат соответствующие поправки. Иногда недостающую информацию можно получить в результате опроса экспертов.

Измеримость связана с качеством информации и может быть оценена следующим образом:

5 - Информация имеется в статистических сборниках, отчетных документах вышестоящих органов или получается непосредственно из результатов деятельности организации (документов строгой отчётности, в том числе балансов, актов аккредитации).

4 - Информация извлекается из отчётов подразделений организации, не имеющих статуса документов строгой отчётности.

3 - Информация извлекается из массивов данных, не относящихся напрямую к индикатору.

2 - Информация может быть получена косвенными методами из расчётов, аппроксимаций, экстраполяций, интерполяций.

1 - Информация может быть получена из экспертных оценок

Чувствительность (критерий). Под чувствительностью индикатора понимается наличие отклика на изменения объекта мониторинга – управляющие воздействия. Желательно, чтобы функция отклика была близкой к линейной или хотя бы вообще была известна. В жизни это требование выполняется очень редко. Например, широко распространённый индикатор «доля защитившихся кандидатов наук в общей численности соискателей»[6-8] имеет очень малое отношение к инновационной деятельности. В принципе можно гипотетически отменить кандидатские и докторские диссертации в стране. Вопрос, изменит ли это уровень инновационной деятельности? Конечно, сложившаяся квалификационная система поощряет часть молодёжи повышать свой образовательный и квалификационный уровень, и поэтому её отмена была бы вредна, но напрямую это не оказывает влияния на инновационные процессы. Большинство соискателей после защиты диссертаций уходят работать в бизнес структуры и только некоторые остаются в университетах. Работа над кандидатской диссертацией совмещается соискателями с работой в кампаниях и носит зачастую формальный характер, что мало способствует повышению квалификации. Кроме того, работа над текстом диссертации может отнять время от полугода до года, когда соискатель или аспирант не может заниматься ничем другим, кроме как написанием текста диссертации, автореферата и других необходимых сопроводительных документов. Это время выпадает из времени, отпущенного на развитие научного направления, что, очевидно, плохо способствует участию в инновационных процессах. Однако это уже никого не интересует. В советской науке нередко научными руководителями  практиковалась задержка выпуска соискателя на защиту с целью продлить его содержательную деятельность в научном коллективе. В настоящее время такая практика в значительной мере ушла в прошлое, т.к. молодые люди скорее уйдут незащитившись, нежели будут продолжать работать «на своего научного руководителя». По этим совокупным причинам указанный индикатор «доля защитившихся кандидатов наук в общей численности соискателей» оказывается в противоречии  между требованиями Минобрнауки об увеличении числа молодых кандидатов наук и повышением инновационности вуза. Таким образом, чувствительность индикатора для инновационных преобразований оказывается неявной и  оставляет желать лучшего.

Рассмотрим ещё один характерный индикатор, часто используемый для оценки деятельности вузов: «количество научных конференций и школ молодых учёных, организованных и проведённых университетом» [6-8]. Совершенно очевидно, что количество научных конференций и школ не может линейно расти и не может вообще расти более некоторого предела. В погоне за выполнением индикатора можно «наплодить» такое количество мероприятий, что на остальную деятельность просто не останется времени. Очевидно, что количество мероприятий должно быть оптимальным, давать с одной стороны, возможность молодым учёным доложить свои результаты, а с другой не выхолащивать, не обесценивать саму суть этой работы.

Чувствительность индикатора может быть оценена по 5 - балльной шкале:

5 - Индикатор чувствителен и имеет линейную функцию отклика во всем диапазоне изменений.

4 – Индикатор чувствителен и имеет линейную функцию отклика в ограниченной части  диапазона изменений.

3 – Индикатор малочувствителен и имеет нелинейную функцию отклика во всем диапазоне изменений.

2 – Индикатор малочувствителен и имеет нелинейную функцию отклика в ограниченной части  диапазона изменений.

1 - Индикатор нечувствителен и не имеет функцию отклика.

Нечувствительность индикатора к второстепенным факторам (критерий). В экономике всё взаимосвязано, поэтому избежать влияния одних факторов на другие трудно. Однако желательно для каждого индикатора знать ту группу факторов, которая на него влияет наиболее сильно, и ту, которая оказывает относительно слабое влияние [4]. В идеале желательно, чтобы было соответствие: один фактор – один индикатор.

Рассмотрим такой индикатор, который предлагается в различных работах и, в частности, в работе [Воробьева, Фомина, МИФИ], «доходы из всех источников финансирования на одного научно-педагогического работника».  Несомненно, важно, чтобы доходы на одного НПР росли. С этим трудно поспорить. Но какова роль этого индикатора для инновационного университета? Что это за доходы? То ли они созданы собственным высококвалифицированным трудом, умением конкурировать на рынке, способностью создавать новую стоимость, то ли возникают от умения руководства лоббировать интересы вуза на верхних эшелонах власти и возникают как следствие бюджетного финансирования? Этот индикатор только камуфлирует возможное неблагополучие в вузе. В таком виде он неприемлем для задачи создания инновационного университета. Допустимо, чтобы два однородных по смыслу задачи фактора описывались одним индикатором, так, например, «доходы от НИОКР» и «доходы от продажи лицензий», или бюджетное и корпоративное финансирование вуза. В рассматриваемом же индикаторе «доходы из всех источников финансирования на одного научно-педагогического работника» суммируются разнородные по смыслу доходы. И хотя бюджетное финансирование может пойти на НИОКР, тем не менее средства, получаемые из бюджета, целевым образом по своему содержанию отличаются от средств, выигранных на конкурсе, ибо во втором случае характеризуют способность коллектива к научной конкуренции, что является обязательным условием инновационной рыночной экономики.

Оценивая это свойство индикаторов, можно ввести следующую шкалу:

5 – Один фактор – один индикатор.

4 – Два фактора – один индикатор.

3 – Три фактора – один индикатор.

2 – Четыре фактора – один индикатор.

1 – Пять факторов – один индикатор.

Масштабируемость (принцип). Применимость на микро-, мезо- и макроуровнях (см. таблицу 1). Этот принцип обеспечивает системность решения задачи. Он позволяет агрегировать индикаторы снизу вверх. Например, индикатор «количество учреждённых университетом  малых инновационных предприятий» вполне агрегируется простым суммированием, без каких - либо коэффициентов и отражает вклад в общее развитие малого инновационного предпринимательства в стране в целом. С другой стороны, индикатор «доля обучающихся лиц из государств СНГ» технически вполне масштабируем, но нет никакого смысла его масштабировать, ибо это частный индикатор для тех вузов, которые принимают студентов из-за рубежа. Он свидетельствует о престиже вуза и не более. Конечно, престиж косвенно отражает качество образования по сравнению с теми странами, из которых приезжают студенты, но, во-первых, индикатор нельзя без конца увеличивать, так как нужно учить и своих студентов. А во-вторых, качество образования не тождественно понятию инновационного университета, хотя и без него вряд ли что-то выйдет и в инновационной сфере.

 Таблица 1 - Масштабы процессов развития

В другом случае, индикатор «доля защитившихся докторов наук в общей численности соискателей» нельзя суммировать, но можно масштабировать получая, в итоге «средневзвешенную долю защитившихся докторов наук в отрасли или стране».

Для оценки будем использовать условную пятибалльную шкалу, где 5 будет наилучшая оценка, а 1 - наихудшая.

Содержательность (принцип). Ясная интерпретация процессов изменений на основе изменения индикатора. Для многих широко используемых индикаторов это требование выполняется очень слабо. Например, индикатор «количество разработанных программ повышения квалификации и переподготовки в отрасли» [6-8]. Из него не ясно, что это за программы повышения квалификации и переподготовки и какое отношение они имеют к развитию инновационного университета. Факультет повышения квалификации, пользуясь подобным индикатором, может развить значительную активность и даже приносить заметный доход, но не будет при этом работать на общую задачу университета.

Для оценки будем использовать 5-ти балльную шкалу:

5 – Непосредственно отражает процесс инновационных изменений.

4 – Опосредованно отражает процесс инновационных изменений.

3 – Частично влияет на процесс инновационных изменений.

2 – Мало влияет на процесс инновационных изменений, но обеспечивает сохранение достигнутых результатов.

1 – Не влияет на процесс инновационных изменений.

Близость к источнику изменений (принцип). Чем дальше мы находимся от источника изменений, тем больше теряется и затушёвывается информация о происходящих процессах. Например, общепринятые параметры: объем рынка и доля рынка, не объясняют, почему инвестируемые в научный сектор финансы не приносят ожидаемой отдачи, т.е. увеличения этих параметров. В то время как могут иметь место несколько проблем, препятствующих развитию. Эти индикаторы вообще не интересуются причинами трудностей и не отражают происходящие процессы.

Рассмотрим индикатор «доля исследователей и преподавателей, использующих в своей работе уникальное оборудование» [6-8]. На первый взгляд этот индикатор приближен к источнику изменений. Если используется новое уникальное оборудование, то автоматически должны быть новые уникальные результаты. Однако, зачастую для повышения индикатора в число использующих уникальное оборудование записывают всех, кто хоть как-то косвенно относится к нему. Это и студенты, которые делают лабораторные работы на новом оборудовании, и учебно-вспомогательный персонал, его обслуживающий, и слушатели курсов повышения квалификации, и т.д. В реальности для решения новых задач оборудование может использоваться на 10-15% (что, впрочем, тоже неплохо), а по индикатору все в порядке – загрузка 99-100%. А все дело в том, что источником изменений является не оборудование, а новая постановка новых, уникальных задач. Оборудование же является только инструментом, обеспечивающим возможность такой постановки. Новая постановка задач тоже возникает не на ровном месте, а только при наличии специалистов мирового уровня, способных новые задачи поставить. Индикатором наличия специалистов мирового уровня является наличие устойчивого потока публикаций в зарубежных журналах высшего уровня. Конечно, возможен случай постановки и решения уникальных задач молодыми специалистами, однако это скорее исключение из правил, чем правило. Доля таких случаев невелика. Таким образом, оказывается, что рассматриваемый нами индикатор не несёт никакого смысла и, следовательно, не нужен. Нужно стремиться получить уникальное оборудование, но отчитываться о своих успехах по индикаторам наличием такого оборудования есть чистое лукавство. Кроме выше сказанного следует заметить, что для отнесения оборудования к числу уникального необходимо иметь утверждённый критерий. В то же время рассчитывать инновационный потенциал университета [3] без учёта наличия уникального оборудования и, соответственно, его загрузки было бы нелепостью.

Агрегативность (принцип) Чем выше уровень управления, тем более точные решения нужно принимать, а это возможно только при небольшом количестве исходных данных. Поэтому при переходе с микроуровня на макроуровень количество индикаторов должно уменьшаться. Процесс уменьшения числа индикаторов происходит за счёт агрегации. Категорически нежелательно агрегировать величины разной природы, взвешивая их искусственными весами, получаемыми методом экспертных оценок.

Во многих случаях в составе комплексов индикаторов вузов имеются индикаторы следующих типов:

1.      Относительные величины. Например, «доля дохода от НИОКР из всех источников в общем доходе университета».

2.      Абсолютные величины в денежном выражении. Например, «объем финансирования проектов в рамках международных научных программ».

3.      Абсолютные величины в натуральном выражении. Например, «количество научных конференций и школ молодых учёных, организованных и проведённых университетом» [6-8].

Эти величины несопоставимы между собой, и агрегирование их в один интегральный индикатор с помощью различных коэффициентов, полученных экспертным путём, не имеет научного обоснования. Более того, зачастую не могут быть агрегированы даже индикаторы одного типа, например относительные величины: «доля дохода от НИОКР из всех источников в общем доходе университета» и «доля ежегодно обновляемых образовательных программ по профильным специальностям». Недостатком описанной ситуации является то, что результат деятельности вуза приходится оценивать  по некоторому набору несвязанных индикаторов, и в случае если один индикатор ушёл вниз, а другой вверх, то, что следует считать итогом? Компенсируют ли друг друга эти два противоположных процесса?

Для оценки способности агрегироваться введём шкалу:

5 – Агрегируется с индикаторами, имеющими денежное выражение.

4 - Агрегируется с индикаторами, имеющими вид относительных величин.

3 -  Агрегируется с индикаторами, имеющими натуральное выражение.

2 – Агрегируется с индикаторами, имеющими экспертную оценку.

1 – Не агрегируется.

Достоверность. Это свойство индикатора зависит от уже описанных принципов.

Например, снижение уровня измеримости, чувствительности, нечувствительности к второстепенным факторам,  содержательности, близость к источнику изменений, приводящие к снижению уровня достоверности. Но кроме всего этого индикатор может быть сформулирован так, чтобы иметь возможность преднамеренно манипулировать его значениями, на вполне законных основаниях, пользуясь неясными формулировками. Например, индикатор «доля аспирантов и научно-педагогических работников, имеющих опыт работы в ведущих научных и университетских центрах» не предполагает чётких критериев опыта работы, то ли это трёхдневная командировка для ознакомления с чужим опытом, то ли это семестровое обучение по специальной программе. Разница между этими двумя видами опыта велика, но она никак не отражена в индикаторе. Все это приводит к возможности записывать в индикатор результат в широких пределах, такой, какой захочется.

Рассмотрим ещё раз индикатор «количество учреждённых университетом  малых инновационных предприятий». Польза от формального учреждения университетом малых инновационных предприятий не очевидна, так как затраты на учреждение, как финансовые, так и организационные, осуществлены, а результат появится только, когда малое предприятие начнёт зарабатывать, осуществит возврат инвестиций и начнёт приносить учредителю долю от прибыли. Когда оно начнет финансировать проекты в родном вузе, а не попытается «проглотив инвестиции» самоликвидироваться, чтобы открыться заново, но уже без своего учредителя, тем самым освободившись от всех обязательств. Польза от этого индикатора только лишь в том, что при сравнении с количеством ликвидированных малых инновационных предприятий и количеством успешно действующих имеется возможность оценить коэффициент «бизнес инкубирования», или выживаемости, который интегрально характеризует качество всей инновационной системы. Напомним, что даже в одной из лучших инновационных систем (США) этот коэффициент примерно 15%.

Будем использовать для оценки индикаторов по этому принципу 5-ти балльную экспертную оценку (субъективную).

Диапазон изменений. Этот важный параметр сильно ограничивает кажущиеся вполне хорошими индикаторы. Как уже было замечено выше «доля обучающихся лиц из государств СНГ» должна быть ограничена какой - то вполне конкретной величиной, хотя какой именно, не совсем ясно. Другой случай: «количество разработанных программ повышения квалификации и переподготовки в отрасли» [6-8]. Не ясно, сколько программ должно быть вообще и какова должна быть динамика их разработки. Здравый  смысл подсказывает, что программ должно быть столько, чтобы закрыть потребности отрасли, но ведь для этого потребности нужно исследовать. Разработка программ без предварительного маркетинга будет убыточной, если учесть, что среднестатистические расходы на создание обучающей программы составляют около 400 тыс. рублей. В то время как на рынке повышения квалификации в настоящее время действует множество высокопрофессиональных игроков.

Таблица 2 - Некоторые индикаторы научного и инновационного развития университета и их оценка

Список литературы:

1.  Багаутдинова А.З. Стратегический анализ деятельности образовательной организации высшего профессионального образования (на примере КГТУ им .А.Н. Туполева). 

2. Воробьева Е.С., Монастырный Е.А., Краковецкая И.В., Чистякова Н.О. Оценка потенциала высших учебных заведений //«Инновации», -  2010, №2 - C. 46-56

3. Воробьева Е.С., Краковецкая И.В., Чистякова Н.О., Видяев И.Г. Проблемы развития региональной инновационной системы на принципах открытых инноваций //«Инновации», - 2010, №7 - C. 81-85

4. Воробьева Е.С., Видяев И.Г., Краковецкая И.В., Чистякова Н.О. Основные проблемы обеспечения инновационной деятельности в Томской области //«Известия Томского политехнического университета»,- 2010, Т.317, №6 - C. 45-50

5. Елкин С.В. Фирстов Ю.П., Цыганов В.Г. Роль обобщенной модели в разработке аналитической платформы инновационной экономики // Нанотехника. 2010. -  №3(23) -  C. 94-98

6. Латух О. А.«Комплексная оценка инновационной деятельности вуза: теоретические и методические аспекты» Диссертация. - Новосибирск,  2007 

7. Маковская И.С., Позняковский В.М. , Новоселов С.В. Оценка инновационного потенциала вуза, как основа стратегии развития пищевых отраслей   Ползуновский вестник/ -  № 3 - 2011

8. Перминова О. М., Войт А. О. Оценка инновационной деятельности вуза.  // Интеллектуальные системы в производстве №1, 2006.  - C.195-200

Literature:

1. «Complex estimation of innovative activity of higher education institution: theoretical and methodical aspects» Dissertation O.A.Latukh. 2007, Novosibirsk.

2. Estimation of innovative activity of higher education institution. O. M.Perminova, A. O. Voit Intellectual Systems in Industry No. 1, 2006. page 195-200

3. Estimation of innovative capacity of higher education institution as the basis of food industry development strategy I.S.Makovskaya, V.M. Poznyakovsky, S.V.Novoselov. Polzunovsky Vestnik No. 3/2 2011

4. The strategic analysis of higher education institution activities (in accordance with the example of A.N.Tupolev’s KGTU). A.Z.Bagautdinova.

5. S. V.Yolkeen Yu.P.Firstov, V. G.Tsyganov The role of the generalized model in the development of analytical platform of innovative economy. Nanotekhnika 2010 No. 3 (23), page 94-98

6. E.S.Vorobyova, E.A.Monastyrny, I.V.Krakovetskaya, N.O.Chistyakova  Estimation  of higher educational institutions potential //"Innovations", - 2010, No. 2 - page 46-56

7. E.S.Vorobyova, I.V.Krakovetskaya, N.O.Chistyakova, I.G.Vidyaev Problems of development of regional innovative system in accordance with the open innovations principles //"Innovations", - 2010, No. 7 - page 81-85

8. E.S.Vorobyova, I.G.Vidyaev, I.V.Krakovetskaya, N.O.Chistyakova The main problems of ensuring the innovative activities in Tomsk Region//«Izvestiya Tomskogo Polytekhnicheskogo Universiteta», - 2010, Т.317, No. 6 - page 45-50