Нынешнее лето оказалось
судьбоносным не только для Академии наук, которая активно занималась
подготовкой к выборам будущего руководства, но и для ранее
подведомственных ей институтов.
По инициативе ФАНО России началась оценка их результативности, которой ученых давно пугали. По ее итогам НИИ разделят на три категории, и к аутсайдерам примут серьезные меры. На подготовительной стадии была создана ведомственная комиссия по оценке, сформированы 26 референтных групп по направлениям исследований и в рамках каждой из них - свой экспертный совет, подобраны эксперты, утверждены необходимые регламенты и методики. На следующем этапе институты сравнили по наукометрическим показателям, этот этап уже завершен. Теперь в дело вступили эксперты. Процесс должен завершиться к началу зимы.
Как проходит оценка? Что уже сделано? Каковы предварительные результаты? На вопросы “Поиска” ответила начальник Управления академического взаимодействия и обеспечения деятельности НКС ФАНО России, секретарь ведомственной Комиссии по оценке результативности деятельности научных организаций Евгения Степанова.
- Евгения Владиславовна, почему впервые проводимая межведомственная оценка результативности институтов названа внеочередной?
- В соответствии с постановлением Правительства РФ от 8 апреля 2009 года №312, оценка должна осуществляться раз в пять лет, то есть в нашем случае в 2018-2019 годах. Но федеральный орган исполнительной власти имеет право инициировать внеочередную оценку, что агентство и сделало, попросив институты представить итоги работы за три года - с 2013-го по 2015-й.
- Сколько НИИ проходят оценку?
- Сначала в списке была 541 организация, но к настоящему времени перечень сократился до 513. Дело в том, что от оценки освобождены институты, которые завершили процесс реструктуризации.
- Значит, те, кто начал реорганизацию, но пока не влился в новую объединенную структуру, остаются в игре?
- Да, оценку не проходят структуры, которые перестали быть отдельными юридическими лицами, и организации, на базе которых созданы новые центры.
- По правилам в экспертных советах референтных групп должно быть более половины ученых “со стороны”, не работающих в академических структурах. Удалось ли соблюсти эту пропорцию?
- Правила соблюдены. Для обеспечения объективности в экспертные советы были включены представители вузов и отраслевых научных институтов. Мы очень благодарны коллегам, которые согласились принять участие в этой нелегкой работе. Отмечу также, что ведомственная комиссия по оценке приняла решение: руководители экспертных советов референтных групп (ЭС РГ) не должны работать в подведомственных ФАНО структурах, а членами советов из академических организаций не могут быть люди, занимающие руководящие должности, - директора, заместители директоров, ученые секретари.
- Сколько экспертов от ЭС РГ оценивает каждый институт? Как организована их работа?
- Для каждой организации назначается по два эксперта. Хотя бы один из них должен быть из организации, не подведомственной ФАНО. Эксперт отвечает примерно на 20 вопросов, характеризующих деятельность организации, а также готовит заключение, в котором указывает сильные и слабые стороны института, включая рекомендации по формированию программы его развития.
В ФАНО создана информационно-аналитическая система для сопровождения всего цикла работ по оценке. Организации вносят в нее необходимые сведения, которыми пользуются эксперты, готовя свои заключения. Члены экспертных советов и ведомственной комиссии, кроме того, имеют доступ к результатам наукометрической и экспертной оценки.
- Как известно, главный итог оценки - распределение НИИ по трем категориям: лидеры, стабильно работающие и не показывающие значимых результатов. Кто дает заключение об отнесении к той или иной категории?
- Категория организации определяется ведомственной комиссией на основе рекомендаций экспертных советов, результатов наукометрического и экспертного анализа, заключения Российской академии наук. При этом основная роль в оценке принадлежит ЭС РГ, которые дают рекомендации по предварительному отнесению организаций к той или иной категории.
Хочу подчеркнуть, что на основании экспертного анализа присваиваемая организации по формальным основаниям категория результативности может быть изменена - повышена или понижена, но не более чем на одну позицию.
- В референтные группы входят только академические организации?
- Перечень референтных групп сформирован и утвержден Межведомственной комиссией (МВК) по оценке результативности деятельности научных организаций, созданной Минобрнауки России. В него входят все научные организации страны. Но на данном этапе - ведомственной оценки - внутри референтных групп сравниваются только НИИ, подведомственные ФАНО. Информация о предварительном распределении организаций по категориям будет направлена в МВК. На основании обобщения результатов в масштабах страны - с учетом результативности не только академических, но и других научно-исследовательских и отраслевых организаций - МВК сформирует свои рекомендации. Окончательное решение по отнесению подведомственных институтов к одной из трех категорий примет ФАНО на основании итогового заключения ведомственной комиссии.
- Как рассчитывается средний показатель результативности по референтной группе? На сколько должны отличаться от него значения для разных категорий?
- По каждому из ключевых показателей (публикации, патенты, разработки, финансовая результативность) вычисляется среднее арифметическое с учетом данных всех входящих в референтную группу институтов. Таким образом, для каждого научного направления мы получаем набор пороговых значений. Именно с ними сравниваются показатели каждого конкретного института.
Показатели результативности для отнесения научной организации к первой категории должны не менее чем на 25% процентов превышать средние в соответствующей референтной группе. Для отнесения ко второй категории они могут быть не более чем на 25% процентов ниже средних. Если этот разрыв больше - организация попадает в третью группу.
- Для оценки института используется 5-10 основных показателей и несколько дополнительных. Каков их “вес”?
- Это зависит от профиля деятельности организации. Сначала НИИ самостоятельно определяют, к какому из трех профилей они относятся - “Генерация знаний”, “Разработка технологий” или “Научно-технические услуги”. Экспертные советы смотрят, насколько корректно выбран профиль, и могут дать рекомендации по его корректировке. При определении наукометрической категории в каждом профиле используются основной показатель и один из дополнительных. Для отнесения к первой категории основной и дополнительный показатели должны быть выше соответствующих пороговых значений. Если основной показатель ниже “порога”, организация относится к третьей категории. Остальные попадают во вторую категорию.
Например, для профиля “Генерация знаний” определяющим является число публикаций, индексируемых в международных системах научного цитирования, в расчете на 100 исследователей. Дополнительные показатели - количество созданных результатов интеллектуальной деятельности (РИД), имеющих государственную регистрацию и (или) правовую охрану, плюс количество выпущенной конструкторской и технологической документации, в расчете на 100 исследователей или объем доходов от конкурсного финансирования, отнесенный к общей численности выполнявших исследования и разработки сотрудников.
Для профиля “Разработка технологий” главный показатель - количество РИД плюс конструкторская и технологическая документация, а дополнительные - число опубликованных произведений плюс объем доходов от использования РИД и совокупный доход малых инновационных предприятий, отнесенный к общей численности исследователей.
Для организаций, оказывающих научно-технические услуги, главный критерий - отношение внебюджетных поступлений к бюджетному финансированию, а дополнительные - публикации и РИД.
- Если для определения категории применяется только один основной показатель, как используются другие?
- Остальные показатели учитываются всеми, кто участвует в подготовке экспертных заключений.
- В какой стадии сегодня находится процесс оценки?
- Все проходящие оценку организации предоставили необходимые сведения. Проведена огромная работа по их проверке, корректировке и приведению в соответствие с цифрами, предоставляемыми в Росстат, а также с данными российских и международных систем научного цитирования. В настоящее время с этими сведениями работают эксперты ведомственной комиссии по оценке и Российской академии наук.
- Чем регламентируется участие РАН в оценке? На каком этапе она подклю-
чается?
- О необходимости учета экспертного мнения РАН говорится в приказе Минобр-науки России от 5 марта 2014 года №161, который утвердил типовое положение о комиссии по оценке результативности. Аналогичная норма внесена в Методику оценки результативности, утвержденную приказом ФАНО от 26 июня 2015 года №22н.
По предложению ведомственной комиссии Академия наук участвует в двух этапах оценки. Сначала отделения РАН готовят экспертные заключения о результатах деятельности организаций на основе полученных от них сведений. Потом в РАН будет направлено утвержденное ведомственной комиссией предварительное распределение по категориям, чтобы отделения в случае необходимости сформулировали свои замечания к этому решению.
- Чье мнение будет играть решающую роль - экспертов ведомственной комиссии или отделений РАН?
- Я бы не стала противопоставлять этих участников, ведь у них разные функции. РАН оценивает качество проводимых исследований, а ведомственная комиссия акцентирует внимание на результативности работы и потенциале научных организаций - инфраструктурном, кадровом, внедренческом.
- И все же кто в случае разногласий будет принимать окончательное решение?
- Ведомственная комиссия на основе предложений экспертных советов референтных групп.
- По рукам уже ходят списки институтов, которые попадают в третью группу по формальным показателям. Можете назвать общую цифру?
- Результаты наукометрической оценки - это только вспомогательный материал для экспертов. Поэтому имеющиеся сегодня данные - сугубо предварительные. Согласно им, примерно 20% организаций по наукометрическим показателям находятся ниже пороговых значений в своих референтных группах.
- Когда институты будут ознакомлены с результатами предварительной оценки? Смогут ли они опротестовать принятые в отношении них решения?
- Предварительные результаты, утвержденные ведомственной комиссией, будут направлены в научные организации. Институты, попавшие во вторую категорию, имеют право обратиться в ФАНО с заявлением о пересмотре решения и просить проведения детальной экспертной оценки всей организации и (или) ее структурных подразделений. К такому заявлению должны быть приложены необходимые сведения. Таким образом, для организаций второй категории детальная экспертная оценка проводится по их запросу. А вот институты, предварительно отнесенные к третьей категории, должны в обязательном порядке предоставить ведомственной комиссии дополнительные сведения о своих структурных подразделениях.
В любом случае все спорные вопросы будут открыто обсуждаться, все мнения приниматься во внимание.
Подготовила Надежда Волчкова
По этапам. Как идет оценка институтов РАНРоссийская академия наук (ras.ru), 4.09.2017
По этапам. Как идет оценка институтов РАН.Поиск (poisknews.ru), 1.09.2017
По этапам. Как идет оценка институтов РАН, подведомственных ФАНО РоссииГлас Народа (glasnarod.ru), 6.09.2017
По этапам. Как идет оценка институтов РАН, подведомственных ФАНО России | ФАНО РоссииФедеральное агентство научных организаций (fano.gov.ru), 5.09.2017