Есть ли новости в сфере экспертизы научных заявок?

Широкомасштабное применение в последние годы грантодателями более или менее открытых конкурсных процедур при распределении «научных денег» инициировало многочисленные размышления о текущем состоянии и перспективах развития экспертного сообщества и экспертных технологий. Вопрос о механизмах и специфике конкурсной экспертизы особенно важен в связи с приближающимся конкурсом РНФ на 2015 год. Поэтому я и предлагаю уделить некоторое внимание экспертизе, экспертам, правилам и процедурам оценки наших научных квалификаций и достижений.

Некоторые события из жизни экспертного сообщества в 2014 году

В 1990 – начале 2000-х годах, пожалуй, лишь Российский гуманитарный научный фонд (РГНФ) и Российский фонд фундаментальных исследований (РФФИ) обладали более или менее эффективными методиками экспертизы научных проектов, а также базой мобилизованных квалифицированных экспертов. Существовавшие в тот период государственные программы (различные ВП и ФЦП) в качестве экспертов использовали преимущественно чиновников различных министерств и ведомств, на базе которых объявлялся тот или иной конкурс. Это приводило к переносу акцента экспертизы с научного содержания проекта на формальные количественные показатели, наукометрические индикаторы квалифицированности участников конкурсов, а также на достижимость планируемых количественных результатов исследования (количество статей, патентов, диссертаций и т.д.). Неэффективность такой организации экспертной работы довольно скоро стала очевидной.

Сегодня грантодатели более щепетильно относятся к формированию экспертного сообщества. Большим подспорьем стало, например, учреждение Федерального реестра экспертов научно-исследовательской сферы. В этот реестр вошли более 3,5 тысяч ведущих учёных и специалистов, осуществляющих проведение объективных и компетентных экспертно-аналитических исследований. В 2014 году Минобрнауки РФ достаточно активно привлекал экспертов Федерального реестра к экспертизе проектов по «государственному заданию вузам и научным организациям в сфере научной деятельности».

Тем не менее, проблемы продолжают сохраняться. Я постараюсь осветить некоторые из этих проблем и практику их решения.

Баллы и эталонные единицы: трудности оценки

В этом году я и некоторые мои коллеги, будучи аккредитованными в Федеральном реестре экспертов, приняли участие в экспертной работе по формированию «проектной части государственных заданий вузам и научным организациям в сфере научной деятельности». Проекты необходимо было оценить по стобалльной шкале. Минобрнауки РФ разработали группу критериев, за каждым из которых закрепили максимально возможные 10-15 баллов. Была разработана весьма удобная и ясная интерактивная система для формирования экспертного заключения. При работе в этой системе в задачу эксперта входило лишь оценить проект, проставить в интеракивной системе баллы и написать небольшой (в несколько предложений) общий отзыв о проекте. На первый взгляд –  чего же проще? Но это очень не просто!

Экспертов было привлечено много. Один и тот же проект анализировали разные эксперты. В этой ситуации, казалось бы, совершенно объективный (в смысле – единый для всех) инструмент – стобалльная шкала, превратился в инструмент весьма произвольного употребления.

Поскольку представления о качественном смысле эталонной единицы у разных экспертов сформировались весьма разные, мы получили множество «субъективных индивидуальных» шкал. Например, один  и тот же хороший проект оценивался двумя разными экспертами как рекомендуемый к финансированию, но при этом один эксперт ставил за него 85 баллов, а другой – 65 баллов. И это лишь потому, что в шкале первого эксперта 1 балл имеет меньшее значение, чем в шкале другого эксперта. Думаю, что при сопоставлении этих двух экспертных оценок у организаторов конкурса были определённые трудности (если, конечно речь шла об осмыслении экспертной оценке, а не о формальном суммировании баллов). Впрочем, подозреваю, что для получения окончательной оценки «индивидуальные субъективные» шкалы различных экспертов могли быть перекалиброваны и приведены к одной шкале.

Комментарии экспертов или Диагностика адекватности

Ещё одно значительное событие этого года – первая волна конкурсов Российского научного фонда (РНФ). Свою работу РНФ основывает на принципах открытости и транспарентности. Недаром на сайте Фонда наиболее часто обновляемом разделом является раздел «Интервью», в котором сотрудники Фонда и привлекаемые эксперты ведут диалог о текущей работе.

После подведения итогов конкурса на финансовую поддержку «проектов отдельных научных групп», Фонд поспешил не только представить на своём сайте максимально полную информацию о поддержанных проектах, но также разместил на личных страницах руководителей всех заявок тексты экспертных заключений. Впрочем, необходимо заметить, что руководители проектов не смогли увидеть экспертный лист с критериями и полученными оценками по каждому критерию. До руководителей довели лишь общий балл и тексты комментариев экспертов. И всё же эти комментарии представляют огромный интерес!

Мне удалось проанализировать более 20 комментариев по 8 заявкам. Первое, что обращает на себя внимание, – комментарии (значительная их часть) являются весьма обширными. Здесь на лицо – ответственный и дотошный подход к экспертизе. Не ясно, были ли таковы условия договоров с экспертами или это была личная инициатива экспертов… Но, по общему мнению всех опрошенных мною участников конкурса, было приятно видеть пространные результаты размышлений эксперта над проектом. Второе, на что хочется обратить внимание – все комментарии глубоко индивидуальны. Это обстоятельство позволяет увидеть, насколько тот или иной эксперт тщательно отнёсся к анализу проекта, насколько адекватна была критика и/или похвала.

РНФ, публикуя результаты экспертизы, сделал весьма важную, на мой взгляд, вещь. Фонд оставил для участников конкурса возможность обратиться в Фонд с жалобой на экспертную оценку своего проекта. Такое обращение никак не повлияет на результат конкурса, но даст возможность Фонду проводить на основании этих обоснованных возражений участников конкурса ротацию кадров в своём экспертном сообществе, исключая из него людей безразличных и неадекватных.

Внутривузовские конкурсы: создание местных экспертных сообществ или поддержание видимости благопристойности?

В этом году Минобрнауки РФ предоставило вузам страны значительный ресурс для развития внутривузовских конкурсов, а также местных экспертных сообществ. Речь идёт о формировании так называемой «базовой части» «государственных заданий вузам и научным организациям в сфере научной деятельности». Большому количеству вузов были предоставлены значительные денежные субсидии на поддержку крупных научных проектов, отбор которых осуществляли внутривузовские конкурсные комиссии и эксперты.

«Мы делили апельсин. Много нас, а он один…» Кадр из мультфильма из цикла «Веселая карусель» (Стихи Л. Зубковой, режиссёр и художник Г. Баринова).

Предполагалось, что будет обеспечена прозрачность и открытость внутривузовских конкурсных процедур. Все проекты, участвующие в конкурсе, а также результаты конкурсного отбора должны были быть представлены в открытом доступе. Минобрнаки РФ взяло на себя обязательство контролировать этот процесс.

Очень хочется верить, что конкурсы в рамках «базовой части» государственного задания не стали и не станут прикрытием административного перераспределения «научных денег», а, напротив, превратятся в мощный стимул для формирования местных квалифицированных экспертных групп, а также для развития технологий организации и проведения конкурсных процедур в сфере научных исследований.

Всего доброго!

Сергей Лямин Центр исследования политических трансформаций centrtsu.ru Центр фрактального моделирования  ineternum.ru Кафедра Российской истории laomin@mail.ru