ТрВ-Наука продолжает публиковать развернутые мнения ученых о первом конкурсе Российского научного фонда по проведению фундаментальных и поисковых исследований отдельными научными группами.
Получилось совершенно как всегда, по крайней мере в части химии и наук о материалах. Среди поддержанных есть достойные руководители проектов, но их не сразу заметишь на фоне привычного химического политбюро. Наиболее одиозные личности видны по названиям проектов в стиле «Создание <разра ботка> научных <физико-химических> основ…». Не столь явно одиозные, а также директорско-академические приближенные заметны по более тонким признакам. Особенно впечатляют ИОНХ и ИФХЭ. Как будто звонили директорам и спрашивали —кого изволите поддержать? А может, интуитивно угадали, или просто дурная привычка. Эти нюансы, впрочем, не существенны в разговоре об экспертизе, решающей две задачи: чтобы ни один недостойный проект не оказался поддержан, а ни один достойный не был отвергнут. Иное есть нарушение профессиональной морали и нецелевое расходование госсредств.
Мне ужасно стыдно. Я лично вино вата в том, что получилось в результате первого конкурса РНФ, и столь же лично виноваты все эксперты и члены экспертного совета. Никто ведь не завопил своевременно о том, что уже в первых конкурсах РНФ допущено грубейшее нарушение зафик сированного в документах порядка экспертизы. Или, может быть, кто-то вопил шепотом.
…Какими мы были наивными…
Надо было, черт возьми, до послед него слова читать все бумаги —какими бы бюрократическими они ни были. Если бы я с самого начала, несмотря на свалившуюся гору проектов и срок в 2 недели, внимательно читала документ «Порядок проведения экспертизы научных, научно-технических программ и проектов, представлен ных на конкурс российского науч ного фонда» [1] … Там в п.12 напи сано «…В оценках экспертов Фонда используется балльная система». А в экспертных анкетах не было никаких баллов —лишь предоставлялась возможность выбрать тот или иной заранее фиксированный вариант ответа. Довольно часто ни один из предла гаемых вариантов не соответствовал ситуации, и приходилось в текстовых окнах писать комментарий. И откуда в моем возрасте такая наивность? —думала, что раз просят написать про каждый пункт «до 1 страницы», то написанное как-то учтут… Об эквивалентности выбранных пунктов тому или иному числу баллов и об учете в балльной оценке комментариев (часто вынужденных) я спросила только в конце мая, направив на безликие адреса @rscf.ru довольно обширное письмо с разбором недостатков ан кет двух первых конкурсов.
Даже получение этого письма до сих пор не подтвердили, несмотря на повторную его отправку. Зато прислали на экспертизу проект третьего конкурса —пришлось от него отказаться и воспользоваться окошком для объяснения причин отказа, чтобы в очередной раз попросить ответить на вопросы…
Кто бы ни ставил баллы за экспертов — человек или автомат, — нарушение совершенно очевидно, и все мы его прошляпили.
Коды есть — а координаторов-то нет
С экспертами взаимодействует какой-то коллективный разум, явно не развившийся еще до уровня ответов на нестандартные вопросы. Или просто автомат (технически, следует признать, сделанный очень прилично). И пытается назначать экспертов путем сопоставления кодов проектов и экспертов. А коды —из классификатора РНФ, каковой есть откровенная компиляция на основе далеко не современных источников. Степень дробности для разных разделов совершенно разная, ряд формулировок допускает двойное толкование.
В физической химии (03-400) обра зовались совершенно немыслимые сочетания «03-405 Наноструктуры и кластеры. Супрамолекулярная химия. Коллоидные системы» или «03-406 Химическая термодинамика. Физическая химия поверхности и межфазных границ. Адсорбция». При моторном способе подбора адекватные эксперты отказываются от многих предложенных им проектов из-за несовпадения специализации, а неадекватные эксперты лихо рецензируют какие угодно проекты в сжатые сроки.
Физической химии еще, пожалуй, повезло — пусть устройство ее не понято, но хоть право на существование признано. А вот, например, атомной физики в классификаторе вовсе нет- хотя в России она очень даже есть, и во всем мире является сейчас бурно развивающейся областью, с ре гулярными нобелевскими результа тами. Такие пенки получаются, если свой экспертный совет фонд собирает по статусным признакам, а не по очевидному принципу равномерной представительности специализаций. Но там же есть, среди статусных, вполне достойные профессионалы… что б им не пригласить профильных ко ординаторов для разбора завалов?
Google как инструмент научной экспертизы
Анкета эксперта включает подпун кты, выбор которых в принципе не возможен на основании сведений из заявки. Ответы требуют в буквальном смысле следственно-разыскной работы. Даже тщательный эксперт далеко не всегда может найти нужную информацию в открытых источниках. В то же время невозможно просто пропустить какой-либо пункт: чтобы завершить экспертизу, приходится выбирать вариант «…или информации недостаточно для оценки», который явно отвечает самому низкому (воз можно, нулевому) баллу. Вот, например, какая конструкция:
1.3. Наличие опыта руководства и выполнения научных проектов.
Руководитель за последние 5 лет имеет опыт успешного руководства:
несколькими значимыми научно- исследовательскими проектами, одним значимым научно-исследовательским проектом, не осуществлял научного руководства проектами, или достаточная для оценки информация отсутствует.
В соответствующих пунктах заявки перечисляются проекты, но не предусмотрено никаких сведений об их содержании и результативности («успешности»). Поэтому приходится искать Acknowledgements в статьях, отчеты на сайтах фондов и организаций, а также просто использовать Google. Приведу пример результатов такого розыска по одному из направ ленных мне проектов (цитата из экс пертного заключения):
«Легко убедиться, что указанным в заявке проектом МНТЦ руководил представитель (совсем другого) ин ститута N (сетевая ссылка). На веб странице, посвященной участию в проекте Института NN (сетевая ссылка), какие-либо конкретные сведения о роли этого соисполнителя отсутствуют (пустые поля). Фамилия руководителя рецензируемого проекта> нигде не упоминается. Руководителем проекта РФФИ № NNN является (другой человек), а не (руководитель рецензируемого проекта) (сетевая ссылка). Срав нивая содержание отчета по проекту
РФФИ № NNNN (сетевая ссылка) (руководителем которого действительно был руководитель рецензируемого проекта) со списком статей авторов заявки по Scopus,можно найти две пу бликации по результатам этого про екта РФФИ, на основании чего условно признать его успешным».
Не искать нельзя —уровень наших заявителей, увы, таков, что привирают нередко… К сожалению, даже Google не скажет, что такое тут «значимый» —имеется в виду объем, статус фонда, значимость результатов (о которой нет сведений) или?.. кроме того, варианты ответов предполагают почему-то только или успешное руководство —или отсутствие проектов. Казалось бы, куда важнее обоснованно определить, сколько было проектов, руко водство которыми не было успешным. Или они это вычитанием выясняют?
С оценкой реального вклада в об разование дело обстоит еще хуже. Варианты ответов с подсказками в п.1.4 анкеты совершенно не учиты вают специфики сопряжения научной и образовательной работы:
активно участвует в образовательной деятельности (руководит несколькими аспирантами, разрабатывает и читает новые образовательные курсы в российских и зарубежных вузах), участвует в образовательной деятельности (руководит одним-двумя аспирантами и читает новый обра зовательный курс в российских и зарубежных вузах), руководит несколькими аспирантами или читает новый образовательный курс, участвует в образовательной деятельности в незначительной степени, или достаточная для оценки информация отсутствует.
Первой формулировке фактически удовлетворяют только имитаторы-администраторы, часто приписанные сразу к нескольким вузам и кафедрам и осуществляющие «номинальное» руководство аспирантами. Научный работник обычно не может тянуть более одного курса, тем более ново го. И почему, кстати, речь идет только о новых курсах?
Традиционные фундаментальные курсы и спецкурсы в исполнении действующих ученых ничуть не менее важны. А ключевая функция руководства дипломными ра ботами, трудоемкое проведение семинаров и практикумов попадают в последний пункт вместе с «недостатком информации» (и, возможно, оцениваются нулевым баллом). Если фонду важно оценить вклад в образование, не проще ли сразу попросить указать открытые сетевые ресурсы? Вопреки распространенной российской практике полагаю, что в современном образовании отсутствие таких ресурсов просто сразу означает отрицательную оценку (хотя их наличие вовсе не гарантирует положительную).
На выходе имеем два крайних случая: несправедливое занижение оценки заявителей, которые могли бы предоставить нужную информа цию при наличии соответствующих требований в форме заявки, или несправедливое завышение оценки экспертами, не тратившими времени на проверку и руководствовавшимися просто числом указанных проектов или читаемых курсов.
Зато мы делаем ракеты
Не буду расходовать газетную пло щадь для подробного разбора разделов «Научная обоснованность проекта» и «Значимость результатов». Там есть проблемы разной степени тяжести. Наиболее бездарно, по моим наблюдениям, заявители излагают «Современное состояние исследований по тематике проекта», зато очень бодро заполняют анекдотический пункт заявки «Основные мировые научные конкуренты»… IBM, General Motors и BASF уже просто дрожат от числа российских конкурентов, можно дальше их не пугать, а пункты эти слить и переформулировать так, чтобы современное состояние дел отражалось со ссылками на ключевые работы и эксперт оценивал бы не болтовню, а кон кретику. Это помогло бы минимизировать стресс при переходе к пункту 3.1:
Запланированные результаты проекта:
имеют высокую значимость для мировой науки, имеют высокую значимость для российской науки, значимость для мировой науки ограничена, имеют ограниченную значимость для российской науки, не будут востребованы, или ин формации недостаточно для оценки.
Варианты ответов явно намекают на второсортность российской науки, а может, написаны и в расчете на поддержку спецтематики. Если речь идет о результатах, важных для региона, то это вопрос не о российской науке, а о региональной специфике объекта исследования. Классифицировать значимость можно по масштабу результата, по его возможному влиянию на дальнейшее развитие, но безусловно не по национальному признаку. Как-то выразив эти простые соображения в комментарии (до 1 страницы, которые потом, видимо, никто не читает), эксперт нарывается на пункт
3.2. Возможность практического использования запланированных результатов осуществления проекта в экономике и социальной сфере.
Этого нельзя учитывать при срав нительной оценке проектов! —поскольку в большой части проектов фундаментального характера никакого практического использования в ближней перспективе быть не может и не должно. Сама постановка вопроса провоцирует голословные заявле ния. В конце списка вариантов ответов (видимо, как негативная оценка):
востребованность российской экономикой или социальной сферой не очевидна.
Но ведь эта же формулировка стро го применима как раз к разработкам очень высокого уровня, которые в России не могут быть востребованы из-за низкого уровня технологического развития. Не поддерживать проекты, результаты которых переросли российский технологический стандарт —это самый безнадежный тупик. В анкете нет никаких вариантов ответов, позволяющих обозначить и позитивно оценить эту нередкую ситуацию.
Не комментирую подробно 3.3. Обя зательства по количеству и качеству публикаций —нелепость, глубоко проникшую в документы фонда. План по валу может быть выполнен многими коллективами, и с большой вероятностью —в ущерб качеству. Куда полезнее было бы попросить у авторов примерный тематический план публикаций, который действительно может быть объектом экспертной оценки —а иначе мы оцениваем шустрость, а не квалификацию. Валовые показатели предлагается оценивать и в разделе 3.4 Обязательства по привлечению к работе по проекту молодых исследователей, хотя ответ следует просто из анкетных данных в заявке, и его вполне могут получить клерки. И никаких вариантов ответа по существу —то есть о функциях молодежи в проекте. Есть ли для них хорошие задачи, разумный план работы, продумано ли руководство их работой, или они «вписаны» в проект и будут в лучшем случае привлекаться для лаборантских опе раций? —соображения по этому по воду опять попадают в коментарий…
Экспертная анкета РИФ пригодна для отсечения совсем безграмотных проектов. Однако она категорически не позволяет отличить сильный современный проект не только от среднего, но даже и от «ниже среднего» по уровню. Так возникает дыра, через которую без напряга пролезает привычное «как всегда».
Как латать дыру
Сомневаюсь что получится, но пытаться надо. Всё равно же РНФ не закроют.
Прежде всего, для сохранения хоть какой-то репутации фонда необходимо опубликовать не только аннотации и ожидаемые результаты всех поддержанных проектов (хорошо, что это наконец сделано,хотя и гораздо позже объявления результатов конкурса), но и списки исполнителей. Возможно, это увеличит уверен ность в том, что в ряде случаев работа действительно может быть сделана, несмотря на некомпетентность руководителя. Убедит нас в том, что проект составлен квалифицированными людьми, остающимися пока за кадром. К сожалению, даже выборочный просмотр аннотаций показывает, что не все «высокопоставленные» проекты составлены таким образом.
Одновременно нужно в срочном порядке скорректировать эксперт ную анкету и снабдить ее баллами, твердо сформулировав принцип использования этих баллов при принятии решения. И немедленно заменить классификатор.
Нужно также понять, кто эксперты, лучше всего просто опубликовать их полный список с указанием кодов. В письме, которое я получила в феврале, было написано «По рекомендации экспертного совета Российского научного фонда (далее —Фонд) приглашаем Вас к участию в экспертизе проектов…» Вероятно, экспертный совет видит очень ограниченный круг специалистов. Ведь весь май РНФ криком кричал, что экспертов не хватает, хотя огромное число авторитетных и высококвалифицированных ученых не удостоились приглашения. Принцип подбора, конечно, должен быть рекомендательным и/или основанным на экспертной истории, а раз он не сработал, зна чит, неверно выбраны рекомендатели. И это совершенно не повод объявлять, как сделано сейчас, «призыв экспертов-добровольцев» с планкой по числу статей - призыв нужно пре кратить, а то еще хуже будет.
Затем необходимо скорректировать сроки экспертизы (при предлагаемом сейчас одному эксперту количестве проектов две недели —бессмысленно короткий срок). Для заявок на крупные проекты необходима обратная связь с авторами и двухступенчатая экспертиза, то есть сроки конкурсов должны быть еще больше.
Очень надеюсь на то, что коллеги, проводившие экспертизу для РНФ, тоже сформулируют свои впечатле ния и сообщат о них как фонду, так и друг другу. При тиражировании перечисленных проблем в следующих конкурсах РНФ российская грантовая система обречена на имитацию экспертизы, и все мы уже вынужденно поспособствовали движению в этом направлении. Это наша общая вина, и не надо утешать себя поговоркой про первый блин —все последующие блины тоже будут комом, если мы сейчас продолжим обсуждать итоги конкурсов РНФ на форумах и в ЖЖ, а не там, где принимаются решения.