От Афордов
К Мак
Дата 30.07.2014 11:47:00
Рубрики Россия-СССР; Компромисс; Культура; Война и мир;

Прошел конкурс РНФ по поддержке существующих научных лабораторий (кафедр)


http://www.poisknews.ru/theme/science-politic/11167/

В РЯДУ НЕРЯДОВЫХ.

РНФ ПОДВЕЛ ИТОГИ КОНКУРСА ДЛЯ СУЩЕСТВУЮЩИХ НАУЧНЫХ ЛАБОРАТОРИЙ И КАФЕДР. НАУЧНАЯ ПОЛИТИКА № 29-30(2014)

Понарина Елизавета 25.07.2014

На днях стал известен 161 победитель конкурса РНФ по поддержке существующих научных лабораторий (кафедр). Попавшие в этот список наверняка почувствовали себя, что называется, опорой и надеждой отечественной фундаментальной науки. Но как шел отбор, чем он отличался от того, что проводился в ходе первого конкурса РНФ по поддержке отдельных научных групп? Сегодня по просьбе редакции на эти и другие вопросы отвечает председатель Экспертного совета РНФ член-корреспондент РАН Александр КЛИМЕНКО.

- Александр Викторович, чему научил Экспертный совет первый конкурс? Что из этого опыта вы учли при проведении конкурса поддержки существующих лабораторий?- Первый конкурс заставил нас подготовить невероятное количество экспертиз (более 33 000), так как поступила лавина заявок (более 11 000). Естественно, мы сделали вывод - и при объявлении второго конкурса заметно повысили вступительный порог: если в конкурсе по поддержке отдельных научных групп (ОНГ) руководитель должен был иметь три (в основном) публикации, представленные в WoS или Scopus за последние пять лет, то во втором конкурсе ему полагалось иметь от 11 до 16 (в зависимости от области знаний), поднялся и порог для гуманитариев: если в первом конкурсе мы просили не менее 3 статей в WoS, Scopus или РИНЦ, то во втором - уже не менее 3 статей в WoS или Scopus и 6 в РИНЦ. Однако это не остудило сообщество. Заявок пришло 12 на 1 грант, как говорится, “выше крыши”. Или точнее, 1855 заявок на 150 запланированных мест. - Представители каких наук были наиболее активны? Опять гуманитарии, как в первом конкурсе?- В первом конкурсе ОНГ действительно они превалировали: 3,5 тысячи заявок от гуманитариев из общей массы - 11 700 поступивших заявок. Сейчас фонд установил более высокий барьер для гуманитариев по числу публикаций, и распределение претендентов на поддержку по областям знаний оказалось более равномерным. Инженерные науки - 17%, физика - 16%, гуманитарные науки и химия - по 12%, медицина -10%, математика - 9% и т.д. Всего допущено к экспертизе 1502 заявки. - А куда делись триста с лишним?- Отсеяны из-за небрежности заявителей. Статистика по четырем конкурсам, где заявки уже собраны, обескураживает. По первому конкурсу ОНГ таковых 5,3% заявителей, по второму (существующие лаборатории) - 15,5%, по новым лабораториям отсеяно 9,2%, по международным конкурсам - 26,2%! - Причины - вранье, расхлябанность, неумение?- У меня тот же вопрос возник, но первая мысль -заумно написали документацию, и народ не понимает, что от него требуют? Нет, анализ показал, что вина - в банальной неорганизованности заявителей: печать не поставили, не подписали бумаги, проигнорировали требование о количестве определенных публикаций или поставили цифры ниже порогового значения... Так что грешить на тяжесть восприятия документации не приходится. Я не поленился, позвонил Андрею Петрову, возглавляющему Дирекцию научно-технических программ Минобр-науки, поинтересовался, сколько у них слетает заявок по формальным показателям. “До 20%”, - был ответ. Удручающая безответственность. - Я слышала, что вы увеличили число экспертиз для каждой заявки. Так?- В этот раз мы провели экспертизу в две стадии: поначалу заявку рассматривали два эксперта, далее, по их оценкам, весь массив делили на две группы: откровенно слабые, получившие очень мало баллов, и те, по поводу которых стоит дискутировать дальше. Их, из расчета три заявки на одно плановое место “под солнцем”, передавали на вторую стадию экспертизы. Каждую заявку из этой группы снова смотрели два эксперта, уже, естественно, другие. В результате на финальной стадии такие заявки имели четыре экспертных заключения. В первом конкурсе их было три. Двойное сито позволило не тратить много времени на откровенно слабые предложения. - А когда первые два эксперта не сходились во мнении, как вы решали, годится заявка для дальнейшего рассмотрения или нет?- Очень просто. Перед тем как провести разделительную линию, кому - на выход, кому - еще помучиться, мы попросили координаторов всех секций посмотреть “отсеиваемые” заявки вместе со своими коллегами и вынести, если необходимо, дополнительное суждение. Секция порой настаивала, что заявка, несмотря на то что у нее одна оценка низкая, должна пройти на вторую стадию рассмотрения. Набралось с десяток таких заявок... Новая “двухстадийная” схема Экспертному совету понравилась, и она будет использоваться в конкурсах на создание новых лабораторий и поддержку исследований международных научных групп. Однако с учетом полученного опыта в этих конкурсах на первой стадии у нас будет три экспертных заключения, что поможет избежать черно-белых ситуаций. - Это вы после обращений граждан организовали? В научном сообществе неоднозначно реагируют на экспертизу в РНФ... - Ну и зря. На 33 тысячи экспертиз по первому конкурсу мы получили около 70 официальных “неудовольствий”. И это после того, как всем руководителям заявок была предоставлена возможность познакомиться с итоговыми оценками экспертов. Согласитесь, это немного. Подавляющее большинство обращений связано с возражениями против оценки конкретного эксперта. В соответствии с правилами, фонд не вступает в дискуссию с заявителями, но это не означает, что обращения остаются без внимания. По каждой такой жалобе обязательно проходит разбор, анализ. По результатам будет принято решение о целесообразности привлечения эксперта к дальнейшему сотрудничеству с фондом. Подчеркну, что чистка рядов экспертов и до этого велась, а сейчас фонд получил информацию, на кого надо обратить внимание - низкая квалификация, предвзятость. Особенно когда по результатам деятельности одного эксперта собираются две-три претензии... - Может, это просто “строгий учитель”... - Может быть, а может, и нет. По крайней мере, привлечение тех экспертов, к которым есть претензии, пока приостановлено. Речь не только о “жестких” экспертах, но и о “добрых”, о тех, кто выставляет всем заявкам максимально высокие оценки. Это тоже вызывает законное недоумение. Мы прекрасно понимаем, что именно квалификация экспертов, их порядочность определяют качество конкурсного отбора, и будем работать над тем, чтобы звание “эксперт РНФ” воспринималось как высокая оценка профессиональных и человеческих качеств специалиста. - А по второму конкурсу экспертные заключения тоже будут доступны для заявителей?- Да, в течение месяца с момента публикации итогов все экспертные заключения будут доступны в ИАС РНФ. - И будете ждать “наездов”?- Конечно. Куда от них деваться?- А зарубежных экспертов вы планируете привлекать?- Планировали делать это со второго, третьего и особенно - с четвертого конкурса. Но, к сожалению, переговоры и процедуры по “наведению мостов” затянулись. По многим причинам. Поэтому обходимся сейчас исключительно соотечественниками, компетенции их в принципе хватает, но, безусловно, было бы полезно выйти из собственной кухни на улицу и посмотреть, что там делается. - А чтобы сравнить себя с другими, дать зарубежным ученым возможность оценить наши заявки, вам надо бумаги перевести на иностранный язык?- Заявки третьего и четвертого конкурсов (новые лаборатории и международные научные группы) уже имели английский вариант. У этих конкурсов экспертиза на первой стадии предполагалась чисто российская, а на второй - с привлечением зарубежных ученых.

- Вряд ли западные ученые согласятся трудиться в таком цейтноте, как ваши эксперты сегодня. - Почему? Второй конкурс проходил уже в приемлемом режиме, так как определенный опыт был наработан и уроки пройдены. Есть некое удовлетворение, как эта работа выполнена. Лучшие заявки лабораторий и кафедр - всего 161 проект -получат достойную поддержку. - Через этот конкурс видно картину науки страны?Совпадают ваши представления с данными “Карты науки”, что сделала зарубежная фирма для Минобрнауки? РАН, судя по вашим данным, действительно так плоха, как об этом пишут?- Итоги наших конкурсов - повод для серьезного социологического исследования, исключительно интересный материал для науковедов. Руки до него пока не доходят. Вот то, что лежит на поверхности: в обоих первых конкурсах более всего заявок поступило из высшей школы. - Там народ активнее, приучен биться за каждый рубль?- Ну, прежде всего, народу там больше. Высшая школа в конкурсе на поддержку существующих лабораторий дала 49% заявок, учреждения трех бывших академий наук - 42%, прочие научные учреждения (другие министерства, ОАО и т.п.) - 9%. В первом конкурсе было примерно то же самое. А вот коэффициент прохождения заявок демонстрирует другой расклад сил: 58% победителей - люди из институтов ФАНО, то бишь академических структур, 34% - из высшей школы и 8% - прочие. По числу поддержанных заявок - от структур ФАНО 94 единицы, от Минобрнауки - 31, плюс 14 от МГУ, от Санкт-Петербургского госуниверситета - 3. Организации Минздрава - 10 побед... - Так в среднем коэффициент прохождения заявок от ФАНО выше?- Выше, но это - средняя температура по больнице. Если посмотреть топ-25 организаций, которые получили наибольшее количество грантов по первому конкурсу, то половина из них - вузы. Это МГУ, СПбГУ, федеральные и исследовательские университеты. В этом смысле высшая школа не слабее академического сословия. Я бы поостерегся оперировать средними показателями в том смысле, что ученые одного ведомства на голову выше ученых другого. Не так. И высшая школа, и академические институты имеют достойных представителей среди победителей. - А географически как распределились претенденты и победители?- Все, как обычно: на Центральный федеральный округ приходится 55% выигранных заявок (было подано 46%). Обычно в конкурсах РФФИ, РГНФ, Минобрнауки доля победителей из Центра доходит до 60% от общего числа, тут сильные кадры и их много. Северо-Западный - 16% (15% поступило), Дальневосточный - 1% (2%), Сибирский - 18% (17%), Уральский - 2% (4%), Приволжский - 5% (13%), Южный - 3% (при 2% поданных). Если по областям, краям, то по числу победивших заявок список выглядит так: Москва - 78 заявок выиграно, Санкт-Петербург - 23, Новосибирская область - 17, Московская область - 7, Томская - 6, Красноярская -4, по 3 - Пермский край, Нижегородская, Ростовская и Свердловская области, по 2 - Татарстан, Волгоградская, Ленинградская области, а еще 8 регионов - по одной заявке. В первом конкурсе, по сути, та же картина. - Признайтесь, губернаторы лоббировали интересы своих регионов?- Ну как без этого? И не только губернаторы, но и другие уважаемые люди. Письма официальные присылали. Одно скажу, Экспертный совет эти письма не учитывал. И не будет делать этого впредь. Возвращаясь к географии - интенсивность подачи заявок и успешность их прохождения характеризуют распределение научного потенциала по территории страны. Если будете смотреть, где сколько кандидатов, докторов наук, получите совершенно четкую корреляцию с результатами наших конкурсов. Кстати, картина идентична тому, что дают конкурсы РФФИ, грантов президента... - Похоже, ваша команда может сама участвовать в конкурсах Минобрнауки и вместо зарубежных фирм делать “Карту науки РФ” на живом материале. - Неплохая идея, только времени пока нет. Но любопытствующий может увидеть на нашем сайте, что в первом конкурсе приняло участие более 100 с лишним тысяч человек. Заявок более 11 тысяч, участников на заявку 10-12. Перемножайте. Второй конкурс тоже показателен. Заявок всего 1855, средняя численность лабораторий примерно 20 человек. И вспомните про высокий входной барьер - к публикациям руководителя предъявлялись высокие требования. Уровень этих требований не испугал более 1800 человек. - Откуда же слух о низкой результативности отечественной науки?- Все недовольства от того, что хотелось бы большего. Мы же не можем сказать, что сегодня российская наука - самая передовая в мире. Надо больше и лучше. Слава Богу, не перевелись у нас ученые, не уехали, не все ушли в бизнес, другие сферы деятельности. Но возрастная беда налицо: руководителей лабораторий более всего в возрасте 67 лет, тьма - шестидесятилетних, а есть (и дай Бог им здоровья и творческой активности!) те, кому за 80. Но мало, единицы тех, кому меньше 50. По пальцам легко перечесть сорокалетних. Согласитесь, что отмахиваться от этой проблемы никак нельзя. И исправить ее в один день не удастся даже большими деньгами. - Что удивило вас в конкурсах?- Весь фонд, экспертное сообщество с большим волнением ожидали даты, когда был открыт доступ заявителям к результатам экспертных оценок - ведь это обратная связь. По первому конкурсу были вывешены три резюме экспертных заключений по каждой заявке. Без указания личности эксперта. И были вывешены те баллы, которые по этому экспертному заключению заявка получила. Как только народ смог ознакомиться с этими данными, реакция последовала. Цифры, отражающие эту реакцию, я называл и считаю, что эти результаты могут быть предметом гордости фонда. - Не утомляют ли вас коллеги-ученые утверждениями, что все организовано не так?- Да, на бюро совета все время ставятся вопросы по улучшению нашей работы. Разве что-то бывает безупречным? Но должен признаться, что, отродясь, не встречал такого пристального внимания научного сообщества в целом и отдельных личностей к результатам конкурсов. От корки до корки читают аннотации, проверяют в WoS и Scopus наличие статей, их содержание изучают, отслеживают, кто из представителей директорского корпуса победил, насколько это оправдано... По нескольку часов тратят у компьютера на эти исследования. Поначалу это недоверие немного задевало, а потом, когда выяснилось, что ни в чем серьезном нас не заподозрили, стало легче дышать. - Я вам даже покажу пару писем - это моя особая гордость, - чуть помолчав, сказал Александр Викторович и достал распечатку двух e-mail. - Я их собираюсь в рамочках на стенку повесить. В фонде. Я много участвовал в проведении различных конкурсов, но ни разу не видел писем с благодарностью за то, что поддержали чью-то заявку. Это всегда воспринимается как само собой разумеющееся - собственная-то заявка по определению лучшая! Что касается проигравших, то они, разумеется, недовольны и рассчитывать на получение от них благодарности за проделанную работу не приходится. Но, оказывается, бывает и по-другому! Вот два проигравших конкурс человека из разных областей пишут, что оценку их заявок считают “всесторонней, глубокой и объективной, что она поможет им в дальнейшем”. Вот профессор из Новгорода говорит об оценке, данной его проекту, как о “на 90 процентов справедливой, основанной на хорошем понимании экспертами сути как самого проекта, так и затрагиваемой им научно-практической области”. Приятно получать такие отзывы. Не могу не отметить роль аппарата фонда, который формировался, что называется, на ходу. Фонду всего полгода! Когда у нас 15 мая шло заседание по итогам первого конкурса, я попросил ребят, представляющих аппарат фонда, подойти к президиуму. Я показал их членам Экспертного совета и сказал, что это те, без кого конкурс не состоялся бы, тем более в такие сжатые сроки. Сказал, что я - человек зрелого возраста - склонен, как все люди моих лет, брюзжать, что молодежь не так образована, не так работает... Так вот, признался я прямо при них, молодые люди нашего фонда заставили меня несколько скорректировать свою оценку, потому что это удивительные ребята. Могу дать каждому блестящую характеристику. Их брали на работу в фонд по конкурсу, не по знакомству. Я был свидетелем собеседований. Часть из них прошла школу РФФИ, РГНФ. В штате фонда около 40 человек, но они обеспечивают все экспертные процедуры, подготовку соглашений с победителями и многое, многое другое. Только за два первых конкурса выполнен колоссальный объем работы, распределено 7 миллиардов рублей. Немалая нагрузка. - Ну, захвалили своих. А на самом-то деле претензии есть. Вон в Интернете какие рассуждения об одном из членов вашего Экспертного совета, “организовавшем грант своему заместителю, еле проходящему по формальным критериям и то за счет мемориальных материалов”... - Чего только в Интернете не прочтешь. Так вот про мемориальные материалы. Действительно, при приеме заявки были учтены две статьи, которые посвящены 100-летнему юбилею М.В.Келдыша. Насколько они мемориальные, мы попросили разобраться специалистов. Их мнение однозначно: они написаны человеком, не только прекрасно разбирающимся в предмете, но и умеющим определить роль и место ученого в науке... Это достойная аналитика, вклад в оценку научного наследия выдающегося ученого. С этой историей специально разбиралось бюро Экспертного совета. Бюро было единодушно: никаких отступлений от требований конкурсной документации допущено не было. Другое дело - впредь для подобных конкурсов требования к публикациям мы будем дополнительно уточнять. - Тем не менее вы же не будете отрицать, что член Экспертного совета может повлиять на результат оценки заявки... Одно его имя как заявителя... - Нет. Мы предусмотрели процедуры, которые не допускают такого рода конфликтов. Что касается координаторов секций, то они в принципе не имеют права участвовать в качестве руководителей заявок в РНФ, это исключено. Если координатор получает заявку коллектива, который с ним связан, или от соавтора по прежним своим работам, то немедленно ставит меня в известность, и экспертов по этим заявкам подбирают председатель или ответственный секретарь Экспертного совета. Членам Экспертного совета не запрещено участвовать в конкурсах, но они не принимают участие в рассмотрении своих заявок и голосовании по ним. При этом подчеркну, что на Экспертном совете голосование по таким заявкам тайное. Упреки не исчезнут еще долго, будут периодически звучать, но могу ответственно утверждать, что у нас не было случая, когда заявка члена Экспертного совета получила невысокие оценки экспертов, но потом, на заседании секции, вдруг появилось другое мнение и заявку протаскивали. - Если в совете действующие ученые, то такого рода эпизоды могут случаться. Иначе надо напрочь запрещать им участвовать. Но правильно ли это для науки?- В нынешнем конкурсе 13 руководителей победивших заявок являются членами нашего Экспертного совета. Если вы мне скажете, что это много, то я вам напомню, что в совете - звезды первой величины, совет формировался из действующих ученых с высокими показателями публикационной активности. Их коллективы лишить права получать поддержку фонда? Сомневаюсь, что это правильно. Другое дело - исключить возможное лоббирование. Что для этого делается, я уже рассказал. А выводы - насколько на пользу науке мы сработали - будем делать тогда, когда обладатели грантов сделают работу, принесут отчеты - и мы удостоверимся, что показатели, которые были обещаны в заявках, достигнуты. Вот тогда станет понятно, насколько правильно сработала экспертиза. На снимке: Ф.Федосов, С.Ни-кифоров, И.Нуждин и Д.Лисов, сотрудники Отдела ядерной планетологии Института космических исследований РАН (победители конкурса существующих научных лабораторий), обсуждают вопросы калибровки запасного образца российского нейтронного телескопа ЛЕНД, летный образец которого работает сейчас на окололунной орбите.

Елизавета ПОНАРИНА
От Афордов
К Афордов (30.07.2014 11:47:00)
Дата 04.08.2014 20:12:57

Покаянное (заметки об экспертизе проектов в РНФ)



http://trv-science.ru/2014/06/17/pokayannoe-zametki-ob-ehkspertize-proektov-v-rnf/

17.06.2014


Галина Александровна Ц


Покаянное
(заметки об экспертизе проектов в РНФ)


ТрВ-Наука продолжает публиковать развернутые мнения ученых о первом конкурсе Российского научного фонда по проведению фундаментальных и поисковых исследований отдельными научными группами.


Получилось совершенно как всегда, по крайней мере в части химии и наук о материалах. Среди поддержанных есть достойные руководители проектов, но их не сразу заметишь на фоне привычного химического политбюро. Наиболее одиозные личности видны по названиям проектов в стиле «Создание <разра­ ботка> научных <физико-химических> основ…». Не столь явно одиозные, а также директорско-академические приближенные заметны по более тонким признакам. Особенно впечатляют ИОНХ и ИФХЭ. Как будто звонили директорам и спрашивали —кого изволите поддержать? А может, интуитивно угадали, или просто дурная привычка. Эти нюансы, впрочем, не существенны в разговоре об экспертизе, решающей две задачи: чтобы ни один недостойный проект не оказался поддержан, а ни один достойный не был отвергнут. Иное есть нарушение профессиональной морали и нецелевое расходование госсредств.

Мне ужасно стыдно. Я лично вино­ вата в том, что получилось в результате первого конкурса РНФ, и столь же лично виноваты все эксперты и члены экспертного совета. Никто ведь не завопил своевременно о том, что уже в первых конкурсах РНФ допущено грубейшее нарушение зафик­ сированного в документах порядка экспертизы. Или, может быть, кто-то вопил шепотом.

…Какими мы были наивными…

Надо было, черт возьми, до послед­ него слова читать все бумаги —какими бы бюрократическими они ни были. Если бы я с самого начала, несмотря на свалившуюся гору проектов и срок в 2 недели, внимательно читала документ «Порядок проведения экспертизы научных, научно-технических программ и проектов, представлен­ ных на конкурс российского науч­ ного фонда» [1] … Там в п.12 напи­ сано «…В оценках экспертов Фонда используется балльная система». А в экспертных анкетах не было никаких баллов —лишь предоставлялась возможность выбрать тот или иной заранее фиксированный вариант ответа. Довольно часто ни один из предла­ гаемых вариантов не соответствовал ситуации, и приходилось в текстовых окнах писать комментарий. И откуда в моем возрасте такая наивность? —думала, что раз просят написать про каждый пункт «до 1 страницы», то написанное как-то учтут… Об эквивалентности выбранных пунктов тому или иному числу баллов и об учете в балльной оценке комментариев (часто вынужденных) я спросила только в конце мая, направив на безликие адреса @rscf.ru довольно обширное письмо с разбором недостатков ан­ кет двух первых конкурсов.

Даже получение этого письма до сих пор не подтвердили, несмотря на повторную его отправку. Зато прислали на экспертизу проект третьего конкурса —пришлось от него отказаться и воспользоваться окошком для объяснения причин отказа, чтобы в очередной раз попросить ответить на вопросы…

Кто бы ни ставил баллы за экспертов — человек или автомат, — нарушение совершенно очевидно, и все мы его прошляпили.

Коды есть — а координаторов-то нет

С экспертами взаимодействует какой-то коллективный разум, явно не развившийся еще до уровня ответов на нестандартные вопросы. Или просто автомат (технически, следует признать, сделанный очень прилично). И пытается назначать экспертов путем сопоставления кодов проектов и экспертов. А коды —из классификатора РНФ, каковой есть откровенная компиляция на основе далеко не современных источников. Степень дробности для разных разделов совершенно разная, ряд формулировок допускает двойное толкование.

В физической химии (03-400) обра­ зовались совершенно немыслимые сочетания «03-405 Наноструктуры и кластеры. Супрамолекулярная химия. Коллоидные системы» или «03-406 Химическая термодинамика. Физическая химия поверхности и межфазных границ. Адсорбция». При моторном способе подбора адекватные эксперты отказываются от многих предложенных им проектов из-за несовпадения специализации, а неадекватные эксперты лихо рецензируют какие угодно проекты в сжатые сроки.

Физической химии еще, пожалуй, повезло — пусть устройство ее не понято, но хоть право на существование признано. А вот, например, атомной физики в классификаторе вовсе нет- хотя в России она очень даже есть, и во всем мире является сейчас бурно развивающейся областью, с ре­ гулярными нобелевскими результа­ тами. Такие пенки получаются, если свой экспертный совет фонд собирает по статусным признакам, а не по очевидному принципу равномерной представительности специализаций. Но там же есть, среди статусных, вполне достойные профессионалы… что б им не пригласить профильных ко­ ординаторов для разбора завалов?

Google как инструмент научной экспертизы

Анкета эксперта включает подпун­ кты, выбор которых в принципе не­ возможен на основании сведений из заявки. Ответы требуют в буквальном смысле следственно-разыскной работы. Даже тщательный эксперт далеко не всегда может найти нужную информацию в открытых источниках. В то же время невозможно просто пропустить какой-либо пункт: чтобы завершить экспертизу, приходится выбирать вариант «…или информации недостаточно для оценки», который явно отвечает самому низкому (воз­ можно, нулевому) баллу. Вот, например, какая конструкция:

1.3. Наличие опыта руководства и выполнения научных проектов.

Руководитель за последние 5 лет имеет опыт успешного руководства:

несколькими значимыми научно- исследовательскими проектами, одним значимым научно-исследовательским проектом, не осуществлял научного руководства проектами, или достаточная для оценки информация отсутствует.

В соответствующих пунктах заявки перечисляются проекты, но не предусмотрено никаких сведений об их содержании и результативности («успешности»). Поэтому приходится искать Acknowledgements в статьях, отчеты на сайтах фондов и организаций, а также просто использовать Google. Приведу пример результатов такого розыска по одному из направ­ ленных мне проектов (цитата из экс­ пертного заключения):

«Легко убедиться, что указанным в заявке проектом МНТЦ руководил представитель (совсем другого) ин­ ститута N (сетевая ссылка). На веб­ странице, посвященной участию в проекте Института NN (сетевая ссылка), какие-либо конкретные сведения о роли этого соисполнителя отсутствуют (пустые поля). Фамилия руководителя рецензируемого проекта> нигде не упоминается. Руководителем проекта РФФИ № NNN является (другой человек), а не (руководитель рецензируемого проекта) (сетевая ссылка). Срав­ нивая содержание отчета по проекту

РФФИ № NNNN (сетевая ссылка) (руководителем которого действительно был руководитель рецензируемого проекта) со списком статей авторов заявки по Scopus,можно найти две пу­ бликации по результатам этого про­ екта РФФИ, на основании чего условно признать его успешным».

Не искать нельзя —уровень наших заявителей, увы, таков, что привирают нередко… К сожалению, даже Google не скажет, что такое тут «значимый» —имеется в виду объем, статус фонда, значимость результатов (о которой нет сведений) или?.. кроме того, варианты ответов предполагают почему-то только или успешное руководство —или отсутствие проектов. Казалось бы, куда важнее обоснованно определить, сколько было проектов, руко­ водство которыми не было успешным. Или они это вычитанием выясняют?

С оценкой реального вклада в об­ разование дело обстоит еще хуже. Варианты ответов с подсказками в п.1.4 анкеты совершенно не учиты­ вают специфики сопряжения научной и образовательной работы:

активно участвует в образовательной деятельности (руководит несколькими аспирантами, разрабатывает и читает новые образовательные курсы в российских и зарубежных вузах), участвует в образовательной деятельности (руководит одним-двумя аспирантами и читает новый обра­ зовательный курс в российских и зарубежных вузах), руководит несколькими аспирантами или читает новый образовательный курс, участвует в образовательной деятельности в незначительной степени, или достаточная для оценки информация отсутствует.

Первой формулировке фактически удовлетворяют только имитаторы-администраторы, часто приписанные сразу к нескольким вузам и кафедрам и осуществляющие «номинальное» руководство аспирантами. Научный работник обычно не может тянуть более одного курса, тем более ново­ го. И почему, кстати, речь идет только о новых курсах?
Традиционные фундаментальные курсы и спецкурсы в исполнении действующих ученых ничуть не менее важны. А ключевая функция руководства дипломными ра­ ботами, трудоемкое проведение семинаров и практикумов попадают в последний пункт вместе с «недостатком информации» (и, возможно, оцениваются нулевым баллом). Если фонду важно оценить вклад в образование, не проще ли сразу попросить указать открытые сетевые ресурсы? Вопреки распространенной российской практике полагаю, что в современном образовании отсутствие таких ресурсов просто сразу означает отрицательную оценку (хотя их наличие вовсе не гарантирует положительную).

На выходе имеем два крайних случая: несправедливое занижение оценки заявителей, которые могли бы предоставить нужную информа­ цию при наличии соответствующих требований в форме заявки, или несправедливое завышение оценки экспертами, не тратившими времени на проверку и руководствовавшимися просто числом указанных проектов или читаемых курсов.

Зато мы делаем ракеты

Не буду расходовать газетную пло­ щадь для подробного разбора разделов «Научная обоснованность проекта» и «Значимость результатов». Там есть проблемы разной степени тяжести. Наиболее бездарно, по моим наблюдениям, заявители излагают «Современное состояние исследований по тематике проекта», зато очень бодро заполняют анекдотический пункт заявки «Основные мировые научные конкуренты»… IBM, General Motors и BASF уже просто дрожат от числа российских конкурентов, можно дальше их не пугать, а пункты эти слить и переформулировать так, чтобы современное состояние дел отражалось со ссылками на ключевые работы и эксперт оценивал бы не болтовню, а кон­ кретику. Это помогло бы минимизировать стресс при переходе к пункту 3.1:

Запланированные результаты проекта:

имеют высокую значимость для мировой науки, имеют высокую значимость для российской науки, значимость для мировой науки ограничена, имеют ограниченную значимость для российской науки, не будут востребованы, или ин­ формации недостаточно для оценки.

Варианты ответов явно намекают на второсортность российской науки, а может, написаны и в расчете на поддержку спецтематики. Если речь идет о результатах, важных для региона, то это вопрос не о российской науке, а о региональной специфике объекта исследования. Классифицировать значимость можно по масштабу результата, по его возможному влиянию на дальнейшее развитие, но безусловно не по национальному признаку. Как-то выразив эти простые соображения в комментарии (до 1 страницы, которые потом, видимо, никто не читает), эксперт нарывается на пункт

3.2. Возможность практического использования запланированных результатов осуществления проекта в экономике и социальной сфере.

Этого нельзя учитывать при срав­ нительной оценке проектов! —поскольку в большой части проектов фундаментального характера никакого практического использования в ближней перспективе быть не может и не должно. Сама постановка вопроса провоцирует голословные заявле­ ния. В конце списка вариантов ответов (видимо, как негативная оценка):

востребованность российской экономикой или социальной сферой не очевидна.

Но ведь эта же формулировка стро­ го применима как раз к разработкам очень высокого уровня, которые в России не могут быть востребованы из-за низкого уровня технологического развития. Не поддерживать проекты, результаты которых переросли российский технологический стандарт —это самый безнадежный тупик. В анкете нет никаких вариантов ответов, позволяющих обозначить и позитивно оценить эту нередкую ситуацию.

Не комментирую подробно 3.3. Обя­ зательства по количеству и качеству публикаций —нелепость, глубоко проникшую в документы фонда. План по валу может быть выполнен многими коллективами, и с большой вероятностью —в ущерб качеству. Куда полезнее было бы попросить у авторов примерный тематический план публикаций, который действительно может быть объектом экспертной оценки —а иначе мы оцениваем шустрость, а не квалификацию. Валовые показатели предлагается оценивать и в разделе 3.4 Обязательства по привлечению к работе по проекту молодых исследователей, хотя ответ следует просто из анкетных данных в заявке, и его вполне могут получить клерки. И никаких вариантов ответа по существу —то есть о функциях молодежи в проекте. Есть ли для них хорошие задачи, разумный план работы, продумано ли руководство их работой, или они «вписаны» в проект и будут в лучшем случае привлекаться для лаборантских опе­ раций? —соображения по этому по­ воду опять попадают в коментарий…

Экспертная анкета РИФ пригодна для отсечения совсем безграмотных проектов. Однако она категорически не позволяет отличить сильный современный проект не только от среднего, но даже и от «ниже среднего» по уровню. Так возникает дыра, через которую без напряга пролезает привычное «как всегда».

Как латать дыру

Сомневаюсь что получится, но пытаться надо. Всё равно же РНФ не закроют.

Прежде всего, для сохранения хоть какой-то репутации фонда необходимо опубликовать не только аннотации и ожидаемые результаты всех поддержанных проектов (хорошо, что это наконец сделано,хотя и гораздо позже объявления результатов конкурса), но и списки исполнителей. Возможно, это увеличит уверен­ ность в том, что в ряде случаев работа действительно может быть сделана, несмотря на некомпетентность руководителя. Убедит нас в том, что проект составлен квалифицированными людьми, остающимися пока за кадром. К сожалению, даже выборочный просмотр аннотаций показывает, что не все «высокопоставленные» проекты составлены таким образом.

Одновременно нужно в срочном порядке скорректировать эксперт­ ную анкету и снабдить ее баллами, твердо сформулировав принцип использования этих баллов при принятии решения. И немедленно заменить классификатор.

Нужно также понять, кто эксперты, лучше всего просто опубликовать их полный список с указанием кодов. В письме, которое я получила в феврале, было написано «По рекомендации экспертного совета Российского научного фонда (далее —Фонд) приглашаем Вас к участию в экспертизе проектов…» Вероятно, экспертный совет видит очень ограниченный круг специалистов. Ведь весь май РНФ криком кричал, что экспертов не хватает, хотя огромное число авторитетных и высококвалифицированных ученых не удостоились приглашения. Принцип подбора, конечно, должен быть рекомендательным и/или основанным на экспертной истории, а раз он не сработал, зна­ чит, неверно выбраны рекомендатели. И это совершенно не повод объявлять, как сделано сейчас, «призыв экспертов-добровольцев» с планкой по числу статей - призыв нужно пре­ кратить, а то еще хуже будет.

Затем необходимо скорректировать сроки экспертизы (при предлагаемом сейчас одному эксперту количестве проектов две недели —бессмысленно короткий срок). Для заявок на крупные проекты необходима обратная связь с авторами и двухступенчатая экспертиза, то есть сроки конкурсов должны быть еще больше.

Очень надеюсь на то, что коллеги, проводившие экспертизу для РНФ, тоже сформулируют свои впечатле­ ния и сообщат о них как фонду, так и друг другу. При тиражировании перечисленных проблем в следующих конкурсах РНФ российская грантовая система обречена на имитацию экспертизы, и все мы уже вынужденно поспособствовали движению в этом направлении. Это наша общая вина, и не надо утешать себя поговоркой про первый блин —все последующие блины тоже будут комом, если мы сейчас продолжим обсуждать итоги конкурсов РНФ на форумах и в ЖЖ, а не там, где принимаются решения.

1. www.rscf.ru/fonddocs
От Афордов
К Афордов (04.08.2014 20:12:57)
Дата 06.08.2014 18:35:24

Исправление опечатки: автор - Г.А.Цирлина (-)
От Афордов
К Афордов (30.07.2014 11:47:00)
Дата 01.08.2014 14:31:01

Если покупаются степени, то почему бы впридачу не прикупить и экспертные оценки?

Мнения ученых:

http://www.scientific.ru/dforum/scilife/1406641878

sb ( ) - 29.07.2014 17:51

Если покупаются степени, то почему бы впридачу не прикупить и экспертные оценки?›

в ответ на: итоги конкурса РНФ по поддержке существующих научных лабораторий (кафедр), председатель ЭС РНФ член-корр РАН А.КЛИМЕНКО – ЕНП

> В ряду нерядовых. РНФ подвел итоги конкурса для существующих научных лабораторий и кафедр.

>Научная политика : "На днях стал известен 161 победитель конкурса РНФ по поддержке существующих научных лабораторий (кафедр). Попавшие в этот список наверняка почувствовали себя, что называется, опорой и надеждой отечественной фундаментальной науки. Но как шел отбор, чем он отличался от того, что проводился в ходе первого конкурса РНФ по поддержке отдельных научных групп? Сегодня по просьбе редакции на эти и другие вопросы отвечает председатель Экспертного совета РНФ член-корреспондент РАН Александр КЛИМЕНКО."

> http://www.poisknews.ru/theme/science-politic/11167/

Разбросы в квалифицированных мнениях будут происходить в соответствии с ценовой политикой.