Юрий Здесенко

Академический турнир:
член-корреспондент против команды профессоров

Статья опубликована в сокращенном виде
в газете «Зеркало Недели», № 9 от 6.03.2004

В статье анонимных авторов «Академический КВН: команда профессоров против команды академиков» («ЗН» № 3 от 24.01.2004) затронута важная проблема объективной оценки результатов научной деятельности ученых, которая действительно очень актуальна для украинской науки. Авторы пытаются восполнить этот пробел путем сравнения научных достижений двух выбранных групп ученых (по 5), названных ими «команда академиков» и «команда профессоров». Затем, на основании результатов этого сравнения авторами делается вывод о том, что профессора имеют более высокий рейтинг, чем академики, и поэтому последние получают вознаграждение за свой труд незаслуженно. Этот вывод эквивалентен вопросу: «Кого же выбирают в НАН Украины, если есть более достойные претенденты?» Поскольку из «команды академиков» только я был избран в Академию недавно (в мае 2003 г.), то естественно, что мне на него и отвечать. Должен заметить, что я с уважением отношусь к каждому из ученых, входящих в «команду профессоров», и что не я выбрал их в качестве своих соперников.

В своем ответе, полностью разделяя озабоченность авторов проблемой оценки результатов научной деятельности, которая интересует меня уже много лет, я хотел бы, во-первых, обсудить эту проблему более глубоко, с целью сделать ее понятной широкому кругу читателей. Затем, шаг за шагом, на конкретных примерах продемонстрировать влияние и значимость различных критериев оценки, а также выяснить степень объективности выполненного авторами анализа и сравнения научных достижений упомянутых ученых.

Однако прежде чем перейти к основной теме моих заметок, позвольте кратко прокомментировать некоторые спорные или неверные положения, высказанные в статье.

Так, авторами утверждается, что во многих пост-советских странах: «... подверглась пересмотру не только обоснованность превосходства и привилегий академиков, но и обоснованность степеней докторов и кандидатов наук, полученных при «советской» организации науки, и были введены переаттестации имеющих ученые степени. Похоже, Украина движется в противоположном направлении». Нет, это не так, и любой украинский научный сотрудник может подтвердить, что требования к кандидатам и докторам наук при «советской организации науки» были существенно выше тех, которые приняты сейчас ВАК Украины. В этом плане мы приблизились к западным стандартам, когда способный выпускник университета за три года аспирантуры готовит диссертацию и, опубликовав 2-3 статьи, получает степень «доктора философии» (PhD). Наверное, это правильно, иначе мы просто не сможем удержать молодых людей в науке, но необходимо, по крайней мере, четко понимать и признавать тот факт, что нам пришлось отступить от более жестких требований к кандидатам и докторам наук, существовавших ранее.

Высказываясь по поводу по поводу доплат за академические звания, авторы пишут: «В Европе ничего подобного нет. И в России уже нет. Почему бы руководству НАН Украины не взять пример с академиков РАН ..?» На самом деле в России доплаты за академические звания выше, чем в Украине (примерно 500 и 800 долларов США для член-корр. и академиков, соответственно).

Кроме того, удивляет ирония авторов статьи в связи с позитивными сдвигами в положении НАН Украины (в 2004 г. зарплаты увеличены на 32%, впервые за последние 12 лет выделены 70 млн. грн. на научные приборы), а также по поводу действий президента НАН Украины и высших должностных лиц государства, добившихся этих знаковых улучшений.

И последнее замечание: во все времена в человеческом сообществе считалось, что с помощью анонимок, пусть даже и во имя благородных целей, ничего хорошего не достигнешь. Почему бы авторам не снять маски?

Однако, пора и за дело. Итак, необходимо ли оценивать научную деятельность ученых? В давние времена считалось, что научное творчество -- это такая тонкая материя, которую никаким грубым аршином не измеришь -- пусть себе эти ученые чего-то там придумывают. К сожалению, кое-где подобная точка зрения жива и поныне. Поскольку современная наука требует все больших и больших затрат, обществу не может быть безразлично, кто и как занимается наукой. Так что ответ на этот вопрос может быть только один: результаты работы ученых и их статус оценивать необходимо.

Как же это делать? Конечно, существуют методики экспертной оценки, и к ним всегда прибегают в ответственных случаях, таких как конкурсы на занятие научных вакансий и постов, руководство крупными научными проектами, и пр. К сожалению, экспертная оценка -- дело весьма дорогое, хлопотное и зачастую подверженное субъективным факторам (причем не только у нас, но и на Западе). Поэтому мировым научным сообществом были найдены более простые, в каком-то смысле «механические» критерии и методы оценки рейтинга научных сотрудников, и они с успехом используются на Западе. К ним относятся: (а) количество печатных работ ученого за определенный период, (б) рейтинги (так называемые импакт-факторы) журналов, в которых его статьи опубликованы, (в) индекс цитирования, т.е. количество ссылок в статьях других ученых на работы данного автора.

Понятно, что названные критерии также не свободны от недостатков, таких как проблема соавторства, зависимость от научной «моды» на те или иные исследования и от PR-активности ученого. Тем не менее, их главное преимущество состоит в том, что они объективны. Подтверждением успешности применения этих методов может служить работа Института научной информации США (ISI), на деятельность которого американцы -- люди достаточно прагматичные -- тратят немалые деньги. У ISI сформирована наиболее полная в мире база данных по всем отраслям знаний, и он выпускает несколько журналов, часть из которых посвящена проблеме цитирования. Например, журнал «Научный индекс цитирования» (Scientific Citation Index) был до недавнего времени доступен и в Украине, однако с 2000 года Национальная библиотека Украины им. Вернадского его не получает по причине недостаточного финансирования. К сожалению, информация ISI платная (так, сбор и обобщение данных о цитировании работ конкретного ученого стоит около 2000 долларов США).

Теперь попробуем разобраться с самими критериями. С количеством статей, как будто, все ясно: кто больше публикуется, тот и работает лучше. Однако, как быть с оценкой качества публикаций? Ведь известно, что статья статье -- рознь. Снова привлекать экспертов, т.е. опять вовлекать пресловутый человеческий фактор? Выход был найден в том, чтобы оценивать качество статьи по рейтингу журнала, в котором она опубликована. Импакт-факторы научных журналов регулярно публикуются в журнале Scientific Citation Index. Заметим, что импакт-фактор каждого журнала вычисляется «автоматически»: общее число ссылок, найденных в мировой научной литературе на статьи, опубликованные в данном журнале за двухлетний период, делится на полное число статей в этом журнале за то же время.

Все журналы дорожат своими рейтингами и борются за их рост, в том числе, и путем повышения требований к качеству статей, принимаемых к публикации. Поэтому правило -- чем выше импакт-фактор журнала, тем выше уровень статьи -- в основном выполняется. Здесь уместна аналогия с миром спорта, в котором, как известно, чем выше уровень соревнований, тем меньше вероятность встретить слабого спортсмена.

Остается выяснить роль индекса цитирования, которая в принципе очень проста. Если на статью ссылаются, значит, кто-то из других ученых ее прочел и использовал в своей работе. Следовательно, чем больше таких ссылок можно найти в литературе, тем весомее влияние, которое эта статья оказывает на мировой научный процесс. Любой научный сотрудник знает, насколько это ценный показатель, и как трудно порой бывает получить хоть несколько ссылок на статью, которая, казалось бы, и неплохо написана, и посвящена серьезной проблеме, и опубликована в хорошем журнале. Можно сказать, что индекс цитирования -- это глас научной общественности и строгий судья той или иной научной публикации.

Наконец, после такого введения, мы готовы разобраться в том, каким же образом авторы статьи в «ЗН» сравнивают рейтинги ученых. В статье по этому поводу написано следующее: «...мы остановились на базе Национального ядерного центра данных (НЯЦД) в Брукхевене, США ...был предпринят дополнительный поиск в некоторых журналах ... за последние восемь лет, а также использованы поисковые системы в Интернете. Эти результаты приплюсованы к результатам из базы НЯЦД и каталогов ЦНБ. Результаты анализа в баллах приводим в таблице 1».

Вот таков метод. А дальше следует таблица 1 с загадочными баллами. Я думаю, у внимательного читателя возникает много вопросов к авторам по поводу их «технологии». Например, каковы результаты поиска отдельно по базе НЯЦД, по дополнительным журналам и каталогам ЦНБ, а также полученным с помощью поисковых систем в Интернете? И каким же образом вычислялись баллы, которые заносились в таблицу 1? Ясно, что без ответов на эти вопросы и без представления соответствующих данных, ценность результатов, приведенных авторами в таблице 1, весьма низка. Чтобы обосновать это утверждение, я намерен провести исследование рейтингов тех же ученых, но сделать это так, чтобы любой человек, имеющий доступ к Интернету, мог бы проверить полученные результаты.

Для начала необходимо определиться с базами данных для поиска. Конечно, было бы неплохо воспользоваться базой ISI, но, поскольку она платная, а мы стремимся к тому, чтобы наш поиск был максимально доступен и воспроизводим, то от нее придется отказаться. К счастью, в той области науки, которая нас интересует (физика атомного ядра и элементарных частиц), существуют две общедоступные базы данных, которые достаточно полно отражают все публикации в данной отрасли. Первая -- это уже упомянутая база в Брукхевене -- NSR (http://www2.nndc.bnl.gov/nsr/). Она содержит публикации в ядерной физике с 1910 г. Вторая -- база данных ускорительного центра в Стэнфорде (США) -- SPIRES (http://www.slac.stanford.edu/spires/hep/), где можно найти сведения о публикациях в физике высоких энергий с 1974 г.

Таким образом, базы данных NSR и SPIRES определены, и теперь можно провести в них поиск публикаций ученых из «команды профессоров», а также моих за последние 8 лет. Необходимо, однако, сделать небольшое замечание по поводу интервала времени для поиска (последние 8 лет), выбранного авторами статьи в «ЗН». Дело в том, что в научно-административной практике (конкурсы на занятие научных вакансий, получение грантов, руководство проектами, и пр.) принято оценивать статус ученого по работам за последние 5 лет. Это является отражением того факта, что в науке (как и в спорте) мало кого занимает вопрос о том, что тот или иной ученый (спортсмен) делал когда-то -- всех интересует, каких результатов он может достичь сейчас. Тем не менее, 8-летний интервал задан не мной, поэтому поиск публикаций был выполнен за 1996-2003 гг., и его результаты представлены в таблице, где приведено как общее число статей, так и количество публикаций по журналам, с указанием их импакт-факторов. Кроме того, вычислено произведение числа статей в определенном журнале на его импакт-фактор, что является объективным показателем, учитывающим не только количество, но и качество публикаций каждого конкретного автора.

Из этой таблицы видно, что число моих публикаций, найденное при поиске, составляет 48 (в базе SPIRES) и 41 (в базе NSR), тогда как количество публикаций «команды профессоров» в сумме равно, соответственно, 24 (SPIRES) и 70 (NSR). Что же касается параметра, учитывающего не только количество, но и качество публикаций (т.е., произведения числа статей в конкретном журнале на его импакт-фактор), то здесь результаты таковы: Здесенко -- 105.5 (SPIRES) и 95.4 (NSR), «команда профессоров» в сумме -- 43.3 (SPIRES) и 93.0 (NSR). Таким образом, результаты «автоматического» поиска в базах данных NSR и SPIRES существенно отличаются от тех, которые приведены авторами статьи в «ЗН» (в таблице 1), и отнюдь не в пользу «команды профессоров».

Следует особо подчеркнуть, что данные нашего поиска могут быть проверены любым желающим. Для этого на сайте базы данных необходимо правильно набрать фамилию ученого (см. таблицу) и указать период поиска. Вопрос о том, не было ли пропущено каких-то публикаций, также поддается проверке. Например, список моих статей в научных журналах за 1996-2003 гг. составляет 68 наименований, что меньше, чем сумма публикаций (48 и 41), найденных в базах NSR и SPIRES (некоторые статьи попали в обе базы). Т.е. ни одна моя статья за 1996-2003 гг. не была пропущена при поиске. Все это позволяет утверждать, что результаты нашего исследования адекватно отражают реальность, тогда как итоги сравнения научных достижений ученых, приведенные в статье анонимных авторов в «ЗН» № 3 от 24.01.2004, не соответствуют действительности -- а следовательно, выводы сделанные авторами на их основе несостоятельны.

Для полноты картины осталось сказать несколько слов об индексе цитирования, который является показателем полезности опубликованных статей. К сожалению, я могу привести только собственные данные, так как изучение цитирования «команды профессоров» потребовало бы значительных затрат времени и средств. В принципе, они сами могут дать сведения о цитировании, поскольку каждый ученый, изучая в силу профессиональной необходимости научную литературу в своей области, как правило, фиксирует все ссылки на свои статьи. Что же касается моих показателей, то за 1996-2003 гг. число ссылок на мои научные работы составляет 729 (само-цитирования, конечно, исключены), т.е. более 90 ссылок в год, что в несколько раз превышает среднемировой уровень цитирования на одного автора или авторский коллектив. Полный список моих научных работ (по годам) и перечень всех статей других авторов (с библиографическими данными), в которых они цитируются, могут быть найдены на сайте ИЯИ НАН Украины (http://lpd.kinr.kiev.ua/).

Таким образом, мы приходим к выводу, что объективная оценка результатов научной деятельности ученых должна основываться на критериях, выработанных в мировой практике, а именно: количество публикаций, импакт-факторы журналов, индекс цитирования. Применение подобной методики оценки несомненно будет способствовать повышению уровня и международного престижа украинской науки.