К проблеме оценки научных публикаций
Збережено в:
| Дата: | 2009 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Видавничий дім "Академперіодика" НАН України
2009
|
| Назва видання: | Наука України у світовому інформаційному просторі |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/27306 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | К проблеме оценки научных публикаций / А.Н. Гузь, Я.Я. Рущицкий // Наука України у світовому інформаційному просторі. — Вип. 2. — К.: Академперіодика, 2009. — С. 26-39. — Бібліогр.: 14 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-27306 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-273062011-10-02T12:06:06Z К проблеме оценки научных публикаций Гузь, А.Н. Рущицкий, Я.Я. 2009 Article К проблеме оценки научных публикаций / А.Н. Гузь, Я.Я. Рущицкий // Наука України у світовому інформаційному просторі. — Вип. 2. — К.: Академперіодика, 2009. — С. 26-39. — Бібліогр.: 14 назв. — укр. XXXX-0077 http://dspace.nbuv.gov.ua/handle/123456789/27306 uk Наука України у світовому інформаційному просторі Видавничий дім "Академперіодика" НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| format |
Article |
| author |
Гузь, А.Н. Рущицкий, Я.Я. |
| spellingShingle |
Гузь, А.Н. Рущицкий, Я.Я. К проблеме оценки научных публикаций Наука України у світовому інформаційному просторі |
| author_facet |
Гузь, А.Н. Рущицкий, Я.Я. |
| author_sort |
Гузь, А.Н. |
| title |
К проблеме оценки научных публикаций |
| title_short |
К проблеме оценки научных публикаций |
| title_full |
К проблеме оценки научных публикаций |
| title_fullStr |
К проблеме оценки научных публикаций |
| title_full_unstemmed |
К проблеме оценки научных публикаций |
| title_sort |
к проблеме оценки научных публикаций |
| publisher |
Видавничий дім "Академперіодика" НАН України |
| publishDate |
2009 |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/27306 |
| citation_txt |
К проблеме оценки научных публикаций / А.Н. Гузь, Я.Я. Рущицкий // Наука України у світовому інформаційному просторі. — Вип. 2. — К.: Академперіодика, 2009. — С. 26-39. — Бібліогр.: 14 назв. — укр. |
| series |
Наука України у світовому інформаційному просторі |
| work_keys_str_mv |
AT guzʹan kproblemeocenkinaučnyhpublikacij AT ruŝickijââ kproblemeocenkinaučnyhpublikacij |
| first_indexed |
2025-07-03T06:59:44Z |
| last_indexed |
2025-07-03T06:59:44Z |
| _version_ |
1836608111257845760 |
| fulltext |
А. Н. Гузь, Я. Я. Рущицкий
К ПРОБЛЕМЕ ОЦЕНКИ НАУЧНЫХ ПУБЛИКАЦИЙ
1. Введение. В настоящее время картина развития науки дополняется
качественно новым явлением – формированием мирового научного инфор -
мационного пространства, основанного на достижениях революционного
характера в области информационных технологий. Основным достижением
и характерным моментом в становлении мирового научного информа цион -
ного пространства является возможность осуществления обмена научной
информацией о полученных результатах во всем мире практически в масш -
табе реального времени. Безусловно, при этом предполагается наличие соот -
вет ствующих технических средств, обеспечивающих участие в информа -
ционных технологиях, и наличие подписки на получение соответствующих
информационных продуктов.
Необходимо также отметить, что в настоящее время мировое научное
сообщество публикует огромное (практически почти не поддающееся учету)
количество статей по различным научным и научно-техническим направле -
ни ям. В связи с этим для успешного информационного поиска (в равной
мере квалифицированного, успешного, результативного и объективного)
даже с привлечением современных информационных систем и технологий
необходимо применительно к конкретному научному или научно-
техническому направлению выделить критерии оценки и расстановки
приоритетов для полученных и опубликованных в виде статей результатов.
В последние десятилетия XX-го века была разработана [6]
http://garfield.library.upenn.edu/papers/science1955.pdf
и получила повсеместное распространение [4, 5]
http://garfield.library.upenn.edu/papers/jitchicago2005.pdf
одна из возможных оценок научных публикаций в виде их
цитируемости в других научных и научно-технических публикациях.
Следует отметить, что и в начале XXI-го века оценка публикаций по
их цитируемости является фактически единственным общепризнанным
подходом; при этом рассматриваются различные критерии, основанные на
цитируемости, и эти вопросы активно обсуждаются в различных изданиях,
что можно уже считать сформировавшейся тенденцией.
Учитывая эту тенденцию, в международном научном журнале “При -
клад ная механика”, который издается Институтом механики им. С.П. Ти -
мошенко НАН Украины на русском языке и который переводится на
англий ский язык как “International Applied Mechanics” и издается изда -
тельством Springer, в 2005 и 2006 гг. были опубликованы статьи [7–9]. В
этих статьях был проведен анализ существующих общепринятых оценок
научных публикаций и способов представления их мировому научному
сообществу (способов их интегрирования в мировое научное информацион -
ное пространство) применительно к публикациям в журналах и к
монографическим изданиям. При этом, указанный анализ в статьях [7–9]
сопровождался подробным исследованием этого вопроса на примере
26
монографических изданий ученых Института механики им. С.П. Тимо -
шенко НАН Украины и публикаций в журнале “Прикладная механика –
International Applied Mechanics”. Также в [7] было предложено ввести в
научных и научно-технических журналах наряду с Abstract, Key words и
др. новую рубрику (объемом 2–3 строки), стимулирующую более ответ -
ствен ное отношение авторов публикации к новизне излагаемых результатов
и к объективности цитирования.
Как представляется авторам, публикации [7–9] вызвали определен -
ный интерес в среде украинских ученых и части мирового научного сооб -
щества механиков. Так, эти статьи включены в специальный выпуск сбор -
ни ка “Наука Украини у світовому інформаційному просторі” за 2008 г.,
который является первым выпуском в серии под редакцией академика НАН
Украины Я.С. Яцкива и который посвящен актуальным вопросам орга -
низации мирового научного информационного пространства и присутствия
в ней украинской науки. Также обсуждение предложений из [7–9] было
проведено в июле 2007 г. в международном интернет-журнале
iMechanica, web of mechanics and mechanicians http://www.imechanica.org (1)
под названием “Objective citation – a proposal from the Timoshenko
Institute”.
Поскольку настоящая статья в определенной мере продолжает иссле -
до вания, рассмотренные в статьях [7–9] и обсуждение в iMechanica также
относится к одной из этих статей [7], то ниже в весьма краткой форме
изложим основные результаты положения и выводы, содержащиеся в [7–9].
Указанные положения и выводы сгруппируем в три раздела.
I. Об оценке публикаций в периодических изданиях (в научных и
научно-технических журналах);
II. О представлении монографических изданий мировому научному
сообществу (об использовании информационных технологий, обеспечива ю -
щих свободный доступ к монографиям);
III. О становлении мирового научного информационного пространства
с краткой характеристикой отдельных составных частей.
1.1. Об оценке публикаций в периодических научных и научно-
технических журналах. В настоящее время общепризнанным подходом при
оценке научных публикаций в журналах является подход, основанный на
оценке по уровню цитируемости их в других публикациях в периодических
изданиях, которые входят в общепризнанные международные базы данных.
Наибольшим авторитетом в мире является Thomson Reuters Institute for
Scientific Information (сокращенно ISI), который уже около 50 лет проводит
работу по определению цитируемости публикаций в журналах, используя
свою международную базу данных. Следует отметить, что ISI имеет, по-
видимому, наиболее обширную базу данных, в которую входит информация
почти o 10000 журналах по различным научным направлениям. К основ -
ным информационным продуктам ISI, получившим наибольшее распростра -
нение в мире, можно отнести следующие:
Index Citation, который равен суммарному числу цитирования всех
публикаций отдельного ученого;
Impact Factor, который характеризует входящий в базу данных ISI
журнал в определенном году по числу цитирований статей журнала,
опубликованных на протяжении двух предыдущих лет;
27
А. Н. Гузь, Я. Я. Рущицкий
Essential Science Indicator, выделяющим статьи, которые получили
такое количество цитирований, что ставит их в списке статей по конкрет -
но му разделу науки в верхнюю часть списка, составляющую 1% от всех
статей в этом списке.
Более подробные сведения по процедурам составления Index Citation,
Impact Factor, Essential Science Indicator представлены в вышеупомянутых
статьях [7, 9].
Достаточно информативны также соответствующие статьи из
Википедии; к примеру, статья
http://en.wikipedia.org/wiki/Impact_factor
где также упомянуты еще две характеристики, которые ISI показы -
вает в своих таблицах с Impact Factor: Immediacy index и Cited half-life.
Примечание. Обе характеристики подобно характеристике Impact Factor
применяются к публикациям журнала определенного года. Первая характе -
ристика представляет собой число, равное отношению количества цитиро ва -
ния статей этого года к общему количеству статей этого года, и она обсужда -
лась в [9]. Вторая соответствует среднему возрасту статей журнала, которые
цитировались в текущем и предыдущих годовых докладах ISI по этому
журналу. К примеру, если для журнала Cited half-life в 2005 г. равен 10, то
это означает, что среднее значение цитирований статей журнала за годы
1996–2005 (за десять лет) равно половине числа цитирований статей журна -
ла в 2005 г. и другая половина цитирований относится к статьям до 1996 г.
Исчерпывающие сведения об указанных продуктах и об ISI в целом
приведены в
http://www.thomsonreuters.com/about (2)
http://www.thomsoreuters.com/products_services/scientific/ISI_Web_
of_Knowledge
http://www.thomsoreuters.com/business_units/scientific/free/essays/
citationindexing/history/
http://www.thomsoreuters.com/business_units/scientific/free/essays/
citationindexing/50y-citationindexing/
В настоящее время Impact Factor является наиболее распространенной
и общедоступной в мире оценкой научных журналов; не входящие в базу
данных ISI журналы такой оценки не имеют; информацию об Impact Factor
можно получить по адресу
http://www.thomsoreuters.com/business_units/scientific/free/essays/
journalcitationreports/impactfactor/ (3)
http://www.thomsoreuters.com/business_units/scientific /products/jcr/
Журнал "Прикладная механика – International Applied Mechanics"
имеет Impact Factor за 2005 год, равный 1,740, который является наивыс -
шим среди журналов, издаваемых в Украине и включенных в базу данных
ISI. Также по Impact Factor за 2005 год журнал "Прикладная механика –
28
К проблеме оценки научных публикаций
International Applied Mechanics" входит в первую десятку всех журналов по
механике всего мира (в 2005 г. в список ISI входило 110 журналов по меха -
ни ке). Три статьи журнала "Прикладная механика – International Applied
Mechanics" в 2000–2003 гг. отнесены к категории Essential Science Indi -
cator. Более подробные сведения по этому вопросу приведены в статье [9].
В заключение необходимо отметить, что в базу данных ISI включа ют -
ся только журналы, которые издаются на английском языке или перево -
дятся на английский язык. Таким образом, необходимым условием включе -
ния журнала в базу данных является его публикация на английском языке.
Достаточным условием является отнесение журнала к числу ведущих (по
мнению ISI) журналов. Исчерпывающая информация о журналах может
быть получена по адресу
http://www.thomsoreuters.com/business_units/scientific/free/essays
selectionofmaterial/journalselection/.
Из вышеизложенного соображения следует, что, несмотря на обще -
при нятое использование в мире Impact Factor в качестве оценки журналов,
эта оценка не является всеохватывающей и полностью исключающей
элементы субъективизма в силу указанных необходимого и достаточного
условий отбора журналов.
1.2. Представление мировому сообществу монографических изданий.
Во все годы развития научных исследований проявлялся и проявляется осо -
бый интерес к созданию монографий, поскольку монографии формируются
после анализа, осмысления и обобщения научных результатов, первона -
чаль но, как правило, опубликованных в виде статей и сообщений. Таким
образом, создание монографий можно считать наивысшей формой изложе -
ния научных результатов в продуманном и концентрированном виде, в
связи с чем ценность монографических изданий для последующих поколе -
ний не должна вызывать сомнений.
Необходимо отметить, что для монографических изданий в настоящее
время отсутствуют международные базы данных такого типа, как для пуб -
ли каций в периодических изданиях (например, база данных ISI). Сейчас,
как и в предыдущие годы развития научных исследований, процесс созда -
ния монографий естественным образом заканчивается представлением их в
публичные или частные библиотеки, где монографии могут быть востре бо -
ваны представителями нынешнего или последующих поколений исследо ва -
телей. Таким образом, монографии входят только в базы данных, основан -
ных на фондах ведущих библиотек мира. В настоящее время можно счи -
тать, что монографии в достаточной мере представлены мировому научному
сообществу и являются общедоступными, если специалисты в любой стране
мира (в любом научном центре) могут получить информацию об этих
монографиях и ознакомиться с их содержанием, используя современные
информационные системы. Отмеченная доступность через информационные
системы является одним из элементов информационного научного
пространства и представляет как бы новый аспект в работе ученых при
создании монографий.
Таким образом, старый тезис "пишите хорошие монографии и они
сами найдут своего читателя" следует заменить на новый "пишите хорошие
монографии и обеспечьте доступ читателя к ним". Обеспечение доступа
29
А. Н. Гузь, Я. Я. Рущицкий
понимается как обеспечение наличия монографий в ведущих библиотеках
мира, что гарантирует введение монографий в информационное научное
пространство (представление монографий мировому научному сообществу).
Сформулированная концепция по современной трактовке процесса
создания монографий была изложена в статье [8], где также в виде примера
приведена информация о реализации этой концепции применительно к
монографическим изданиям Института механики им. С.П. Тимошенко.
Ниже в краткой форме изложим эту информацию.
В настоящее время одной из крупнейших библиотек мира является
библиотека конгресса США (Library of Congress). Эта библиотека имеет
современную информационную систему (LIBRARY OF CONGRESS ONLINE
CATALOG), по которой через интернет по адресу
http://catalog.loc.gov/ (4)
можно получить информацию об изданиях, содержащихся в фондах
библиотеки.
Таким образом, можно считать, что все издания (периодические, мо -
но гра фи ческие и отдельные) из фондов библиотеки конгресса США, пред -
став лены мировому научному сообществу (включены в информационное
научное пространство).
В статье [7] приведен список 220 монографий сотрудников Института
механики им. С.П. Тимошенко НАН Украины, которые представлены в
библиотеке конгресса США; эти монографии включены в информационную
систему LIBRARY OF CONGRESS ONLINE CATALOG, по которой через
интернет по адресу (4) можно получить необходимую информацию.
Также в библиотеке конгресса США представлено и включено в
инфор мационную систему LIBRARY OF CONGRESS ONLINE CATALOG
шеститомное издание "Успехи механики – Advances of Mechanics" (тома 1–
3 уже опубликованы), подготовленное Институтом механики им. С.П. Ти -
мо шенко; это издание посвящено началу III-го тысячелетия и в его подго -
товке участвуют ученые из 25 стран. Дополнительные сведения по этому
изданию представлены в статье [10].
Журнал "Прикладная механика" на русском языке, начиная с № 1 за
2001 и по настоящее время также представлен в библиотеке конгресса США
и включен в информационную систему LIBRARY OF CONGRESS ONLINE
CATALOG.
Таким образом, можно считать, что монографии Института механики
им. С.П. Тимошенко представлены мировому научному сообществу (вклю -
чены в информационное научное пространство) посредством библиотеки
конгресса США и ее информационной системы.
1.3. О становлении мирового научного пространства. Как уже отмеча -
лось вначале, определяющим моментом при создании мирового научного
информационного пространства является возможность получения надежной
информации о полученных и опубликованных результатах в мире практи -
чески в масштабе реального времени. Определенный взгляд на становление
единого мирового информационного пространства предложен в статье [7],
основные положения которой изложим ниже.
По-видимому, основу научного информационного пространства состав -
ляет совокупность баз данных, оснащенных соответствующими информа ци -
он ными системами и подключенных к интернету. Для успешного и
30
К проблеме оценки научных публикаций
полезного функционирования информационного научного пространства на
всех этапах его становления должно выполняться непременное условие –
условие общедоступности, при наличии соответствующих технических
средств и, на отдельных этапах развития, при наличии необходимого
финансирования.
В [3] выделены три конкретных направления, относящиеся к
становлению научного информационного пространства и являющиеся, по-
видимому, достаточно определяющими, которые ниже сформулированы в
следующем виде.
Первое направление – создание общих баз данных различного харак -
тера, относящихся к многочисленным научным и научно-техническим
направ лениям, и обеспечение представительства в этих базах ведущих
научных коллективов всего мира.
Второе направление – создание строгой системы оценок научных
публикаций и участие в этой системе отдельных ученых и научных подраз -
делений; создание такой системы должно существенно способствовать
эффективности информационного поиска.
Третье направление – обеспечение определенного уровня объектив -
ности в цитировании научных публикаций, что должно привести к более
эффективному и надежному определению степени новизны публикуемых
результатов.
Первое и второе направления успешно развиваются; благодаря их
развитию и стало возможным получение результатов, краткая информация
о которых представлена в пп. 1.1 и 1.2 настоящего введения.
К сожалению, по третьему направлению ситуация осталась без изме -
не ний по сравнению с ситуацией, которая имела место до начала форми -
рования мирового научного информационного пространства (примерно до
последних двух десятилетий XX-го века). Подтверждением последнего,
очевидно неоптимистического, вывода являются два примера, приведенные
в [7], информацию о которых кратко приведем ниже.
В [7] рассмотрено два журнала: "International Journal of Solids and
Structures" (Impact Factor 2005 г. равен 1,289, позиция № 24 в рейтинге ISI
журналов по механике) и "Прикладная механика – International Applied
Mechanics" (Impact Factor 2005 г. равен 1,740, позиция №10 в рейтинге ISI
журналов по механике).
Оба журнала издаются на английском языке и входят в общую базу
данных ISI. Тем самым они в полной мере включены в мировое научное
информационное пространство. Можно также считать, что первое и второе
направления в становлении мирового научного пространства достигли
стопроцентной реализации применительно к указанным выше журналам.
В то же время, применительно к указанным выше журналам третье
направление в становлении мирового научного пространства не достигло
никаких успехов, о чем свидетельствуют два примера, подробный анализ
которых приведен в [7].
В этих двух примерах показано, что в журнале "International Journal
of Solids and Structures" в 2002 г. и 2006 г. опубликованы результаты, кото -
рые около 20–35 лет назад были уже опубликованы в журнале "Приклад -
ная механика – International Applied Mechanics"; причем ранее опублико -
ван ные результаты (1971–1986 гг.) получены в более общей постановке.
31
А. Н. Гузь, Я. Я. Рущицкий
В упомянутых публикациях журнала "International Journal of Solids and
Structures" за 2002 г. и 2006 г. не приведены никакие ссылки (цитирова -
ние) на результаты, опубликованные ранее в журнале "Прикладная
механика – International Applied Mechanics".
Эти примеры свидетельствуют о том, что уже в новом тысячелетии
была искажена информация о приоритетах в получении научных результа -
тов. Такие печальные факты умышленного или неумышленного повторения
ранее опубликованных результатов известен в истории науки давно, их
осуждение выражается в существовании законов о плагиате.
В былые времена (вплоть до последних двух десятилетий XX-го века)
изложенная выше неприятная ситуация комментировалась бы вполне при -
стой ным образом – для авторов первого журнала "не доступны" резуль таты,
опубликованные во втором журнале. В настоящее же время, когда уже
существует мировое научное информационное пространство, отмечен ный
вариант комментариев, по мнению авторов, является просто неумест ным.
По-видимому, неприятные ситуации, подобные приведенной выше,
объясняются весьма просто – некоторые авторы до публикации статей не
проводят надлежащего информационного поиска, используя возможности
мирового научного информационного пространства.
Данное явление имеет еще одну, не менее важную сторону – в резуль -
тате таких повторных публикаций в мировое научное информа цион ное
прост ранство вносится ошибочная (искаженная) информация о степени
новизны полученных результатов, что влечет за собой необъективность
после дующих цитирований. Поскольку уровень цитируемости является
осно вой для всех общепринятых в настоящее время оценок научных публи -
каций, то итоговое искажение новизны (авторских прав) и справедливого
уровня цитируемости будет очень существенным.
На основании рассмотренных примеров в [7] сделаны следующие три
вывода.
1. Проблема обеспечения объективности в публикациях в журналах
существует и является актуальной.
2. В процессе становления информационного научного пространства
проблема объективности цитирования является наиболее слабым звеном.
3. Подходы к обеспечению объективности цитирования в журналах
еще не разработаны.
Основываясь на этих выводах, в [7] предложено ввести в структуру
научных статей дополнительную позицию:
НОВИЗНА РЕЗУЛЬТАТОВ И ОБЪЕКТИВНОЕ ЦИТИРОВАНИЕ В
ЭТОЙ СТАТЬЕ ОБЕСПЕЧИВАЕТСЯ БАЗОЙ ДАННЫХ ( ) (5)
NOVELTY OF RESULTS AND OBJECTIVE CITATION IN THIS
PAPER ARE CONFIRMED BY THE DATABASE ( )
Авторы каждой статьи помещают в круглых скобках название между -
на родной базы данных, в пределах которой авторы произвели инфор -
мационный поиск; при этом за результаты информационного поиска несут
ответственность, естественно, авторы публикуемой статьи.
Введение такого пункта обязывало бы авторов статей проводить
информационный поиск, что, в свою очередь, повышало бы достоверность
32
К проблеме оценки научных публикаций
формулировки степени новизны публикуемых результатов и обеспечивало
бы повышение уровня объективности цитирования. Комментарий обсуж -
дения отмеченного предложения в очень популярном интернет-журнале
iMechanica наряду с более полным его изложением представлен в
следующем параграфе.
Таким образом, настоящая статья посвящена дальнейшему анализу
предложения по введению в структуру научных статей дополнительного
пункта, обсуждению новых критериев в оценке научных публикаций от -
дель ного ученого и отдельного научного журнала, а также информации об
обсуждении математическим сообществом проблемы оценки научных пуб -
ли каций. Сведения, представленные в пп. 1.1–1.3 введения, имеют вспо ма -
га тельный характер и дают возможность в последующих трех параграфах
сосредоточиться на изложении основных сведений по рассматриваемым
вопросам.
2. Анализ обсуждения в интернете предложения Института механики
им. С.П.Тимошенко НАН Украины.
Как уже отмечалось в начале введения, в июле 2007 г. в интернет-
журнале iMechanica, Web of mechanics and mechanicians состоялось
обсуждение предложений из статьи [7] о введении в научных статьях новой
рубрики (позиции, пункта) (5), стимулирующей повышение ответственности
авторов статей за новизну публикуемых результатов и объективность
цитирования. Тема обсуждения была определена следующим образом:
"Objective citation – a proposal from the Timoshenko Institute", "Объектив -
ное цитирование – предложение от Института им. С.П. Тимошенко".
2.1. О журнале iMechanica, Web of mechanics and mechanicians.
Прежде всего, это журнал электронный и доступный только по адресу
http://imechanica.org/.
Основную цель журнала организаторы формулируют таким образом:
1) to use the Internet to enhance communication among mechanicians;
использовать интернет для улучшения общения между механиками;
2) to pave a way to evolve online all knowledge of mechanics.
прокладывать путь для развития науки механики в режиме онлайн.
Журнал пользуется сервером Гарвардской школы инженерных и
прикладных наук (Harvard School of Engineering and Applied Sciences).
Журнал декларирует свободный доступ: механики могут свободно писать
сообщения и заявлять свою позицию; читателем может быть каждый
зашедший на страницу.
Более полно информацию о журнале можно получить по адресу
http://imechanica.org/about
2.2. О предложении (5). Рассмотрим некоторые аспекты предложения
(5). Прежде всего, аспект исторический, т.е. существовала ли ранее необхо -
ди мость в морально-этической ответственности авторов научных публи ка -
ций за новизну результатов и объективность цитирования. Да, существо ва -
ла всегда, однако инструменты для регулирования в области морально-
этической – не всегда доступны. К примеру, если автор – человек религиоз -
ный, то инструменты во всех религиях есть. Так возникает следующий
аспект – аспект наличия инструментов или аспект реализуемости предло -
жения (5). Возможность реализуемости появилась только с возникновением
33
А. Н. Гузь, Я. Я. Рущицкий
мирового информационного пространства – возник инструмент в виде
общедоступных баз данных. В случае записи (5) в декларированную автором
базу данных может зайти любой ученый, прежде всего, рецензенты, и при
наличии несоответствий декларации и реальной ситуации вопрос для автора
кроме сферы морально-этической, дополняется сферой почти юридической.
Третий аспект тоже достаточно щепетильный – ущемляет ли права авторов
запись (5) в тексте статьи. Скорее наоборот, предложение (5) демократично
по своей сущности, поскольку выражает большую открытость в вопросе о
новизне результатов и объективности цитирования. Аспект четвертый
затрагивает понятие профессионализма – каждый ученый-профессионал по
определению знает работы коллег по тематике, в которой он декларирует
новый результат, даже если эти работы содержатся в разных базах данных.
Так что дополнительные сложности могут возникнуть только в узкой
группе начинающих ученых, не осознающих положительные стороны обще -
доступных баз данных. И наконец последний аспект, возникший только с
появлением крупных баз данных, которыми пользуются все ученые.
Отдельные несущие дезинформацию публикации с фактами недобросовест -
ности в декларировании новизны результатов и необъективности
цитирования при помещении в крупные базы данных множат эту
дезинформацию многократно. Так что реализация предложения (5) имеет
целью также уберечь крупные базы данных от неверной информации.
2.3. О дискуссии "Objective citation – a proposal from the Timoshenko In -
sti tute", "Объективное цитирование – предложение от Института им. Тимо -
шенко" в iMechanica – текст дискуссии без изменений и сокращений пред -
ставлен в журнале "Прикладная механика" (т. 45, № 3. – 2009. – С. 1–18).
3. Информация о новых критериях оценки публикаций.
Как уже отмечалось во введении (п.1.1), в настоящее время наиболее
распространенными и общедоступными критериями оценки публикаций
каждого ученого является.
Personal Index of Citations и каждого журнала – Impact Factor. Они,
как и другие информационные продукты Thomson Reuters/ISI, основаны на
показателях цитиру-емости публикаций отдельного ученого или отдельного
журнала. В последнее время также предлагаются и применяются другие
критерии оценки публикаций отдельного ученого или отдельного журнала.
При этом все они также основаны на показателе цитируемости публикаций.
В качестве примера ниже приводится информация о двух новых критериях:
h-index и g-index.
3.1. Информация об h-index. В этом пункте кратко описана характе -
ристика в виде одного числа, так называемый h-index или Hirsch index или
Hirsch number, которая применяется от недавнего времени Thomson
Reuters/ISI при оценке научных публикаций отдельного ученого. Она до -
пол няет в настоящее время всем известную количественную оценку "персо -
нальный индекс цитирования" – "Personal Index of Citations" [6, 7, 9]. Эта
оценка тоже имеет вид одного числа, равного сумме цитирований отдель -
ных публикаций (статей, монографий) ученого в научных журналах из базы
Thomson Reuters/ISI. Стандартная процедура получения информации о
персо нальной оценке научных публикаций в ISI_Web_of_Knowledge
состоит только во внесении фамилии ученого, далее система выдает "Cited
Reference Index" – таблицу со списком публикаций (полные данные о
34
К проблеме оценки научных публикаций
публикации: автор, название, журнал, год, том, выпуск, страницы (или
книга, год, количество ссылок). Общее количество необходимо считать
самому, соответствующее число и есть Personal Index of Citations. Также
перед таблицей теперь указывается h-index данного ученого.
Самый простой способ ознакомиться с h-index состоит в чтении соот вет -
ствующей статьи в общедоступной электронной энциклопедии, которая сейчас
руссифицирована и украинизирована (ниже указан английский вариант)
http://en.wikipedia.org/wiki/H-index.
Приведем здесь определение Хирша [11], повторенное в Википедии:
ученый имеет индекс h, если h из его Np статей имеют, по крайней мере, h
цитирований, и остальные (Np – h) статей имеют не более чем h цитиро -
ваний каждая.
Если сформировать список опубликованных работ, в котором первый
номер в списке занимает статья с самым большим числом цитирования, и
далее располагать статьи по порядку убывания числа цитирования, то h-
index (число Хирша) автора статей будет равно тому номеру статьи в
списке, который совпадает с числом цитирования этой статьи (если не
совпадает, то следующий номер должен быть больше соответствующего ему
числа цитирований).
Число Хирша объединяет, таким образом, две характеристики – число
публикаций и число цитирования этих публикаций.
Как обычно, в разных источниках (в том числе, и в Википедии)
приводятся как преимущества введения h-index, так и его недостатки.
Хирш приводит убедительный довод, что введение h-index освобож -
дает автора от составления полного списка его публикаций с указанием
цити ро ваний по каждой публикации. Автор в этом случае должен знать
только цитирование работ с высоким уровнем цитирования, а их обычно
значительно меньше.
Хирш предлагает эмпирическую формулу зависимости общего числа
цитируемых работ от числа Хирша
Np = a h2, (6)
где коэффициент a изменяется в пределах от 3 до 5.
Будучи физиком, Хирш рассматривал свою оценку применительно к
работам по теоретической физике. В ряду критических замечаний указы ва -
ется и такое, что для разных областей науки h-index будет разным, притом
существенно. Поэтому и в ISI_Web_of_Knowledge указывается, что сравни -
вать по h-index можно только ученых из одной и той же области науки.
Одним из часто упоминаемых недостатков числа Хирша является его
нечувствительность к числу цитирований выше и ниже номера публикации,
по которому h-index определяется. К примеру, если h= 13, то все публика ции
с меньшими номерами могут иметь по 13 цитирований или по 130 цити -
рований, тогда как публикации с большими номерами могут вообще не иметь
цитирований или последующие 10 могут иметь число цитирований 12 каждая.
По мнению авторов, критерий h-index имеет еще один весьма сущест -
венный недостаток ввиду существования в отдельных регионах следующей
ситуации: с одной стороны, высокий h-index могут иметь крупнейшие
ученые, работы которых известны во всем мире; с другой стороны, такой же
h-index может иметь руководитель коллектива, который длительное время
занимается актуальной только в регионе достаточно узкой и конкретной
35
А. Н. Гузь, Я. Я. Рущицкий
проблемой, поскольку многочисленные члены коллектива будут ссылаться
на публикации своего руководителя.
3.2. Информация о g-index. Для учета высоких и неодинаковых уров ней
цитирования в верхней части списка статей L.Egghe предложил g-index [13]:
если список опубликованных работ сформирован так, что первый
номер в списке занимает статья с самым большим числом цитирования, и
далее расположены статьи по порядку убывания числа их цитирования, то
g-index автора статей равен номеру статьи g в списке, квадрат которого g2
не меньше суммарного числа цитирования C1 + ... + Cg всех статей с
номерами ≤ g, при этом (g + 1)2 > C1 + ... + Cg.
Очевидно, что практически всегда g > h.
Более полно сведения о g-index изложены в
http://en.wikipedia.org/wiki/G-index.
Необходимо заметить, что h-index используется во многих информа ци -
онных системах; в частности, в Google Scholar. Как известно [12], сравнение
Thomson Reuters/ISI и Google Scholar показывает, что Google Scholar исполь -
зует более широкую базу данных, которая, в отличие от Thomson Reu ters/ISI
включает цитирования в книгах, трудах конференций и науч ных отчетах, а
также в журналах, не входящих в базу данных Thomson Reuters/ISI. Но база
данных Thomson Reuters/ISI не содержит указанных данных по причине
недостаточного доверия к научной достоверности таких публикаций (иногда
их называют серыми публикациями). Если эта позиция Thomson Reuters/ISI
достаточно приемлема, то две следующие подверга ют ся критике: в базу
данных ISI не включены журналы, издаваемые не на анг лий ском языке;
заметно смещение в сторону журналов, издаваемых в США.
Также отметим, что h-index и g-index используются в настоящее
время и для составления рейтингов научных журналов [12] как альтерна -
тива (или дополнение) Impact-Factor. Применение к журналам этих индек -
сов означает изменение используемого списка – теперь это не список публи -
каций данного ученого, а список публикаций данного журнала.
Интересно, что корреляция между рейтингами журналов по Impact-
Factor и по h-index, g-index достаточно хорошая [12].
4. О современных инструментах количественного оценивания науч -
ных результатов и их критическом анализе.
В предыдущих разделах уже обсуждались часто используемые (базо -
вые) характеристики статистической природы. Они предложены достаточно
давно и уже продолжительное время используются Thomson Reuters / ISI
для сопоставления отдельных ученых и отдельных научных журналов
(установления рейтингов научных работников и научных журналов).
В этом разделе представляется целесообразным привести некоторые
инте ресные результаты из пространного и обстоятельного отчета, как
пишут авторы, "о правильном и неправильном использовании данных о
цити ровании в оценке научных исследований" [5]. Отчет подготовлен тремя
представительными математическими организациями (International
Mathema tical Union, International Council of Industrial and Applied
Mathematics, Institute of Mathematical Statistics) и представляет как-бы
обобщенную позицию мирового математического сообщества.
4.1. Данные о цитировании полезны, информативны, но недостаточ -
ны для объективной оценки ученых, проектов, журналов, коллективов.
36
К проблеме оценки научных публикаций
Данные о цитировании отдельных ученых их коллегами и данные о цитиро -
вании статей определенного научного журнала в других научных журналах
весьма полезны и популярны в последнее время, поскольку позволяют
"объективно" (с помощью одного или нескольких чисел) оценивать полез -
ность результатов деятельности ученых и научных журналов. Они возникли
частично как результат недовольства научного сообщества на часто
необъективные оценки с помощью мнений экспертов.
Публикации ученых оцениваются и сейчас не только по цитированию.
Такие способы оценки как приглашение к сотрудничеству (кратковре мен -
ному – на семинар или более длительному – для чтения цикла лекций или
совместной научной работы), привлечение к работе редакционных коллегий
или круга рецензентов, присуждение научных премий, получение престиж -
ных грантов и т.п., всегда понимались как признание высокого качества
результатов научной деятельности ученого. Они должны приниматься во
внимание параллельно с оценками на базе статистик о цитировании. Как
остроумно цитируют авторы A. Ейнштейна, "Everything should be made as
simple as possible, but not simpler" – "Все должно быть сделано как можно
проще, но не еще проще".
4.2. Применение Impact Factor в математике и близких к ней науках
должно корректироваться. Прежде всего, это касается двухлетнего окна в
вычислении Impact Factor. Показано, что в это окно попадают только 10%
всех цитирований в математических журналах, тогда как окна в пять и
десять лет более представительны, достаточно близки друг к другу и более
соответствуют практике цитирований в математике (хотя и повторяют
тенденцию окна в два года).
Вторая особенность математических публикаций, состоит в том, что
математики "видят" чужие публикации с большей задержкой, чем их
коллеги в других науках, и более сдержанно и обоснованно цитируют друг
друга. Поэтому Impact Factor математических журналов колеблется в
окрестности единицы (не превосходит 2,5 и не падает ниже 0,5).
По данным на 2000 год, средние значения числа цитирований на одну
статью (т.е. Impact Factor) в разных науках очень различны. Математика
характеризуется наименьшим значением, немного меньшим единицы.
Наука о материалах (куда входит и механика, по классификации авторов
доклада) весьма близка по этому показателю к математике и характери -
зуется величиной 1,2. При этом для физики эта величина уже равна
примерно 3, науки о жизни (биология, биохимия, иммунология, генетика,
физиология, экология и т. п.) достигают величины более 6. Соотношение
между науками сохраняется примерно таким же и до сих пор.
4.3. Рейтинг (Impact Factor) математического журнала не свидетель -
ствует о таком же качестве (рейтинге) отдельной публикации в этом журна -
ле. Необходимость в утверждении отсутствия прямой связи между прести -
жем журнала и престижем отдельной статьи возникла из-за "неявного
поощрения" Thomson Reuters / ISI применять Impact Factor при конкурсах
в университетах и повсеместной практики такого приме нения. В докладе
убедительно демонстрируется примерно одинаковый научный уровень
статей в двух известных математических журналах: Proceedings of the AMS
(публикует короткие статьи) и Transactions of AMS (публикует длинные
статьи). Тогда как соответствующие Impact Factor равны 0,434 и 0,846.
37
А. Н. Гузь, Я. Я. Рущицкий
4.4. Следует задуматься о смысле цитирования или как необъек тив -
ное цитирование порождает необъективность в оценках научных публика -
ций. Во всех серьезных дискуссиях об использовании цитирования в оценке
научной продукции возникает два вопроса: что означает цитирование и как
формируется список цитируемой литературы?
Thomson Reuters / ISI исходит из того, что качество информации дол -
ж ны определять те, кто ее использует и лучшим способом измерения
качест ва научной публикации является измерение влияния, которое статья
оказала на научное сообщество.
Также еще основатель Thomson Reuters / ISI E. Garfield считал, что
"если исследователь цитирует журнальную статью, то это означает, что
цитируемый журнал в некотором смысле повлиял на него".
Подводя итоги своей 50-летней деятельности, Thomson Reu ters /ISI обоз -
начил, что "цитирования являются признанием интеллек ту ального долга".
Эти и им подобные формулировки основаны на идеалистическом
восприятии цитирований в журнальных статьях как абсолютно рацио -
нально, ответственно и объективно сформированных. В жизни это не так.
В упоминаемой ранее работе [14] и ряде последующих [5] показано,
что реально при подготовке научных статей реализуются или одна из двух
систем – система вознаграждения и система риторическая – или
компоненты обеих систем вместе. Согласно первой системе, автор цитирует
статью или книгу в знак признания, что они произвели определенное влия -
ние на процесс получения научного результата, предложенного в статье.
Вторая система как риторическая имеет целью красивое и последовательное
изложение научного результата, в ней могут цитироваться предыдущие
работы, относящиеся к научному направлению и не имеющие прямого
отношения к результатам данной статьи. Цитирование может выражать
общую эрудицию автора статьи в данном направлении и тогда цитируемые
работы совсем не выражают признание автором интеллектуального долга.
Интересно, что в большинство статей в цитировании придерживаются
риторической системы. В математике такая ситуация считается типичной.
К примеру, в базе данных Math Reviews из трех миллионов цитирований
30% цитирований приходится на книги.
Примечание. Повторим здесь точку зрения авторов настоящей ста -
тьи: в список литературы к конкретной статье целесообразно вклю чать
только источники, имеющие непосредственное отношение к теме статьи
и способствующие определению степени новизны излагаемых результатов.
В целом, цитирование есть процесс достаточно субъективный, по -
сколь ку много причин личностного характера, не связанных с интел лек -
туальным долгом или прямым отношением цитируемой статьи к предмету
статьи, влияют на факт внесения или невнесения источника в список
цитированной литературы. Однако многие уверены, что основанная на
статистике цитирования оценка может заменить иные оценки (например,
экспертную оценку рецензентов). К примеру, именно так утверждается в
докладе, подготовленном фирмой Evidence Ltd (http://www.evidence.co.uk
)для университетов Великобритании. Фирма работает с базой данных
Thomson Reuters / ISI. В предисловии председатель комитета по политике
исследований (Research Policy Committee) университетов Объединенного
Королевства профессор Э.Томас подчеркивает, что в 2008 основанные на
38
К проблеме оценки научных публикаций
цитировании числовые оценки (библиометрические оценки) уже будут ис -
поль зоваться для оценки и финансирования университетских исследований.
В докладе отмечается, что составители доказали, что библиометрические
техники могут создать такие признаки качества исследования, которые
конгруэнтны с восприятием исследователей.
Математики утверждают, что аргумент относительно основанных на
цитировании статистиках о замене ими других методов оценивания, по -
сколь ку часто совпадают с ними, представляется ошибочным, несмотря на
повсеместное использование этого аргумента.
В заключение, повторим аргументы относительно важности квалифи -
ци ро ванного, добросовестного объективного составления списка цитирова -
ний в каждой статье: отдельные несущие дезинформацию публикации с
фактами недобросовестности в декларировании новизны результатов и
необъективности цитирования при помещении в крупные базы данных
множат эту дезинформацию многократно; так что реализация предложения
(5) имеет целью также уберечь крупные базы данных от неверных данных.
1. Наука України у світовому інформаційному просторі / Під ред Я.С. Яцківа. – вип.
1, 2008. – 96 c.
2. Прикладная механика: информационное издание: 50 лет журнала (Издание в 2-х
томах). – Киев: «А.С.К.», 2006. – Т. 1. – 536 с.; Т. 2. – 432 с.
3. Успехи механики: В 6-ти томах. Под общей редакцией А.Н. Гузя. – К.: «АСК». Т.1,
2005. – 776 с.; Т.2, 2006. – 832 с.; Т.3, 2007. – 752 с.; Т. 4, 2008. – 710 с.
4. Adler R., Ewing J., Taylor P. Citation Statistics. Report of the Joint Committee on
Quantitative Assessment of Research from IMU, ICIAM and IMS. – 2008. – P. 1–26.
5. Carey A., Cowling M.G., Taylor P.G. Assessing research in the mathematical sciences //
Gazette of the Austral. Math. Soc. – 2007. – 34, N 2. – P. 84–89.
6. Garfield E. Citation analysis as a tool in journal evaluation // Science. – 1972. – 178
(4060). – P. 471–479.
7. Guz A.N. On the Evolution of the Scientific Information Environment // Int. Appl.
Mech. – 2006. – 42, N 11. – P. 1203–1222.
8. Guz A.N., Rushchitsky J.J. Presentation to Scientific Community of Monographs of
S.P. Timoshenko Institute of Mechanics // Int. Appl. Mech. – 2006. – 42, N 3. – P. 247–290.
9. Guz A.N., Rushchitsky J.J., Chernyshenko I.S. On Modern Philosophy of Estimating the
Scientific Publications // Int. Appl. Mech. – 2005. – 41, N 10. – P. 1246–1253.
10. Guz A.N., Rushchitsky J.J., Chernyshenko I.S. On the Six-Volume Series Uspekhi
Mekhaniki (Advances of Mechanics) // Int. Appl. Mech. – 2007. – 43, N 11. – P. 1185–1195.
11. Hirsch J.E. An index to quantify an individual's scientific research output // Proc.
Nation. Acad. Sci. USA. – 2006. – 102, N 46. – P. 16569–16573.
12. Harzing A.W., van der Wal R. A Google Scholar H-index for Journals: A Better Metric
to Measure Journal Impact in Economics & Business? // Proc. 2008 Academy of Management
Annual Meeting, August 8 – 13, 2008, Anaheim, CA, USA. – P. 101–134.
13. Egghe L. Theory and practice of g-index // Scientometrics. – 2006. – 69, N 1. –
P. 131–152.
14. Cozzens S.E. What do citations count? The rhetoric-first model // Scientometrics. –
1989. – 15, N 5 – 6. – P. 437–447.
Гузь Олександр Миколайович – академік НАН України, директор
Інституту механіки ім. С. П. Тимошенка НАН України, головний
редактор журналу "Прикладная механика"
Рущицький Ярема Ярославович – доктор фізико-математичних
наук, завідувач відділом реології Інституту механіки ім. С. П. Тимошенка
НАНУкраїни, заступник головного редактора журналу "Прикладная
механика"
А. Н. Гузь, Я. Я. Рущицкий
|