Наукометрія та управління науковою діяльністю: вкотре про світове та українське

Метою цієї роботи є короткий огляд проблеми використання в Україні наукометричних показників для оцінювання результатів наукової діяльності. Обговорено особливості вживання ключових наукометричних термінів у нормативних документах. Наведено низку прикладів, що ілюструють неоднозначність застосуван...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2019
Автори:	Мриглод, О.І., Назаровець, С.А.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Видавничий дім "Академперіодика" НАН України 2019
Назва видання:	Вісник НАН України
Теми:	Наукометрія і видавнича справа
Онлайн доступ:	http://dspace.nbuv.gov.ua/handle/123456789/160450
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Наукометрія та управління науковою діяльністю: вкотре про світове та українське / О.І. Мриглод, С.А. Назаровець // Вісник Національної академії наук України. — 2019. — № 9. — С. 81-94. — Бібліогр.: 49 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-160450
record_format	dspace
spelling	irk-123456789-1604502019-11-07T01:25:35Z Наукометрія та управління науковою діяльністю: вкотре про світове та українське Мриглод, О.І. Назаровець, С.А. Наукометрія і видавнича справа Метою цієї роботи є короткий огляд проблеми використання в Україні наукометричних показників для оцінювання результатів наукової діяльності. Обговорено особливості вживання ключових наукометричних термінів у нормативних документах. Наведено низку прикладів, що ілюструють неоднозначність застосування окремих індикаторів для порівняння авторів, колективів, установ та наукових журналів. Автори звертають увагу на те, що в національній системі оцінювання результатів наукової діяльності потрібно знайти баланс між експертною оцінкою та впровадженням кількісних методів оцінювання, а також наголошують на неприйнятності маніпуляцій наукометричними термінами і поняттями. The main purpose of the paper is to perform a short review on the problem of implementation of scientometric indicators for research evaluation in the context of Ukraine. Peculiarities of usage of key scientometric terms in normative documents are examined. A number of case studies are given to illustrate the ambiguity of application of particular indicators in order to rate authors, research groups, institutions or scientific journals. The importance of balance between expert evaluation and quantitative analysis in the national system of research evaluation is highlighted, and the inadmissibility of any manipulations of scientometrical terms and notions is underscored. 2019 Article Наукометрія та управління науковою діяльністю: вкотре про світове та українське / О.І. Мриглод, С.А. Назаровець // Вісник Національної академії наук України. — 2019. — № 9. — С. 81-94. — Бібліогр.: 49 назв. — укр. 0372-6436 DOI: doi.org/10.15407/visn2019.09.081 http://dspace.nbuv.gov.ua/handle/123456789/160450 uk Вісник НАН України Видавничий дім "Академперіодика" НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Ukrainian
topic	Наукометрія і видавнича справа Наукометрія і видавнича справа
spellingShingle	Наукометрія і видавнича справа Наукометрія і видавнича справа Мриглод, О.І. Назаровець, С.А. Наукометрія та управління науковою діяльністю: вкотре про світове та українське Вісник НАН України
description	Метою цієї роботи є короткий огляд проблеми використання в Україні наукометричних показників для оцінювання результатів наукової діяльності. Обговорено особливості вживання ключових наукометричних термінів у нормативних документах. Наведено низку прикладів, що ілюструють неоднозначність застосування окремих індикаторів для порівняння авторів, колективів, установ та наукових журналів. Автори звертають увагу на те, що в національній системі оцінювання результатів наукової діяльності потрібно знайти баланс між експертною оцінкою та впровадженням кількісних методів оцінювання, а також наголошують на неприйнятності маніпуляцій наукометричними термінами і поняттями.
format	Article
author	Мриглод, О.І. Назаровець, С.А.
author_facet	Мриглод, О.І. Назаровець, С.А.
author_sort	Мриглод, О.І.
title	Наукометрія та управління науковою діяльністю: вкотре про світове та українське
title_short	Наукометрія та управління науковою діяльністю: вкотре про світове та українське
title_full	Наукометрія та управління науковою діяльністю: вкотре про світове та українське
title_fullStr	Наукометрія та управління науковою діяльністю: вкотре про світове та українське
title_full_unstemmed	Наукометрія та управління науковою діяльністю: вкотре про світове та українське
title_sort	наукометрія та управління науковою діяльністю: вкотре про світове та українське
publisher	Видавничий дім "Академперіодика" НАН України
publishDate	2019
topic_facet	Наукометрія і видавнича справа
url	http://dspace.nbuv.gov.ua/handle/123456789/160450
citation_txt	Наукометрія та управління науковою діяльністю: вкотре про світове та українське / О.І. Мриглод, С.А. Назаровець // Вісник Національної академії наук України. — 2019. — № 9. — С. 81-94. — Бібліогр.: 49 назв. — укр.
series	Вісник НАН України
work_keys_str_mv	AT mriglodoí naukometríâtaupravlínnânaukovoûdíâlʹnístûvkotreprosvítovetaukraínsʹke AT nazarovecʹsa naukometríâtaupravlínnânaukovoûdíâlʹnístûvkotreprosvítovetaukraínsʹke
first_indexed	2025-07-14T13:05:30Z
last_indexed	2025-07-14T13:05:30Z
_version_	1837627690826334208
fulltext	ISSN 1027-3239. Вісн. НАН України, 2019, № 9 81 НАУКОМЕТРІЯ ТА УПРАВЛІННЯ НАУКОВОЮ ДІЯЛЬНІСТЮ: ВКОТРЕ ПРО СВІТОВЕ ТА УКРАЇНСЬКЕ Метою цієї роботи є короткий огляд проблеми використання в Україні на- укометричних показників для оцінювання результатів наукової діяльнос- ті. Обговорено особливості вживання ключових наукометричних термінів у нормативних документах. Наведено низку прикладів, що ілюструють неоднозначність застосування окремих індикаторів для порівняння авто- рів, колективів, установ та наукових журналів. Автори звертають увагу на те, що в національній системі оцінювання результатів наукової діяль- ності потрібно знайти баланс між експертною оцінкою та впроваджен- ням кількісних методів оцінювання, а також наголошують на неприйнят- ності маніпуляцій наукометричними термінами і поняттями. Ключові слова: оцінка досліджень, наукометрія, Scopus, Web of Science, h-індекс, журнальні метрики. Про науку та її оцінювання в Україні. Процедура незалеж- ного рецензування рукописів експертами у відповідній галузі є основою сучасної оцінки наукових досліджень. На думку ба- гатьох дослідників, такий підхід наразі залишається найбільш надійним способом забезпечити збалансоване і справедливе оцінювання [1]. Проте система рецензентів — це система лю- дей, відтак, у ній є місце для суб’єктивності, а інколи й упе- редженості щодо тих чи інших аспектів [2]. Та й саме явище рецензування нечасто виступає об’єктом аналізу, особливо кількісного [3]. Крім того, залучення експертів, надто для про- ведення масштабних процедур оцінювання наукової діяльності (наприклад, на національному рівні), потребує тривалого часу та значних капіталовкладень. Тому активно розробляються, обговорюються та використовуються й інші методи, зокрема кількісний аналіз бібліометричних та інших релевантних до науки даних. Уже є чимало робіт, присвячених дослідженню кореляцій між експертними оцінками та кількісними індикато- рами (напр., [4, 5]), проте одностайності досягнуто наразі лише у висновку, що наукометрики не можуть розглядатися як замі- на експертній оцінці, а є лише комплементарними до неї. Національні системи оцінювання наукової успішності впро- ваджено у багатьох країнах: приймаючи ті чи інші «правила МРИГЛОД Олеся Ігорівна — кандидат технічних наук, старший науковий співробітник лабораторії статистичної фізики складних систем Інституту фізики конденсованих систем НАН України НАЗАРОВЕЦЬ Сергій Андрійович — кандидат наук із соціальних комунікацій, заступник директора з наукової роботи Державної науково-технічної бібліотеки України НАУКОМЕТРІЯ НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВАІ ВИДАВНИЧА СПРАВА doi: https://doi.org/10.15407/visn2019.09.081 82 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА гри», наукові установи повинні звітувати за отримане державне фінансування [6]. Саме принципу обережного використання кількіс- них методів при організації аудиту та моні- торингу наукової сфери дотримуються у ба- гатьох європейських країнах [7, 8]. Бібліоме- тричні дані та інформація з альтернативних джерел (соціальних мереж, блогосфери, медіа тощо) можуть бути корисними при намаганні оцінити значення отриманих результатів не тільки безпосередньо для науки, а й для розви- тку промисловості та суспільства в цілому. В Україні активно впроваджується практи- ка використання баз даних наукових цитувань, бібліометрії та інструментарію наукометрії у процесі оцінювання результатів наукової ді- яльності окремих вчених, наукових колективів та журналів. Так, наведення деяких наукоме- тричних показників необхідне при поданні за- явок для участі в конкурсі науково-дослідних робіт, написанні щорічних звітів про діяльність освітніх та наукових установ: • відповідно до вимог Положення про про- ведення Міністерством освіти і науки України Конкурсу проектів наукових робіт та науково- технічних розробок, учасники конкурсу, крім кількості публікацій у виданнях, які представ- лені у різних реферативних базах даних, по- вин ні вказати також індекс Гірша авторів про- екту та SNIP видань, у яких автори проекту пуб лікували статті [9]; • згідно з Порядком формуванням Перелі- ку наукових фахових видань України, наукові періодичні видання України, що індексують- ся у базах Scopus та/або Web of Science Core Collection, включаються до цього переліку без додаткового оцінювання [10]; • у Методиці оцінювання ефективності ді- яльності наукових установ НАН України вра- ховуються статті у журналах, що індексуються Таблиця 1. Згадування наукометричних показників та джерел даних для проведення наукометричного аналізу в українських нормативних документах, що регулюють процес оцінювання наукової успішності вчених, колективів, видань та установ на національному рівні Нормативний документ Наукометричні показники Джерела даних «Про затвердження Ліцензійних умов прова- дження освітньої діяльності» (постанова КМУ від 30.12.2015 № 1187) Кількість публікацій; кількість журналів; h-index Scopus; Web of Science Core Collection; інші БД «Про затвердження Порядку присвоєння вчених звань науковим і науково-педагогічним працівни- кам» (наказ МОН України від 14.01.2016 № 13) Кількість публікацій Scopus; Web of Science Методика оцінювання ефективності діяльності наукових установ НАН України (постанова Президії НАН України від 15.03.2017 № 75) Кількість публікацій; h-index Web of Science; Scopus; Google Scholar; інші БД «Про затвердження Положення про проведення …Конкурсу проектів наукових робіт та науково- технічних (експериментальних) розробок...» (наказ МОН України від 14.12.2015 № 1287) Кількість публікацій; h-index; SNIP Web of Science; Scopus; Google Scholar; інші БД «Про затвердження Порядку формування Переліку наукових фахових видань України» (наказ МОН України від 15.01.2018 № 32) Кількість публікацій; h-index; імпакт-фактор; SNIP; SJR Scopus; Web of Science Core Collection; інші БД «Про опублікування результатів дисертацій на здобуття наукових ступенів доктора і кандида- та наук» (наказ МОНмолодьспорту України від 17.10.2012 № 1112) Кількість публікацій Інші БД; Scopus; Web of Science «Деякі питання реалізації статті 54 Закону України «Про вищу освіту» (постанова КМУ від 19.08.2015 № 656) Кількість публікацій Не уточнюється ISSN 1027-3239. Вісн. НАН України, 2019, № 9 83 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА «провідними базами публікацій» Web of Sci- ence, Scopus, Google Scholar та ін. [11]. В українських нормативних документах, що регулюють процес оцінювання наукової успіш- ності вчених, колективів, видань та установ на національному рівні (табл. 1), не зазначено, для чого саме збираються і як потім викорис- товуються запитувані метрики, але оскільки в результаті проведення таких кількісних оці- нювань і порівнянь обраним вченим, виданням та установам надають певні переваги (іміджеві чи фінансові), можна стверджувати, що на- укометричні показники використовуються як критерії оцінки наукової успішності. Проте, на відміну від найкращих світових практик, у ві- тчизняних методиках оцінювання обмеження щодо використання кількісних метрик пропи- сано не так чітко. Більше того, можна спосте- рігати намагання застосувати інструментарій наукометрії без розуміння того, на вирішення яких завдань він спрямований. Проблема коректності використання науко- метрії є дуже широкою — від суто змістових неточностей при вживанні тих чи інших термі- нів або визначень до більш серйозних питань, що стосуються використання розроблених на- укометричних інструментів відповідно до їх призначення. Ці два аспекти детальніше обго- ворено нижче. Використання наукометричних термі- нів. Наукометрія є окремою дисципліною, що оперує власним набором понять і термінів. По- при те, що деякі з цих термінів не є одностайно прийнятими (див., напр., [12]), надто вільна їх інтерпретація є неприпустимою у норматив- них чи законодавчих документах. Якщо у по- всякденній розмові, коли всі сторони розумі- ють контекст, можна говорити про метрики на основі цитувань, які «вимірюють якість» нау- кової роботи, то в більш формальному спілку- ванні потрібно пам’ятати, що термін «якість» є надто багатогранним і невизначеним, щоб бути виміряним, та ще й безпосередньо кількістю цитувань, не кажучи вже про нюанси розра- хунку та інтерпретації метрик. У Словнику української мови зазначено, що «оцінювати» — це визначати якості, цінність, достоїнства і таке інше кого-, чого-небудь, «якість» — це та чи інша характерна ознака, властивість, риса чого-небудь, а «цінність» — важливість, значущість чого-небудь [13]. На- самперед з’ясуємо, що слід вважати важливими ознаками наукових публікацій і які з цих ознак можуть мати кількісне визначення. Автори, які працювали над оцінкою якості досліджень, оперували великою кількістю властивостей та рис поняття «якість». Підсумовуючи результа- ти попередніх досліджень [12], погодимося, що загальновизнаними ключовими характеристи- ками якості дослідження є його: правдоподіб- ність та ґрунтовність; оригінальність і новизна; наукова цінність; суспільна цінність. Коли вчений згадує у своїй публікації іншу наукову роботу, то вважається, що вона була корисною при проведенні цього дослідження. Відтак, статті, які згадуються частіше, вважа- ються більш корисними. Отже, припускається, що дані про кількість наукових цитувань і їх зіставлення в межах однієї предметної галу- зі дозволяють нам певною мірою визначати якості, цінність, достоїнства конкретних на- укових публікацій (результатів). Таке припу- щення, зокрема, отримало підтвердження на прикладі цитування публікацій нобелівських лауреатів [14, 15]. Водночас не можна назвати неякісним дослідження, яке не містить нових проривних ідей, а лише підтверджує попередні результати, відтворює їх з метою верифікації або ж розвиває наявні теорії, навіть якщо такі роботи не є високоцитованими [16]. На жаль, нині говорять про методологічну кризу, спри- чинену тенденцією до уникання так званих реплікаційних досліджень як потенційно ма- лоцитованих [12], хоча це один з дієвих меха- нізмів самоперевірки у науці. Публікацію матеріалів дослідження після їх оцінювання експертами у відповідній галузі, а згодом — згадування цієї публікації у роботах інших науковців, можна розглядати як свід- чення ґрунтовності і правдоподібності науко- вого результату. Водночас відкликання статті після її оприлюднення у науковому журналі залишається поширеною практикою у сучас- ній науковій комунікації [17]. Також доведено, 84 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА що публікації, у яких було допущено серйозні помилки чи навіть сфабриковано результати, часто отримують багато цитувань, більше того, їх нерідко продовжують згадувати навіть після відкликання [18]. Дискусія про значущість різних мотивацій до здійснення наукових цитувань тягнеться ще від міркувань одного з основоположників сучасної наукометрії Юджина Гарфілда, який писав, що кількість цитувань роботи не за- вжди пов’язана саме з її науковою цінністю, а залежить від різноманітних факторів [19]. Наприклад, відіграють певну роль ефект само- цитування, авторитет автора чи установи, де він працює. Так звані «поверхневі цитування» радше показують, що конкретною науковою проблематикою займалися й інші вчені, аніж свідчать про корисність їхніх робіт при напи- санні наукової публікації, у якій їх згадано. Відомі також такі нюанси, як негативні циту- вання та вплив часових затримок (частковий випадок — так звані «сплячі красуні»). Попри все це, на думку багатьох дослідників, аналіз цитувань все ж варто застосовувати в процесі оцінки наукових досліджень [20]. Останнім часом дуже популярним став ще один термін, що в англомовній літературі зву- чить як impact, а українською може переклада- тися як «вплив». На рис. 1 показано, наскіль- ки активно це слово вживалося у заголовках, анотаціях або ж серед ключових слів статей у кількох міжнародних наукових журналах (спе- ціалізованих та міждисциплінарних). Бачимо, що відомі загальнонаукові журнали Nature і Science потрапляють до першої групи, де impact вживається більш-менш рівномірно впродовж багатьох років. Ще один авторитетний міжна- родний журнал, що публікує дослідження з різ- них дисциплін, — PLOS One демонструє деяке зростання вживаності впродовж останнього де- сятиліття. Можна припустити, що такі тенден- ції відображають активність використання сло- ва impact загалом в англійській науковій мові, тобто для тих ділянок науки, де це слово не віді- грає специфічної ролі, а вживається у загально- му значенні (див. також результати для журна- лу Physical Review A, що є одним з флагманів фізичної наукової періодики). З іншого боку, для певних дисциплін спостерігається як зага- лом вища відносна частота використання, так і її зростання — гіпотетично, це випадки, коли слово impact виступає власне як термін. Поруч із журналами з економіки та наук про соціоло- гію і розвиток до цієї групи потрапляють про- фільні наукометричні видання Scientometrics, Journal of Informetrics, а також збірник однієї з найвідомих конференцій у галузі наукометрії Conference on Scientometrics and Informetrics. Попри все активніше використання у науко- метрії терміну «вплив» (impact), його зміст не має однозначного тлумачення [21]. Автори ви- користовують це поняття, щоб підкреслити, що певні публікації вплинули на подальший роз- виток наукових досліджень, хоча немає безпо- середнього зв’язку між кількістю цитувань на- укових публікацій та їх впливовістю — велика кількість цитувань не обов’язково сигналізує про значну впливовість відповідних публіка- цій, тому в наукометрії розрізняють «цитатний вплив» та «науковий вплив» [22]. Якщо для вимірювання впливу цитувань достатньо вра- хувати загальну кількість цитувань, то оцінка наукового впливу — питання дискусійне і по- стійно актуальне для сучасної наукометрії. Рис. 1. Частка публікацій у різних виданнях, в яких у заголовку, анотації або серед ключових слів було зга- дано хоча б один раз слово impact. За даними Scopus (результати пошуку станом на квітень 2019 р.) ISSN 1027-3239. Вісн. НАН України, 2019, № 9 85 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА Не менш складно визначити користь на- укового дослідження для суспільства в цілому, адже в ньому багато цільових груп з різними потребами, тому недостатньо аналізувати ви- ключно зріз наукової літератури. Так, напри- клад, для оцінювання впливу наукових дослі- джень на охорону здоров’я використовують аналіз клінічних настанов, а для вимірювання впливу на технічний прогрес застосовується оцінка цитувань у патентах, що також може свідчити про комерційну цінність досліджен- ня [23]. Крім того, актуальними є проблеми аналізу впливу на суспільну думку, прийняття політичних рішень тощо. Джерела даних для проведення наукоме- тричних досліджень. Перед тим, як обгово- рювати особливості використання наукоме- тричного апарату, потрібно звернути увагу на якість «вхідного ресурсу» — даних, які опра- цьовуються. Надійним джерелом даних про наукові цитування може вважатися таке, що забезпечує якісний збір інформації, а також правильну ідентифікацію кожної наукової пу- блікації та її авторів разом з афіліаціями. Крім того, важлива як широта охоплення (кількість видань, кількість предметних галузей), так і глибина (часовий проміжок від найстаріших робіт) бази даних. За умови вичерпності бази даних спрацьовують статистичні закони, на- дійнішими стають очікувані значення, меншу роль відіграють неточності чи винятки. Проте існування у світі величезної кількості наукових видань практично унеможливлює встановлен- ня цитатних зв’язків між усіма наявними на- уковими публікаціями, тому потрібно шукати компроміс між всеосяжністю та якістю даних. Scopus та Web of Science Core Collection — джерела наукометричних даних, визнані най- більш надійними, — індексують обмежену кількість наукових видань, застосовуючи су- ворі критерії відбору наукового контенту [24]. Усі видання, що претендують на включення в базу, мають відповідати мінімальним вимогам: дотримуватися стандартів видавничої етики, проводити рецензування робіт, мати зареє- стрований ISSN та чіткий графік виходу, міс- тити англомовні анотації і назви статей, при- статейні списки джерел латиницею. Крім того, незалежні експерти оцінюють редакційну по- літику видання, репутацію редакторів журна- лу, різноманітність географії редакторів та ав- торів, якість веб-сторінки, цитованість статей журналу та актуальність опублікованих дослі- джень [25, 26]. Вищезгадані сервіси забезпечу- ють якісний збір статистики, а для виправлен- ня помилок, яких на практиці важко уникнути, пропонують допомогу в «ручному режимі». В українських нормативних документах час- то розглядають як критерій оцінки діяльності наукових і науково-педагогічних працівників саму лише наявність публікацій у періодич- них виданнях, включених до Scopus та Web of Science. Наприклад, відповідно до Ліцензій- них умов провадження освітньої діяльності, заклад освіти має надати інформацію щодо наявності у працівників статей у виданнях, що представлені в Scopus або Web of Science Core Collection, а також про кількість науко- вих журналів, які видаються закладом освіти й індексуються у згаданих базах [27]. А згідно з Порядком присвоєння вчених звань науко- вим і науково-педагогічним працівникам, для отримання вченого звання професора або до- цента потрібна наявність публікацій у періо- дичних виданнях, які включені до Scopus або Web of Science [28]. Індексація у Scopus та Web of Science озна- чає, що редакція видання виконує принаймні базові вимоги до наукової періодики. Причому надмірна ідеалізація самого факту включення до цих баз є безпідставною, про що вже багато написано в англомовній науковій літературі. Встановлено, наприклад, що Scopus та Web of Science повільно виправляють помилки щодо пропущених цитувань наукових документів, містять записи з відсутньою або неправильною назвою статті, помилками в транскрипції імен авторів, недостовірну інформацію про афіліа- ції або неповні списки використаної літерату- ри [29–31]. Навіть використання унікальних цифрових ідентифікаторів DOI не убезпечує від плутанини [32, 33]. Крім цих та інших мо- ментів, спостерігається відчутна інерційність політики щодо вже проіндексованих наймену- 86 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА вань: досить тривалий час у базах можуть фі- гурувати видання, які були включені, а згодом виключені через недотримання наукових стан- дартів [34]. Остання проблема, зокрема, безпо- середньо стосується публікацій українських науковців: чимало робіт опубліковано у ви- даннях, що втратили належний рівень, а отже, можуть називатися лише «псевдонауковими». Особливо загрозливою ця ситуація є для галу- зей економіки, економетрії та фінансів: згідно з даними Scopus, такі роботи становили 63% загальної кількості публікацій українських учених у цих галузях [35]. Втім, слід зазначити, що навіть автори, які аналізували помилки в базах Scopus та Web of Science, переконані, що ці інструменти ві- діграють важливу роль для наукового співто- вариства, і тому не закликають вчених відмо- витися від їх використання. Натомість відпо- відальність за надійність даних мають нести як власники наукометричних сервісів (докла- дати більше зусиль для підвищення точності даних), так і самі вчені (верифікувати інфор- мацію про себе). Адже невинні, на перший по- гляд, технічні помилки можуть мати серйозні наслідки і призвести до спотворення бібліоме- тричних профілів журналів, учених або уста- нов [36]. З іншого боку, використання даних з того чи іншого джерела також має бути від- повідальним — проводячи наукометричну роз- відку, потрібно чітко описувати як спосіб здій- снення вибірки даних, так і кроки її опрацю- вання. Саме до цього, зокрема, закликає Сан- Франциська декларація про оцінку наукових досліджень [37] та Лейденський маніфест для наукометрії [38]. Неоднозначність використання науко- метричних показників. Неоднозначність ви- користання індексу Гірша. Індекс Гірша, або h-індекс, було запропоновано як індикатор ін- дивідуальної продуктивності вченого, що вра- ховує як кількісну складову (кількість публіка- цій), так і якісну (її гіпотетичний індикатор — число цитувань) [39]. Не вимагаючи значних затрат часу та особливих експертних знань для обрахунку, цей показник швидко завоював по- пулярність. Проте він успадкував усі недоліки та неоднозначності цитат-аналізу (відмінності для різних дисциплін, технічні і методологіч- ні нюанси, роль часової затримки тощо). Оче- видними також є і його специфічні вади: він ніяк не враховує тривалості наукової кар’єри конкретного вченого або, скажімо, витрачених на дослідження коштів. Таким чином, може виявитися, що однакового результату один науковець досяг за кілька років, а інший — за десятиліття. Така абсолютна інформація про «залишений слід», безумовно, корисна, але по- стає питання: за яких умов на її основі можна здійснювати порівняння? Наведемо приклад. Виберемо у базі да- них Scopus трьох довільних авторів, голов- ною афіліацією яких є Національна академія наук України (National Academy of Sciences in Ukraine, ID 60011313) і які працюють у пред- метній галузі Physics and Astronomy (один із сегментів вітчизняної науки, що добре пред- ставлений у базі). Кількість років між першою та останньою публікаціями, видимими у базі Scopus, вважатимемо індикатором тривалості наукової кар’єри. Звісно, це лише наближення, оскільки не всі їхні публікації представлено у базі, що є характерним для вчених старшої ге- нерації. Для всіх трьох вибраних дослідників h-індекс = 15: • Eremenko, Anna M. (1967–2017) — актив- ний період тривалістю 51 рік, 109 статей; • Lytvyn, Peter M. (1996–2019) — 24 роки, 181 стаття; • Privalko, Eleonora G. (1993–2010) — 18 ро- ків, 67 статей. Бачимо, що попри однакове значення ін- дексу Гірша, усі троє вчених по-різному його досягали. Хоча перший автор мав фактично втричі більше часу, а другий — майже втричі більше публікацій, третій автор перебуває з ними на одному рівні за h-індексом. Як абсо- лютна величина h-індекс свідчить про те, що усі троє зробили приблизно однаковий внесок. Така інформація корисна, приміром, для ана- лізу діяльності наукової установи. Проте чи можна використати абсолютні показники для порівняння науковців? Кому віддати перевагу, якщо, скажімо, метою рейтингування вчених є ISSN 1027-3239. Вісн. НАН України, 2019, № 9 87 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА визначення кандидатів для працевлаштування або фінансування досліджень? Спробуємо здійснити порівняння, зафіксу- вавши часовий проміжок, тобто зосередитися на вчених з приблизно однаковою тривалістю наукової кар’єри. Розглянемо 5 авторів, у яких між публікацією першої та останньої статей, представлених у Scopus, минуло 8 років: • Babukha, G.L. (1969–1976) — 12 статей, h = 1; • Shakhov, YuN. (2011–2018) — 11 статей, h = 5; • Karlashchuk, V.I. (1972–1979) — 8 статей, h = 0; • Khomenko, D.P. (1968–1975) — 8 статей, h = 3; • Severin, Sergey D. (2011–2018) — 6 статей, h = 1. Тут можна знову дискутувати про корек- тність порівняння, оскільки однакові за трива- лістю проміжки розміщені по-різному на часо- вій осі. 30 чи 40 років тому були інші «правила академічної гри», цитат-аналіз ще не набув сучасного значення тощо. Водночас роботи, опубліковані раніше, мають відповідну фору в накопиченні цитувань. Чи можемо ми ствер- джувати, що при майже однаковому кінцево- му рейтингу автори, що почали свій шлях у 70-х роках, є так само ефективними, як ті, чия перша публікація у Scopus датується 2011 р.? Звісно, на практиці таке детальне порівняння вчених, що працювали у минулому столітті, та сучасників може видатися непотрібним. Про- те у деяких випадках навіть вчені, що давно завершили наукову кар’єру, продовжують фі- гурувати у наукометричних розвідках. Скажі- мо, минулі досягнення впливають на рейтинг установи, якщо механічно розраховувати її груповий h-індекс на базі публікацій, віднесе- них до її профілю, не задаючи розмірів публі- каційного вікна та вікна цитувань. На рис. 2 показано залежність індивідуальних індексів Гірша від часового проміжку для 219 авторів, які у Scopus належать до профілю Bogolyubov Institute for Theoretical Physics NASU (ID: 60012859) і мають хоча б 2 публікації, видимі у цій базі. Природно, що лінійної кореляції немає, про- те можна спостерігати, що в правій частині рисунка значення h-індексів стають вищими. Чорними квадратиками виділено значення, що відповідають авторам зі значною загальною кількістю співавторів, — гіпотетично, це вчені, що публікувалися у складі великих авторських груп. Такі публікації, як правило, з’являються у результаті виконання масштабних проектів в окремих тематичних ділянках і мають типо- во вищий рівень цитувань (що зумовлено як специфікою тематики, так і природним ефек- том самоцитування великої кількості авторів у групі, зокрема, тому актуальною пробле- мою є врахування так званого «колективного автора»). Особливої уваги потребує питання корек- тності використання індексу Гірша для оціню- вання не окремих учених, а цілої групи. За озна- ченням, індекс Гірша залежний від кількості статей. Ця залежність нелінійна, проте нею не можна нехтувати. У випадку індивідуального автора вона є органічною складовою індикато- ра ефективності (кількісний аспект), хоча крім індивідуальної працездатності автора є низка факторів, які можуть впливати на кількість Рис. 2. Залежність індивідуального індексу Гірша від часового проміжку між найстарішою та найновішою публікаціями у базі Scopus для 219 авторів, відне- сених системою до установи Bogolyubov Institute for Theoretical Physics NASU (ID: 60012859) (дані станом на квітень 2019 р.) 88 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА публікацій: тривалість професійної кар’єри, інтенсивність роботи у співпраці (порівняймо роль аспіранта та досвідченого вченого, керів- ника групи учнів), особливості тематики тощо. Проте продуктивність — кількість публіка- цій — на рівні установи природно залежить від кількості працівників. У цьому разі очікувати суто лінійної залежності кількості публікацій від кількості авторів, очевидно, також немає сенсу, проте все ж кореляція мала б бути до- статньо сильною. Можна припустити, що для співробітників академічних установ кореля- ція повинна бути меншою з огляду на те, що на відміну від працівників установ МОН, вони мають більший ступінь свободи, оскільки не змушені відводити значну частину робочого часу на інші види діяльності (викладання). Щоб перевірити, наскільки визначальним для продуктивності установи є її розмір, роз- глянемо кореляцію між загальною кількістю авторів, афілійованих з установою згідно з її профілем у Scopus, та загальною кількістю до- кументів. Результати для низки установ МОН та НАН України показано на рис. 3. Видно, що залежність є досить сильною: ко- ефіцієнт лінійної кореляції Пірсона становить близько 0,98 для 40 установ МОН України і приблизно 0,86 для 62 установ НАН України. Отже, кількість публікацій залежить від кіль- кості авторів, а індекс Гірша — від кількості публікацій. Тому лише на основі цього можна говорити про можливий вплив розміру колек- тиву на значення так званого «групового» ін- дексу Гірша (коли всі публікації посортовано у порядку спадання, і індекс Гірша x означає, що хоча б x із них було процитовано щонаймен- ше x разів). Відповідні результати наведено на рис. 4 та 5, з яких видно, що для установ МОН України спостерігається якщо не сильна, то принаймні помітна позитивна кореляція. Для НАН України більш чітка закономірність про- глядається для установ, перша стаття яких у Scopus є не старішою за 50 років, — гіпотетич- но, «молодших» установ або тих, які змінили назву. Натомість для решти установ важко вза- галі говорити про кореляцію. Зокрема, результати для установ МОН мож- на порівняти з результатами для дослідниць- Рис. 3. Залежність між загальною кількістю публіка- цій та числом авторів з установи відповідно до профі- лю у базі Scopus. Квадратиками показано дані для 40 установ, підпорядкованих МОН України, зірочками — для 62 установ НАН України (дані станом на квітень 2019 р.) Рис. 4. Залежність групового індексу Гірша від числа авторів з установи відповідно до профілю у базі Scopus для 40 установ, підпорядкованих МОН України (дані станом на квітень 2019 р.) Як кількість публікацій, так і їх цитованість, зале- жить від дисциплінарної ділянки. Проте ми не врахо- вуємо диференціацію за галузями, оскільки говоримо про різні нюанси використання наукометрик для по- рівняння та рейтингування установ так, як це іноді здійснюється на практиці (не зовсім коректно). Див., наприклад, http://osvita.ua/vnz/rating/51053/ ISSN 1027-3239. Вісн. НАН України, 2019, № 9 89 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА ких груп Великої Британії у галузі фізики [40]. Останній частковий випадок стосується не установ, а лише окремих груп. Ще одна відмін- ність — для цього дослідження було зафіксова- но публікаційне вікно: 2001–2007 рр. (групо- вий h-індекс визначався наприкінці 2014 р.). Проте залежність принаймні візуально має схожий вигляд (рис. 6). Отже, можна стверджувати, що рейтинг установи, розрахований з використанням гру- пового індексу Гірша, може значною мірою визначатися її розміром. І такий висновок більш справедливий для установ, що здійсню- ють освітню діяльність (в Україні це установи МОН). Неоднозначність використання журнальних метрик. Серед найпопулярніших журнальних метрик варто виокремити запропонований Гарфілдом та Шер імпакт-фактор журналу (Journal Impact Factor, JIF) [41], що вказує на середню кількість цитувань, отриманих протя- гом певного року на статті журналу, які було опубліковано в ньому протягом двох попере- дніх років. Проте для багатьох наукових дисци- плін, насамперед соціальних та гуманітарних, два роки — надто малий термін, щоб науковці встигли повною мірою скористатися новими знаннями і процитувати нові наукові роботи в цих галузях [42]. Тому в наукометрії засто- совують також і варіації класичного імпакт- фактора. Скажімо, 5-річний імпакт-фактор (5 Year Impact Factor) використовує ту саму фор- мулу, проте замість двох років враховує п’ять [43]. А для журналів з гуманітарних дисциплін імпакт-фактори часто взагалі не розраховують. Водночас для наукових видань з дисциплін, де сприйняття і використання нових знань відбу- вається доволі швидко, важливою є також інша журнальна метрика — Immediacy Index, назву якої можна перекласти як «індекс негайності». Для її обрахунку потрібно поділити кількість цитувань на статті журналу, опубліковані в певному році, на кількість цих статей [44]. Імпакт-фактор розраховується лише для журналів, що включені у бази даних Science Citation Index Expanded та Social Sciences Citation Index, що належать компанії Clarivate Analytics. Інший впливовий постачальник на- укометричних даних — компанія Elsevier про- понує у своїй базі Scopus журнальну метрику CiteScore, яка має подібну до імпакт-фактора формулу обрахунку, але використовує триріч- не вікно цитувань. Метрика CiteScore обрахо- Рис. 6. Залежність групового індексу Гірша наукових груп Великої Британії у галузі фізики (поділ за дисци- плінами відповідно до означень REF) від числа їх чле- нів згідно з даними Scopus (станом на кінець 2014 р.) Рис. 5. Залежність групового індексу Гірша від числа авторів з установи відповідно до профілю у базі Scopus для 62 установ, підпорядкованих НАН України. Ква- дратиками позначено установи, найстаріша публікація яких, видима у базі, була опублікована 50 або більше років тому, ромбиками — решту установ (дані станом на квітень 2019 р.) 90 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА вується для всіх журналів Scopus, зокрема й гуманітарних, і на думку укладачів бази, — це найкращий варіант для багатодисциплінарної бази даних, що містить репрезентативну част- ку наукових цитувань документів з усіх дис- циплін [45]. Під час обрахунку JIF та CiteScore усі на- укові цитування вважають однаковими, неза- лежно від того, отримані вони з популярного мультидисциплінарного журналу чи з журна- лу, що має вузькоспеціалізоване, а можливо, й регіональне спрямування. Відповідно до під- ходу, запропонованого іспанською дослідниць- кою групою SCImago, від престижу журналу залежить цінність цитат, які він надає іншим журналам [46]. Тобто журнал, який отримує цитування з провідних журналів у своїй галузі, має більше престижу, ніж журнал, який отри- мав таку саму кількість цитувань, але від менш престижних видань. При розрахунку SJR са- моцитування журналу не можуть перевищува- ти третину від загальної кількості одержаних цитувань, на відміну від JIF та CiteScore, що враховують також усі самоцитування журналу. Можна сказати, що JIF та CiteScore вказують на популярність видання, тоді як SJR намага- ється оцінити його «престиж». Інша журнальна метрика, яка широко вико- ристовується в базі Scopus, — це запропонова- на Хенком Модом нормалізована за джерела- ми посилань цитованість у розрахунку на одну статтю (Source Normalized Impact per Paper, SNIP). Вона враховує особливості культури наукових посилань, властиві різним дисциплі- нам [47]. Скажімо, якщо в певній галузі для публікацій характерними є великі списки ви- користаної літератури, то, очікувано, і середня цитованість публікацій у цій галузі буде ви- щою, і навпаки. Метрика SNIP розраховується як співвідношення середньої цитованості ста- тей журналу (кількість наукових посилань на статті журналу, поділена на їх кількість) та по- тенціалу цитованості його індивідуальної дис- циплінарної галузі (з урахуванням середньої кількості цитувань у списках використаної літератури в індивідуальній дисциплінарній галузі). Отже, можна порівнювати між собою журнали з різних наукових дисциплін. Використовуючи різні журнальні метрики, можна отримати різні рейтинги наукових ви- дань. Так, у табл. 2 наведено п’ятірки найкра- щих наукових журналів з імунології відповід- но до різних індексів, з яких видно, що позиція журналу залежить від обраної метрики. Наведені вище короткі описи журнальних метрик та методики їх розрахунків дозволя- ють зрозуміти, що ці метрики не є однаковими і взаємозамінними. Їх слід використовувати з урахуванням їхніх особливостей та завдань, Таблиця 2. Топ-5 наукових журналів з імунології відповідно до показників JIF, CiteScore, SNIP, SJR № Назва журналу Величина показника Journal Impact Factor (Journal Citation Reports, Category: Immunology) 1 Nature Reviews Immunology 41,982 2 Annual Review of Immunology 22,714 3 Nature Immunology 21,809 4 Immunity 19,734 5 Trends in Immunology 14,188 CiteScore (Scopus, Category: Immunology and Microbiology) 1 Annual Review of Immunology 29,94 2 Clinical Microbiology Reviews 22,57 3 Nature Reviews Immunology 17,43 4 Immunity 15,82 5 Nature Immunology 14,11 SNIP (Scopus, Category: Immunology and Microbiology) 1 Nature Reviews Immunology 9,533 2 Clinical Microbiology Reviews 9,115 3 Nature Reviews Microbiology 7,075 4 Annual Review of Immunology 6,665 5 Nature Biotechnology 6,062 SJR (Scopus, Category: Immunology and Microbiology) 1 Nature Reviews Immunology 28,786 2 Annual Review of Immunology 21,681 3 Nature Biotechnology 18,252 4 Nature Reviews Microbiology 17,634 5 Nature Immunology 14,007 ISSN 1027-3239. Вісн. НАН України, 2019, № 9 91 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА для яких вони призначені, а не довільним чи- ном, як це часом випливає з українських нор- мативних документів. Висновки. Сучасний інструментарій науко- метрії — науки, що займається кількісним опи- сом науки, достатньо розвинений і різноманіт- ний. Однак слід розуміти, що передбачити не- передбачуване з огляду на саму його природу неможливо. Немає жодного кількісного кри- терію, який однозначно вкаже на майбутнього нобелівського лауреата або дасть змогу негай- но виокремити геніальну ідею серед мільйона інших. Проте сила наукометрії саме у її різно- бічності. З одного боку, епоха Big Data пропо- нує невичерпний ресурс для аналізу. З іншо- го — розвиток методів аналізу даних забезпе- чує можливість багатовекторного оцінювання наукового процесу. Не можна забувати також і про те, що руші- єм наукового пошуку завжди була цікавість. Саме їй ми завдячуємо найбільш фундамен- тальними відкриттями, які важко прив’язати до прагматичних міркувань. Дослідницька ці- кавість забезпечується тим, що називають ака- демічною свободою (academic freedom). Попри зрозумілу необхідність планувати розподіл коштів та бажання отримати «дивіденди» від наукового відкриття якомога швидше, варто все ж залишати і певний ступінь вільності для науковця. Це означає надати йому можливість не лише розв’язувати прикладні завдання, кон- куруючи в цьому з колегами, а й задовольня- ти свою цікавість іноді до зовсім абстрактних речей. З іншого боку, система науки має бути достатньо гнучкою, щоб підлаштовуватися під сучасні реалії. Щоб відповісти на виклики сьо- годення, потрібно вміти донести результат до широкого загалу у зрозумілій формі, мати тіс- ні контакти з промисловістю і бізнесом, випро- бовувати нові методи співпраці, часом навіть демонструвати підприємницький хист, запо- зичуючи найкращі ознаки сучасних стартапів. Повертаючись до планування, розподілу ко- штів та оцінювання наукових досліджень, до- цільним є формування збалансованого набору наукометричних інструментів у комбінації з експертною складовою, не забуваючи при цьо- му про «ставку на невідоме». Звісно, будь-яка формалізація — це свого роду творення моделі, а модель передбачає спрощений опис, тому слід бути готовими до компромісів. З іншого боку, не можна надто спрощено сприймати або плу- тати поняття «якість», «вплив», «видимість», застосовуючи їх до наукових результатів. У дискусії про баланс між кількісними та якісними підходами до оцінювання завжди по- трібно враховувати контекст. Якщо розвинені країни свого часу пройшли шлях від звикання, визнання корисності наукометрії до усвідом- лення необхідності її обережного використан- ня, то Україна перебуває лише на початку цьо- го шляху. Саме для цього початкового етапу і характерна плутанина з термінами та адапта- ція до нових підходів. Саме на цьому початко- вому етапі потрібно балансувати між (1) впро- вадженням хоча б базових кількісних оцінок та (2) униканням маніпуляції термінами і понят- тями. Перше завдання, зокрема, покликане: • урізноманітнити інструментарій оціню- вання — чим він різнобічніший, тим надійні- ший; • забезпечити максимально можливу про- зорість щодо способів збору та опрацювання даних; • дати національній науці у найширшо- му її представленні поштовх і мотивацію до якомога активнішого виходу на міжнародну арену, що зробить її видимою, порівнюваною, конкурентною; тут варто підкреслити, що цей пункт стосується і дисциплін, які мають більш локальне тематичне спрямування (історія чи культура певного регіону, аналіз діалектів, до- слідження української економіки), — нехай і меншою мірою, ці дослідження також можна ввести у міжнародний контекст, порівняти з результатами інших «локальних» досліджень, удоступнити для експертів, які використову- ють подібні методи в дослідженнях, пов’язаних з іншими регіонами; • зменшити вплив негативних сторін моно- полізованого експертного оцінювання (упе- редженість, непотизм, корупція). Без виконання другого завдання перше стає неможливим, адже про надійність, прозорість 92 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА та адекватність не можна говорити, якщо сві- домо підміняти поняття або ж оперувати циф- рами без розуміння особливостей даних та ню- ансів розрахунку показників. Те, що українська система науки переживає кризу, затяжну «хворобу», нині не є секретом [48]. І єдиним виходом з цієї ситуації є її лі- кування. Звісно, проблеми не обмежуються лише недосконалостями системи оцінювання результатів наукової діяльності, проте вона ві- діграє вагому роль у прийнятті управлінських рішень і є необхідною складовою побудови но- вої стратегії. Тож можна розглядати наукометрію як ліки: побічні ефекти відомі, однак вони не є підста- вою для відмови від лікування [49]; з іншого боку, передозування або неправильне вживан- ня лише погіршить ситуацію. REFERENCES [СПИСОК ЛІТЕРАТУРИ] 1. Bornmann L. Scientific peer review. Annual Review of Information Science and Technology. 2011. 45(1): 197. https:// doi.org/10.1002/aris.2011.1440450112 2. Bornmann L. The Hawthorne effect in journal peer review. Scientometrics. 2012. 91(3): 857. https://doi.org/10.1007/ s11192-011-0547-y 3. Rennie D. Let’s make peer review scientific. Nature. 2016. 535(7610): 31. https://doi.org/10.1038/535031a 4. Traag V.A., Waltman L. Systematic analysis of agreement between metrics and peer review in the UK REF. Palgrave Communications. 2019. 5(29). https://doi.org/10.1057/s41599-019-0233-x 5. Mryglod O., Kenna R., Holovatch Y., Berche B. Comparison of a citation-based indicator and peer review for abso- lute and specific measures of research-group excellence. Scientometrics. 2013. 97(3): 767. https://doi.org/10.1007/ s11192-013-1058-9 6. Derrick G.E., Pavone V. Democratising research evaluation: Achieving greater public engagement with bibliomet- rics-informed peer review. Science and Public Policy. 2013. 40(5): 563. https://doi.org/10.1093/scipol/sct007 7. Capaccioni A., Spina G. Guidelines for Peer Review. A Survey of International Practices. In: Bonaccorsi A. (ed.). The Evaluation of Research in Social Sciences and Humanities. (Springer, Cham, 2018). https://doi.org/10.1007/978-3- 319-68554-0_3 8. Wilsdon J. et al. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. 2015. https://doi.org/10.13140/RG.2.1.4929.1363 9. Order of the Ministry of Education and Science of Ukraine 14.12.2015 No. 1287 https://zakon3.rada.gov.ua/laws/ show/z0015-16 [Наказ МОН України від 14.12.2015 № 1287. Про затвердження Положення про проведення Міністерством освіти і науки України Конкурсу проектів наукових робіт та науково-технічних (експериментальних) роз- робок [...].] 10. Order of the Ministry of Education and Science of Ukraine 15.01.2018 No. 32 On Approval of the Procedure for the Formation of the List of Scientific Professional Publications of Ukraine. https://zakon.rada.gov.ua/laws/show/ z0148-18 [Наказ МОН України від 15.01.2018 № 32. Про затвердження Порядку формування Переліку наукових фахо- вих видань України.] 11. Methodology for evaluating the effectiveness of scientific institutions of the National Academy of Sciences of Ukraine. Approved by the Resolution of the Presidium of the National Academy of Sciences of Ukraine. 15.03.2017. No. 75 http://www.nas.gov.ua/text/pdfNews/metodyka_text.pdf [Методика оцінювання ефективності діяльності наукових установ НАН України. Затверджено Постановою Президії НАН України від 15.03.2017 № 75.] 12. Aksnes D.W., Langfeldt L., Wouters P. Citations, Citation Indicators, and Research Quality: An Overview of Basic Concepts and Theories. SAGE Open. 2019. 9(1): 215824401982957. https://doi.org/10.1177/2158244019829575 13. Dictionary of the Ukrainian language: in 11 vols. (Kyiv.: Naukova Dumka, 1970–1980). [Словник української мови: в 11 т. К.: Наукова думка, 1970–1980.] 14. Garfield E., Welljams-Dorof A. Of Nobel class: A citation perspective on high impact research authors. Theoretical Medicine. 1992. 13(2): 117. https://doi.org/10.1007/BF02163625 ISSN 1027-3239. Вісн. НАН України, 2019, № 9 93 НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА 15. Gingras Y., Wallace M.L. Why it has become more difficult to predict Nobel Prize winners: A bibliometric analysis of nominees and winners of the chemistry and physics prizes (1901-2007). Scientometrics. 2010. 82(2): 401. https://doi. org/10.1007/s11192-009-0035-9 16. Martin G.N., Clarke R.M. Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices. Frontiers in Psychology. 2017. 8: 523. https://doi.org/10.3389/fpsyg.2017.00523 17. Wager E., Barbour V., Yentis S., Kleinert S. Guidelines for retracting articles. 2009. https://doi.org/10.24318/ cope.2019.1.4 18. Teixeira da Silva J.A., Dobránszki J. Highly cited retracted papers. Scientometrics. 2017. 110(3): 1653. https://doi. org/10.1007/s11192-016-2227-4 19. Garfield E. Citation analysis as a tool in journal evaluation: journals can be ranked by frequency and impact of cita- tions for science policy studies. Science. 1972. 178(4060): 471. 20. Bornmann L., Marx W. The wisdom of citing scientists. Journal of the Association for Information Science and Tech- nology. 2014. 65(6): 1288. https://doi.org/10.1002/asi.23100 21. Lazarev V.S. Insufficient definitions or a vaguely grasped notion? On definitions of “impact”. Scholarly Research and Information. 2019. 2(1): 63. https://doi.org/10.24108/2658-3143-2019-2-1-63-78 22. Waltman L., van Eck N.J., Wouters P. Counting publications and citations: Is more always better? Journal of Infor- metrics. 2013. 7(3): 635. https://doi.org/10.1016/j.joi.2013.04.001 23. Bornmann L. Measuring impact in research evaluations: a thorough discussion of methods for, effects of and problems with impact measurements. Higher Education. 2017. 73(5): 775. https://doi.org/10.1007/s10734-016-9995-x 24. Mongeon P., Paul-Hus A. The journal coverage of Web of Science and Scopus: a comparative analysis. Scientometrics. 2016. 106(1): 213. https://doi.org/10.1007/s11192-015-1765-5 25. Content Policy and Selection. Elsevier. https://www.elsevier.com/solutions/scopus/how-scopus-works/content/ content-policy-and-selection 26. Journal Selection Process. Clarivate Analytics. https://clarivate.com/essays/journal-selection-process/ 27. Resolution of the Cabinet of Ministers of Ukraine 30.12.2015 No. 1187. https://zakon3.rada.gov.ua/laws/show/1187- 2015-%D0%BF/ [Постанова Кабінету Міністрів України від 30.12.2015 № 1187. Про затвердження Ліцензійних умов прова- дження освітньої діяльності.] 28. Order of the Ministry of Education and Science of Ukraine 14.01.2016 No. 13. https://zakon2.rada.gov.ua/laws/ show/z0183-16/ [Наказ МОН України від 14.01.2016 № 13. Про затвердження Порядку присвоєння вчених звань науковим і науково-педагогічним працівникам.] 29. Franceschini F., Maisano D., Mastrogiacomo L. Do Scopus and WoS correct “old” omitted citations? Scientometrics. 2016. 107(2): 321. https://doi.org/10.1007/s11192-016-1867-8 30. Franceschini F., Maisano D., Mastrogiacomo L. Empirical analysis and classification of database errors in Scopus and Web of Science. Journal of Informetrics. 2016. 10(4): 933. https://doi.org/10.1016/j.joi.2016.07.003 31. Liu W., Hu G., Tang L. Missing author address information in Web of Science – An explorative study. Journal of Informetrics. 2018. 12(3): 985. https://doi.org/10.1016/j.joi.2018.07.008 32. Zhu J., Hu G., Liu W. DOI errors and possible solutions for Web of Science. Scientometrics. 2019. 118(2): 709. https:// doi.org/10.1007/s11192-018-2980-7 33. Huang M., Liu W. Substantial numbers of easily identifiable illegal DOIs still exist in Scopus. Journal of Informetrics. 2019. https://doi.org/10.1016/j.joi.2019.03.019 34. Krauskopf E. An analysis of discontinued journals by Scopus. Scientometrics. 2018. 116(3): 1805. https://doi. org/10.1007/s11192-018-2808-5 35. Nazarovets S., Nazarovets M. The danger of spreading pseudoscientific journals for the development of science in Ukraine. Odesa National University Herald. Library studies, Bibliography studies, Bibliology. 2017. 22(1): 163. https:// doi.org/10.18524/2304-1447.2017.1(17).104171 [Назаровець С., Назаровець М. Небезпека поширення псевдонаукових видань для розвитку науки в Україні. Вісник Одеського національного університету. Серія: Бібліотекознавство, бібліографознавство, книгознавство. 2017. Т. 22, вип. 1. С. 163–174.] 36. Franceschini F., Maisano D., Mastrogiacomo L. The museum of errors/horrors in Scopus. Journal of Informetrics. 2016. 10(1): 174. https://doi.org/10.1016/j.joi.2015.11.006 37. San Francisco Declaration on Research Assessment (DORA) https://sfdora.org/read/ 94 ISSN 1027-3239. Visn. Nac. Acad. Nauk Ukr. 2019. (9) НАУКОМЕТРІЯ І ВИДАВНИЧА СПРАВА 38. Hicks D., Wouters P., Waltman L., De Rijcke S., Rafols I., Bibliometrics: the Leiden Manifesto for research metrics. Nature. 2015. 520(7548): 429. https://doi.org/10.1038/520429a 39. Hirsch J.E. An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences. 2005. 102(46): 16569. https://doi.org/10.1007/s11192-010-0193-9 40. Mryglod O., Kenna R., Holovatch Y., Berche B. Predicting results of the Research Excellence Framework using de- partmental h-index. Scientometrics. 2015. 102(3): 2165. https://doi.org/10.1007/s11192-014-1512-3 41. Garfield E., Sher I.H. New factors in the evaluation of scientific literature through citation indexing. American Docu- mentation. 1963. 14(3): 195. https://doi.org/10.1002/asi.5090140304 42. Archambault É., Larivière V. History of the journal impact factor: Contingencies and consequences. Scientometrics. 2009. 79(3): 635. https://doi.org/10.1007/s11192-007-2036-x 43. Jacs P. Five-year impact factor data in the journal citation reports. Online Information Review. 2009. 33(3): 603. https://doi.org/10.1108/14684520910969989 44. Yue W., Wilson C.S., Rousseau R. The Immediacy Index and the Journal Impact Factor: Two Highly Correlated De- rived Measures. The Canadian Journal of Information and Library Science. 2004. 28(1): 33. 45. Lancho-Barrantes B.S., Guerrero-Bote V.P., Moya-Anegón F. What lies behind the averages and significance of citation indicators in different disciplines? Journal of Information Science. 2010. 36(3): 371. https://doi. org/10.1177/0165551510366077 46. Colledge L., de Moya-Anegón F., Guerrero-Bote V., López-Illescas C., El Aisati M., Moed H. SJR and SNIP: two new journal metrics in Elsevier’s Scopus. Serials. 2010. 23(3): 215. https://doi.org/10.1629/23215 47. Waltman L., Van Eck N.J., Van Leeuwen T.N., Visser M.S. Some modifications to the SNIP journal impact indicator. Journal of Informetrics. 2013. 7(2): 272. https://doi.org/10.1016/j.joi.2012.11.011 48. Schiermeier Q. Ukraine’s science revolution stumbles five years on. Nature. 2019. 566(7743): 162. https://doi. org/10.1038/d41586-019-00512-3 49. Loktev V.M. Periculum in mora. Transcript of report at the General Meeting of the Department of Physics and As- tronomy of NAS of Ukraine, April 24, 2019. Visn. Nac. Acad. Nauk Ukr. 2019. (5): 72. [Локтєв В. Periculum in mora. Зі стенограми звітної доповіді на Загальних зборах Відділення фізики і астроно- мії НАН України 24 квітня 2019 р. Вісник НАН України. 2019. № 5. С. 72–83.] O. Mryglod Institute for Condensed Matter Physics of the National Academy of Sciences of Ukraine (Lviv) S. Nazarovets State Scientific and Technical Library of Ukraine (Kyiv) SCIENTOMETRICS AND MANAGEMENT OF SCIENTIFIC ACTIVITIES: ONCE AGAIN ABOUT THE GLOBAL AND UKRAINIAN The main purpose of the paper is to perform a short review on the problem of implementation of scientometric indicators for research evaluation in the context of Ukraine. Peculiarities of usage of key scientometric terms in normative documents are examined. A number of case studies are given to illustrate the ambiguity of application of particular indicators in order to rate authors, research groups, institutions or scientific journals. The importance of balance between expert evaluation and quantitative analysis in the national system of research evaluation is highlighted, and the inadmissibility of any manipulations of scientometrical terms and notions is underscored. Keywords: research evaluation, scientometrics, Scopus, Web of Science, h-index, journal metrics, Ukraine.

Наукометрія та управління науковою діяльністю: вкотре про світове та українське

Репозитарії

Схожі ресурси