Використання професійного рейтингу в системі тестування держслужбовців
Збережено в:
| Дата: | 2009 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України
2009
|
| Назва видання: | Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/29250 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Використання професійного рейтингу в системі тестування держслужбовців / Р.П. Абрамович // Збірник наукових праць Інституту проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України. — К.: ІПМЕ ім. Г.Є. Пухова НАН України, 2009. — Вип. 50. — С. 28-36. — Бібліогр.: 2 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-29250 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-292502011-12-08T12:15:31Z Використання професійного рейтингу в системі тестування держслужбовців Абрамович, Р.П. 2009 Article Використання професійного рейтингу в системі тестування держслужбовців / Р.П. Абрамович // Збірник наукових праць Інституту проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України. — К.: ІПМЕ ім. Г.Є. Пухова НАН України, 2009. — Вип. 50. — С. 28-36. — Бібліогр.: 2 назв. — укр. XXXX-0067 http://dspace.nbuv.gov.ua/handle/123456789/29250 621.039.56; 681.3.015 uk Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| format |
Article |
| author |
Абрамович, Р.П. |
| spellingShingle |
Абрамович, Р.П. Використання професійного рейтингу в системі тестування держслужбовців Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України |
| author_facet |
Абрамович, Р.П. |
| author_sort |
Абрамович, Р.П. |
| title |
Використання професійного рейтингу в системі тестування держслужбовців |
| title_short |
Використання професійного рейтингу в системі тестування держслужбовців |
| title_full |
Використання професійного рейтингу в системі тестування держслужбовців |
| title_fullStr |
Використання професійного рейтингу в системі тестування держслужбовців |
| title_full_unstemmed |
Використання професійного рейтингу в системі тестування держслужбовців |
| title_sort |
використання професійного рейтингу в системі тестування держслужбовців |
| publisher |
Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України |
| publishDate |
2009 |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/29250 |
| citation_txt |
Використання професійного рейтингу в системі тестування держслужбовців / Р.П. Абрамович // Збірник наукових праць Інституту проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України. — К.: ІПМЕ ім. Г.Є. Пухова НАН України, 2009. — Вип. 50. — С. 28-36. — Бібліогр.: 2 назв. — укр. |
| series |
Збірник наукових праць Інституту проблем моделювання в енергетиці ім.Г.Є.Пухова НАН України |
| work_keys_str_mv |
AT abramovičrp vikoristannâprofesíjnogorejtinguvsistemítestuvannâderžslužbovcív |
| first_indexed |
2025-07-03T09:27:36Z |
| last_indexed |
2025-07-03T09:27:36Z |
| _version_ |
1836617414259769344 |
| fulltext |
УДК 621.039.56; 681.3.015
Р.П. Абрамович
ВИКОРИСТАННЯ ПРОФЕСІЙНОГО РЕЙТИНГУ В СИСТЕМІ
ТЕСТУВАННЯ ДЕРЖСЛУЖБОВЦІВ
На підприємстві ЛьвівОРГРЕС розробляється автоматизована система
побудови і проведення комп'ютерного контролю знань і тренажу персоналу.
Програма орієнтована на організацію комп'ютерного навчання, контроль
знань і тренаж персоналу великих підприємств та організацій.
Система «Конкурс» призначена для :
• самопідготовки, навчання самоконтролю та контролю знань;
• проведення організації навчання;
• створення контрольних наборів, які є наборами запитань для
проходження тестування;
• проведення протоколювання походження контролю знань;
• планування завдань;
• створення і редагування навчальних матеріалів у вигляді курсів.
Для забезпечення кращого аналізу результатів навчання і проходження
тестування в системі «Конкурс» впроваджена система рейтингів.
Цілі впровадження рейтингу в системі «Конкурс»:
1. Рейтинг персоналу:
- порівняння компетентності персоналу;
- визначення резерву для заміщення вакантних посад.
2. Рейтинг (складність) запитань документів контролю:
- порівняння складності запитань;
- визначення критичних запитань, які можуть бути не коректними.
3. Динамічне оцінювання результатів проходження тестування.
Про рейтинги
В теперішньому світі системи рейтингів використовується для
порівняння і аналізу практично у всіх сферах життя: рейтинги спортсменів
та команд; рейтинги банків, фондів та інших фінансових установ; рейтинги
телеканалів та передач; рейтинги політичних діячів та партій; і т.д.
Рейтинг — це числовий чи порядковий показник успішності,
популярності, який відображає важливість і вплив певного об'єкта або
явища. Показник оцінки діяльності, популярності, авторитету якоїсь особи,
організації, групи, програм у певний час, що визначається соціологічним
опитуванням, голосуванням та ін. і визначається місцем, яке вони посідають
серед собі подібних. Відносний показник надійності ділового партнера,
банку, страхової компанії тощо. Становище спортсмена чи команди серед
подібних, що оцінюється певним числом балів, наприклад, рейтинг ФІФА.
28 © Р.П. Абрамович
Приклади рейтингів:
• ступінь популярності відомих діячів в галузі політики, культури і т.д.;
• кредитний рейтинг підприємства, корпорації;
• індивідуальний числовий показник оцінки спортивних досягнень шахістів
у класифікаційному списку (рейтинг-лист);
• рейтинг фільму, передачі або відеогри.
(по матеріалах http://uk.wikipedia.org).
В системі «Конкурс» впроваджено рейтинг, який базується на системі
рейтингів Ело. Система рейтингів Ело— це метод розрахунку відносної сили
гравців, в іграх, в яких приймають участь двоє, наприклад, го чи шахи. Цю
систему рейтингів розробив американський (угорського походження)
професор фізики Арпад Ело (1903—1992). Найбільше поширення система
Ело отримала в шахах, починаючи з 1970 року вона офіційна рейтингова
система в FIDE [1].
Система Ело базується на імовірнісному розрахунку результату матчу, в
залежності від поточного рейтингу гравців. Тобто, імовірність виграшу
гравця з більшим рейтингом (сильнішого гравця) є більшою, ніж гравця з
меншим рейтингом, і навпаки. Після завершення матчу, по реальних
результатах гри та прогнозованому результату, проводиться перерахунок
рейтингів.
При використанні рейтингу ЕЛО в шахах гравці зустрічаються між
собою і в результаті ігор формується рейтинг. При проходженні
професійного тестування конкурсанти безпосередньо між собою не
зустрічаються, вони ніби змагаються із запитаннями. Тому будемо виділяти
дві окремі групи рейтингів: рейтинг персоналу і рейтинг запитань по
документах. Для зручності та для того, щоб не виникало плутанини, будемо
розділяти рейтинг персоналу і рейтинг запитань, та використовувати різні
терміни: рейтинг людей та складність запитань.
Доцільно порівнювати тільки тих людей, які працюють на одній посаді в
певному підрозділі, так як для них висуваються однакові умови і вони про-
ходять одинакові тести або на основі загальних документів для різних посад.
Початковий рейтинг людей та складність запитань, по аналогії з
системою Ело, становить 1000. Після проходження екзамену рейтинг людини
та складність запитань перераховується, згідно формул системи.
Рейтинг фахівців.
При введені нового користувача в систему «Конкурс», підсистемі
Інструктора, його початковий рейтинг становить 1000 (згідно системи
рейтингів Ело).
При початковій реєстрації людини з вказівкою підрозділу і посади ,
рейтинг має початкове значення - 1000. Для людини, яка не належить до
жодного підрозділу/посади рейтинг є невизначеним, і така людина не може
проходити тестування.
29
http://uk.wikipedia.org
і Нова людина
Прізвище, ім'я, ПО-БСГТЬКОБІ
Прізвище Абрамович
По-батьк.ові Петрович Початковий рейтинг:
Вхіц у систему
Логін аЬ'атО'Л'скі
Пароль
Користувач Учень
Підтвердження
Піароааіл/П осада
Підрозділ Тестовий гвдрозділ
Посада І Т
Вибір підрозділа
Ок | | Відмінити | [ Присвоїти
Рис.1. Реєстрація нового користувача.
Складність (рейтинг) запитань.
Так само як при введені інформації про нового фахівця, так і при
створенні нового запитання, початкове значення складності запитання
дорівнює 1000 (згідно системи рейтингів Ело). Після здачі екзамену, коли
конкурсант відповідав на ряд запитань, складність запитань перераховується
за допомогою програми автоматично.
Після того, як конкурсант здав екзамен, відбувається перерахунок його
рейтингу та складності запитань на які він відповідав. Зміна рейтингу
конкурсанта розраховується згідно його рейтингу до екзамену та середньої
складності екзамену, який він здавав. Порядок перерахунку рейтингу
конкурсанта після здачі екзамену наступний.
На першому кроці розраховується складність екзамену СЕ, яка
визначається, як середнє арифметичне складностей запитань, на які
відповідав конкурсант:
X СЗі
СЕ = • (1)
де СЗ - складність і-того запитання;
п - кількість запитань в екзамені.
На наступному кроці, згідно формул системи Ело, розраховується
імовірність дачі конкурсантом правильних відповідей ІПВ на запитання
екзамену:
ІПВ =-
1
(2)
1 +10 400
де РЛ - рейтинг людини, перед здачею екзамену.
Помноживши величину ІПВ на 100%, ми отримаємо очікуваний
30
п
СЕ - РЛ
(прогнозний) відсоток правильних відповідей на запитання екзамену:
ОВПВ = ІПВ *100%, (3)
Величину ОВПВ отриману у формулі (3) можна трактувати як відсоток
правильних відповідей на запитання екзамену, який не змінює рейтинг
людини.
Після отримання величини імовірності правильних відповідей на
запитання екзамену визначається зміна рейтингу ЗР людини:
ЗР = 25 * (СПВ - ІПВ * N), (4)
де СПВ - сума правильних відповідей;
п - кількість запитань в екзамені.
Сума правильних відповідей в екзамені, яка використовується в формулі
(4) розраховується як:
СПВ V {і, для правильної відповіді н а і-те запитання 5
і [0, для неправильної відповіді на і-те запитання '
Значення зміни рейтингу може приймати як додатні, так і від'ємні
значення, тобто рейтинг людини може як збільшуватися, так і зменшуватися.
Останній крок - це визначення нового рейтингу конкурсанта
НРЛ = РЛ + ЗР , (6)
де РЛ - рейтинг людини, перед здачею екзамену;
ЗР - зміна рейтингу.
Отже, порядок перерахунку рейтингу людини відбувається за таким
алгоритмом:
І.Розраховуєтсья складність екзамену, який складав конкурсант.
2.Обчислюється імовірність дачі конкурсантом правильних відповідей
на запитання екзамену.
3.Визначається сума правильних відповідей, які дав конкурсант на
запитання екзамену.
4.Обчислюється зміна рейтингу конкурсанта.
5.Розраховується нове значення рейтингу конкурсанта.
^ Система інстуктора - [Персонал]
Файл Дії Конфігурація Допомога
013®
& Ш # Ф А
Штатний розклад
Посади
Ал ІЇИЩІ
Контрольні набори
Методики
^ Курси
Завдання
ПІБ
Пастушенко Т. Б.
Чорненька Г. Д.
Підрозділ Посада
Секретаріат Фракції Блоку..
Секретаріат Фракції Блоку..
Старший консультант
Спеціаліст 1 категорії
Рейтинг
111Є
1099
Рис.2 Значення поточних рейтингів працівників
Отриманий у формулі (6) новий рейтинг конкурсанта фіксується у базі.
За допомогою підсистеми Інструктора системи «Конкурс» інструктор може
31
переглянути поточні рейтинги людей (рис.2) і при потребі сформувати
друкований звіт по рейтингах для подальшого аналізу.
Інструктор системи «Конкурс» не може самостійно змінювати рейтинг
людини. Зміна рейтингу відбувається тільки програмно на основі наведених
вище формул.
Робота з матеріалами в системі «Конкурс» здійснюється через
підсистему Автора. Призначенням даної системи є організація, формування
та редагування навчальних матеріалів, тобто формування навчальних курсів,
наповнення курсів інформацією та створення запитань різних типів для
проведення контролю.
Поточне значення складності запитання можна переглянути в
підсистемах Інструктора (рис.3) та Автора (рис.4) системи «Конкурс». У
випадку якщо запитання тільки створене і жодного разу на нього не
відповідали біля значення складності запитання (складність становить 1000)
відображається слово «нове», рис.5.
а - [Курси] В і ї
1 Допомога
Запитання Складність 1
нческой настро Конституційний Суд України приймає рішення та дає висновки у справах щодо: 1025
'Про Націоналі
юводства у Ве[
"Про окорону І
"Про культуру
па пожежної бє
«Про вищу ОСЕ
"Про Констигі
СНОВИ КОНСТ
. Загальні поле
юводства у Ве[
"Про окорону І
"Про культуру
па пожежної бє
«Про вищу ОСЕ
"Про Констигі
СНОВИ КОНСТ
. Загальні поле
юводства у Ве[
"Про окорону І
"Про культуру
па пожежної бє
«Про вищу ОСЕ
"Про Констигі
СНОВИ КОНСТ
. Загальні поле
юводства у Ве[
"Про окорону І
"Про культуру
па пожежної бє
«Про вищу ОСЕ
"Про Констигі
СНОВИ КОНСТ
. Загальні поле
юводства у Ве[
"Про окорону І
"Про культуру
па пожежної бє
«Про вищу ОСЕ
"Про Констигі
СНОВИ КОНСТ
. Загальні поле
юводства у Ве[
"Про окорону І
"Про культуру
па пожежної бє
«Про вищу ОСЕ
"Про Констигі
СНОВИ КОНСТ
. Загальні поле
Повноважень
Рис.3. Поточне значення складності запитання в підсистемі Інструктора
кїЗ Вкажіть правильну
І Е ! ® " ^ І в иповіді | Ш аблони |
Складність Допомога по запитанню
Значення: |Ю29 Обнулити Допомога з курсу:
Відповіді Контекстне посилання: гакопі. гасіа. доу. і
Допустима к-сгь невибраних правильник: < 0 • | Службова інформація
Допустима к-сть вибраних не правильних : 0 * | Службовий номер:
Перемішувати відповіді 0 Службовий коментар: Перемішувати відповіді 0
Зміст запитання | Коментар до запитання | Доповнення до запитання ]
Які громадяни не мають право голосу на виборах і референдумах?
32
Рис.4 Поточне значення складності запитання в підсистемі Автора
уктора - [Курси]
/рація Допомога
А Запитання Складність І
практической настро Що є підставою для визнання правовик актів неконституційними? И050(новеУ
країни 'Про Націонал
іія з діловодства у Bet
країни "Про охорону
країни "Про культуру
правила пожежної бе
країни «Про вищу ОСЕ
країни "Про Констиг^
ііл 1. ОСНОВИ КОНСТ
"лава 1. Загальні поле
країни 'Про Націонал
іія з діловодства у Bet
країни "Про охорону
країни "Про культуру
правила пожежної бе
країни «Про вищу ОСЕ
країни "Про Констиг^
ііл 1. ОСНОВИ КОНСТ
"лава 1. Загальні поле
країни 'Про Націонал
іія з діловодства у Bet
країни "Про охорону
країни "Про культуру
правила пожежної бе
країни «Про вищу ОСЕ
країни "Про Констиг^
ііл 1. ОСНОВИ КОНСТ
"лава 1. Загальні поле
країни 'Про Націонал
іія з діловодства у Bet
країни "Про охорону
країни "Про культуру
правила пожежної бе
країни «Про вищу ОСЕ
країни "Про Констиг^
ііл 1. ОСНОВИ КОНСТ
"лава 1. Загальні поле
—
країни 'Про Націонал
іія з діловодства у Bet
країни "Про охорону
країни "Про культуру
правила пожежної бе
країни «Про вищу ОСЕ
країни "Про Констиг^
ііл 1. ОСНОВИ КОНСТ
"лава 1. Загальні поле
країни 'Про Націонал
іія з діловодства у Bet
країни "Про охорону
країни "Про культуру
правила пожежної бе
країни «Про вищу ОСЕ
країни "Про Констиг^
ііл 1. ОСНОВИ КОНСТ
"лава 1. Загальні поле
"лава 2. Повноважень
^ Стаття 13. Повнов
Щ Стаття 15. Підстаї
Рис.5 Відображення складності нового запитання в підсистемах Інструктора і Автора
Інструктор системи «Конкурс», за допомогою підсистеми Інструктора
може тільки переглядати поточне значення складності запитання. В
підсистемі Автора, системи «Конкурс», реалізований більший набір функцій
для роботи із складністю запитань. Користувач з правами Автора має право
Скинути - встановити початкове значення складності запитання (присвоїти
значення 1000, згідно системи рейтингу Ело). При редагуванні або
копіюванні запитання автор вирішує, Скинути значення складності
запитання чи залишати його на поточному рівні;
Алгоритм перерахунку складності запитання після того, як на нього
відповідали є наступним.
На першому кроці розраховується імовірність неправильної відповіді
ІНВ на запитання. Тобто, згідно системи рейтингів Ело, розглядається
випадок коли запитання «перемагає».
ІНВ = ТЛ-СТ , (7)
1 +10 400
де СЗ - складність запитання, перед здачею екзамену;
РЛ - рейтинг людини, перед здачею екзамену.
На наступному кроці розраховується зміна складності запитання:
ЗС = 25 * ( В З - ІНВ), (8)
де ВЗ - відповідь на запитання.
Значення ВЗ, яке використовується у формулі (8), отримуємо по
наступній формулі:
ВЗ [0, якщо конкурсант дав правильну відповідь на запитання ^
[і, якщо конкурсант дав неправильну відповідь на запитання
Значення зміни складності може приймати як додатні, так і від'ємні
33
значення, тобто складність запитання може як збільшуватися, так і
зменшуватися.
Останній крок, це визначення нової складності запитання НСЗ:
НСЗ = СЗ + ЗС, (10)
де СЗ - складність запитання, перед здачею екзамену;
ЗС - зміна складності.
Після визначення за допомогою формули (10) нової складності
запитання, отримане значення фіксується в базі даних. Потрібно зазначити,
що якщо нове значення складності становить менше 1000, то в базі
фіксується 1000, тобто нижче 1000 значення складності не може опуститися.
Визначення критичних («поганих») запитань
Збір статистики по відповідях на певні запитання дозволяє робити
висновки про ці запитання. В системі «Конкурс», якщо на запитання
відповідали більше 10 разів, відбувається аналіз кількості правильних
відповідей. Якщо процент правильних відповідей на запитання менше 10%
запитання вважається занадто складним. Це може бути зумовлене,
наприклад, неправильним формулюванням запитання. Якщо ж процент
правильних відповідей більше 90% запитання вважається занадто легким.
В підсистемах Інструктора та Автора системи «Конкурс» критичні
запитання підсвічуються кольором, «легкі» запитання підсвічуються синім
кольором, «складні» - червоним, рис.6. На основі даної інформації про
запитання автор може прийняти рішення про корекцію запитання.
З
.новы практическом наст[
ікон України 'Про Націонг
лрукція з діловодства у В
ікон України "Про охорон
ікон України "Про культу;
:новні правила пожежної і
ікон України «Про вишу о
ікон України "Про Консти
ікон України 'Про статус \
ігламенг Верховної Ради!
інституція України
РОЗДІЛ І. ЗАГАЛЬНІ З/
^ Стаття 1
^ Стаття 2
^ ^ ^
^ Стаття 5
0 Стаття 10
Стаття 13
В чому полягає основний зміст діяльності держави?
Перед ким відповідає держава за свою діяльність?
Складність
1009 (погане)
1000 (нове)
Рис.6 Виділення «критичних» запитань в підсистемі Інструктора
Використання динамічної оцінки [2]
Впровадження системи рейтингів дозволяє ввести ще одну додаткову
функцію - динамічне формування оцінки. Суть динамічного оцінювання
полягає в тому, що можна формувати оцінку в залежності від поточного
34
рейтингу користувача і складності запитань, на які він відповідав.
В системі «Конкурс» впроваджена система динамічного оцінювання на
основі рейтингу Ело. Система оцінювання, статична чи динамічна,
визначається в підсистемі Інструктора, по гілці Методики, рис.7
Рис.7 Вибір системи оцінювання в підсистемі Інструктора
Рис.8. Пояснення отриманої оцінки при динамічній системі оцінювання
При виборі динамічної системи оцінювання, після проходження
тестування, конкурсанту виставляється оцінка виходячи з проценту
правильних відповідей, рейтингу конкурсанта та середньої складності
екзамену, який він здавав. Оцінка виставляється за наступними правилами:
а) при системі оцінювання зараховано/не зараховано, за межу
зараховано береться значення ОВПВ (очікуваний відсоток правильних
35
відповідей) з формули (3);
б) при 5-ти бальній системі оцінювання за межі оцінок беруться
наступні значення:
межа 2-3 - 0.5*ОВПВ;
межа 3-4 - ОВПВ;
межа 4-5 - 50+0.5*0ВПВ;
межа 5 - 100.
Пояснення отриманої оцінки конкурсант може побачити після здачі
екзамену в системі Учня, на кадрі з результатами екзамену, рис.8.
1. http://uk.wikipedia.org
2. Самойлов В.Д.. Организация формирования сложности тестовых заданий и
рейтинга тестируемых. Зб. наук. пр. ИПМЭ ім. Г.Е.Пухова, спец. вип. «Сучасні
технології перепідготовки персоналу та управління кадрами в промисловості та
паливно-енергетичному комплексі», Київ, 2007 г., с.91-96
Поступила 11.02.2009р.
http://uk.wikipedia.org
|