Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів

У статті описано математичне та програмне забезпечення автоматизованого проведення іспитів. Описано передумови експертного оцінювання та здійснюється аналіз ефективності процесу оцінювання. Аналізуються основні аспекти структуризації предметної області. Розглянуто типи запитань, які можуть викори...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2010
Hauptverfasser:	Гнатієнко, Г.М., Снитюк, В.Є.
Format:	Artikel
Sprache:	Ukrainian
Veröffentlicht:	Інститут проблем штучного інтелекту МОН України та НАН України 2010
Schriftenreihe:	Штучний інтелект
Schlagworte:	Обучающие и экспертные системы
Online Zugang:	http://dspace.nbuv.gov.ua/handle/123456789/56847
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів / Г.М. Гнатієнко, В.Є. Снитюк // Штучний інтелект. — 2010. — № 3. — С. 638-647. — Бібліогр.: 8 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-56847
record_format	dspace
spelling	irk-123456789-568472014-02-27T03:01:29Z Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів Гнатієнко, Г.М. Снитюк, В.Є. Обучающие и экспертные системы У статті описано математичне та програмне забезпечення автоматизованого проведення іспитів. Описано передумови експертного оцінювання та здійснюється аналіз ефективності процесу оцінювання. Аналізуються основні аспекти структуризації предметної області. Розглянуто типи запитань, які можуть використовуватися при проведенні іспитів. Наводяться можливості системи підтримки проведення іспитів. Описується архітектура автоматизованої системи підтримки складання іспитів. Система проходить тестування у кількох організаціях і найближчим часом робоча версія системи буде готова до промислової експлуатації. Описывается математическое и программное обеспечение автоматизированного проведения экзаменов. Проводится анализ предпосылок эффективного процесса оценивания. Перечислены типы вопросов, которые могут использоваться при проведении экзамена. Приводятся возможности системы поддержки проведения экзаменов, ее архитектура и структура связей между функциональными подсистемами. Описаны особенности подсистем, составляющих систему. Предлагается структура баз данных, положенных в основу информационного обеспечения системы. В ближайшее время рабочая версия системы будет готова к вводу в промышленную эксплуатацию. 2010 Article Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів / Г.М. Гнатієнко, В.Є. Снитюк // Штучний інтелект. — 2010. — № 3. — С. 638-647. — Бібліогр.: 8 назв. — укр. 1561-5359 http://dspace.nbuv.gov.ua/handle/123456789/56847 519.816 uk Штучний інтелект Інститут проблем штучного інтелекту МОН України та НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Ukrainian
topic	Обучающие и экспертные системы Обучающие и экспертные системы
spellingShingle	Обучающие и экспертные системы Обучающие и экспертные системы Гнатієнко, Г.М. Снитюк, В.Є. Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів Штучний інтелект
description	У статті описано математичне та програмне забезпечення автоматизованого проведення іспитів. Описано передумови експертного оцінювання та здійснюється аналіз ефективності процесу оцінювання. Аналізуються основні аспекти структуризації предметної області. Розглянуто типи запитань, які можуть використовуватися при проведенні іспитів. Наводяться можливості системи підтримки проведення іспитів. Описується архітектура автоматизованої системи підтримки складання іспитів. Система проходить тестування у кількох організаціях і найближчим часом робоча версія системи буде готова до промислової експлуатації.
format	Article
author	Гнатієнко, Г.М. Снитюк, В.Є.
author_facet	Гнатієнко, Г.М. Снитюк, В.Є.
author_sort	Гнатієнко, Г.М.
title	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів
title_short	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів
title_full	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів
title_fullStr	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів
title_full_unstemmed	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів
title_sort	математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
publishDate	2010
topic_facet	Обучающие и экспертные системы
url	http://dspace.nbuv.gov.ua/handle/123456789/56847
citation_txt	Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів / Г.М. Гнатієнко, В.Є. Снитюк // Штучний інтелект. — 2010. — № 3. — С. 638-647. — Бібліогр.: 8 назв. — укр.
series	Штучний інтелект
work_keys_str_mv	AT gnatíênkogm matematičnetaprogramnezabezpečennâzadačobrobkiekspertnoíínformacíípriprovedennííspitív AT snitûkvê matematičnetaprogramnezabezpečennâzadačobrobkiekspertnoíínformacíípriprovedennííspitív
first_indexed	2025-07-05T08:07:55Z
last_indexed	2025-07-05T08:07:55Z
_version_	1836793595352317952
fulltext	«Искусственный интеллект» 3’2010 638 7Г УДК 519.816 Г.М. Гнатієнко, В.Є. Снитюк Українська міжнародна фондова біржа, м. Київ, Україна Черкаський державний технологічний університет, м. Черкаси, Україна Gnatienko@uise.kiev.ua, snytyuk@gmail.com Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів У статті описано математичне та програмне забезпечення автоматизованого проведення іспитів. Описано передумови експертного оцінювання та здійснюється аналіз ефективності процесу оцінювання. Аналізуються основні аспекти структуризації предметної області. Розглянуто типи запитань, які можуть використовуватися при проведенні іспитів. Наводяться можливості системи підтримки проведення іспитів. Описується архітектура автоматизованої системи підтримки складання іспитів. Система проходить тестування у кількох організаціях і найближчим часом робоча версія системи буде готова до промислової експлуатації. Вступ У людській життєдіяльності існують сфери, які слід автоматизувати з метою запобігання можливої суб’єктивності в оцінках, перестраховки від можливих злов- живань тощо. До зазначених категорій, зокрема, можна віднести ситуацію складання іспиту зі знання «Правил дорожнього руху», який досить легко формалізується і надає широкі можливості для зловживань; регулярні перевірки знання представниками окремих професій «Правил техніки безпеки», які мають здебільшого формальний ха- рактер, але одночасно є необхідними з огляду на чинне законодавство; складання іс- питів абітурієнтами для спеціальностей, які можна автоматизувати у вигляді варіан- тів екзаменаційних білетів, та велика кількість інших реальних ситуацій підготовки та складання іспитів. Недоліком більшості іспитів, які проводяться сьогодні в різних соціальних сферах, є неможливість уніфікації вимог до результатів іспиту. Це пояснюється тим, що, по- перше, ця процедура проводиться, як правило, різними викладачами, і, по-друге, з вра- хуванням суб’єктивних факторів, оскільки навіть в полі діяльності одного екзаме- натора можливі значні відхилення в критеріях оцінки студентів як в бік завищення вимог, так і в бік невиправданого завищення оцінок. Це, безумовно, тягне за собою можливість як «добросовісних» помилок, так і відвертих зловживань при проведенні іспитів, не кажучи вже про замовлення результатів іспитів, які стають таким чином обумовленими, і сама процедура іспиту відіграє лише формальну роль і таке інше. Саме з метою автоматизованого вирішення зазначених проблем та підготовки користувача до проведення зазначеного класу іспитів розроблено автоматизовану систему «Іспит». Система функціонує під управлінням MS Windows, написана у сере- довищі програмування DELPHI. Система призначена для експлуатації в організаціях та установах, діяльність яких пов’язана з описаними вище ситуаціями складання іспитів, які можуть бути достатньою мірою формалізовані. Математичне та програмне забезпечення задач оброботки експертної інформації... «Штучний інтелект» 3’2010 639 7Г Передумови автоматизованого оцінювання Оцінювання є однією із складових процедур прийняття рішень. Значна кількість методів оцінювання розроблена і досліджена в монографії [1]. Вибравши за основу класифікації активність об’єкта оцінювання, будемо вважати, що існують задачі пасив- ного оцінювання, де реалізується відображення: <об’єкт>→<експерт>→<оцінка>, та активного оцінювання: <експерт>→<об’єкт>→<експерт>→<оцінка>. У першому випадку мають місце задачі ранжування об’єктів за значеннями їх харак- теристик. Інші задачі виникають при визначенні компетентності експертів чи проведенні контролю знань студентів, де передбачається активна участь суб’єктів оцінювання. Для першого випадку тривіальними є задачі, в яких об’єкт визначається лише однією характеристикою, і складнішими є задачі, в яких кількість таких характерис- тик є значною. Оцінювання індивідів є комплексною задачею, яка може розв’язуватись за умов детермінованості, часткової або повної невизначеності. У системі «Іспит» реа- лізовано процедуру оптимізації процесу оцінювання індивідів за умови повної невизна- ченості шляхом структуризації предметної області та застосування аксіоми незміщеності. Автоматизовані системи, які використовуються для автоматизованого, зокрема, дистанційного оцінювання, належать до широкого класу інтелектуальних систем і, напевно, в кожній українській організації, яка використовує у своїй роботі тестування, оцінювання, експертизу, є програмні модулі, за допомогою яких здійснюються експертні оцінки. Більшість з них має досить просту структуру та елементну базу, яка складається з тестів. Кожний тест складається з певної кількості питань. За правильну відповідь на одне питання експерт, наприклад, одержує «1», за неправильну − «0». Бали за відповіді на питання підсумовуються. Числовий відрізок можливих результатів розбивається на інтервали, кожному інтервалу відповідає певна оцінка. В кращому випадку питання мають вагові коефіцієнти. Такий підхід до створення і використання експертних систем має низку важливих передумов: – створюють програмні реалізації інформаційно-аналітичних систем (ІАС) експер- тного оцінювання найчастіше фахівці з комп’ютерних наук, які мають досить слабкі знання предметної області та ключових моментів експертизи, а «вузькі» спеціалісти не мають можливості ні оцінки тестів через їх спеціалізованість, ні самостійного створення таких систем через незнання програмування; – структурна перебудова виробничих та інформаційних процесів, економічна дина- міка, змінність законодавчої бази призводить до відсутності репрезентативної статистики і, як наслідок, неможливості створення логічних схем проведення експертного аналізу та створення ІАС; – повна відсутність єдиної теорії побудови ІАС, моделей і методів, на яких вони мають базуватись: відомо лише окремі підходи, які базуються на елементарній алгебрі і, в кращому разі, елементах статистики; – задачі, які розв’язуються за допомогою ІАС, є неформалізованими, відсутнє поняття оптимального тесту, не розроблено методи самоорганізації інформаційної бази в процесі функціонування систем, а також, залежно від виду контролю, умови його переривання. Розглянемо складові елементи ІАС, які використовуються для завершального контролю. До них входять: задачі, правила відповідей на них, власне відповіді і, в біль- шості випадків, оцінки виконання задач і рекомендації з інтерпретації результатів [2]. Ефективність експертного контролю визначається таким чином: 1 2 3( , , , , ),E F H H H T K= Гнатієнко Г.М., Снитюк В.Є. «Искусственный интеллект» 3’2010 640 7Г де T − час контролю, K − кількість задач, 1H − ентропія, яка визначається рівнем знань та підготовки експерта і його інтуїцією, 2H − ентропія, яка властива особі, що прий- має рішення (ОПР) при оцінці знань експерта і базується на результатах функціону- вання експертної системи, досвіді та інтуїції, 3H − композиційна ентропія зовнішнього середовища, ОПР, і експерта. Очевидно, що створення ефективної експертної системи рівносильне розв’язанню задачі, або сукупності задач min, 1,3, min, miniH i T K→ = → → . Процес розв’язання задачі має базуватися на наступних принципах: – необхідною умовою ефективного функціонування експертної системи [3] є роз- робка логічної схеми задач; – достатньою умовою є єдина методологія проведення експертного контролю та оцінки його результатів для різних задач; – ефективне використовування ІАС можливе лише за наявності синергетичних процедур, направлених на зменшення часу контролю і кількості питань. Логічна схема задач розробляється ОПР і може бути побудованою за принци- пами, наведеними в [3]. Вона має вид графа. На нижньому рівні знаходяться питання, які мають кількісну інтерпретацію, і відповіді на них враховуються при визначенні подаль- шої структури питань. При проведенні процедури контролю питання нижнього рівня вибираються випадковим чином. В графі є вершини, які мають якісне представлення результату, в загальному випадку, у вигляді предикатної функції і визначають перехід до групи питань іншої теми при наборі певної кількості балів. Серед вершин є також такі, які мають логічне представлення результату, що формується внаслідок виконання визначених кон’юнктивних або диз’юнктивних умов, і передбачають при- пинення тесту як у разі відсутності знань у експерта, так і у випадку відмінних знань. Правильне формування структури і її інформаційне насичення є основним фактором, який визначає ефективне функціонування ІАС. Розробка єдиної методології експертних оцінок в автоматизованій системі базується на класифікації питань залежно від варіантів відповідей. Прикладом є використання ва- ріантів питань з можливими відповідями типу: «Так – Ні», «один з декількох», «декілька із багатьох», «число», «інтервал», «нечіткий інтервал» [4], «слово», «одне або декілька речень». Така класифікація [5] є повною і навіть дещо надмірною. Питання першого типу можна вважати частковим випадком питань другого типу, питання четвертого і п’ятого типу з певним наближенням можуть входити до шостого типу. Але для зручності розрахунків і збереження структурованості схеми експертного контролю доцільно ці питання розглядати окремо. Головною проблемою на цьому етапі є приведення оцінок до єдиної шкали. Очевидно, що відповіді на питання типу «Так – Ні» оцінюються за {0, 1}- шкалою. Оцінка відповідей на питання інших типів має належати відрізку [0; 1]: абсолют- но правильна відповідь має оцінку «1», а неправильна − «0». Для питань другого типу «один з декількох» за єдино правильну відповідь – оцінка «1», за неправильні − «0». Аналіз передумов ефективного процесу оцінювання Визначимо передумови, що супроводжують процес експертного оцінювання. Роз- ділимо їх на два класи. До першого належать атрибути процесу оцінювання. Пропонуємо вважати такими повноту та швидкість його проведення, а також об’єктивізацію суб’єк- тивних тверджень та висновків. Повнота оцінювання є передумовою встановлення вірної оцінки. У нашому випадку під повнотою будемо розуміти такий атрибут, який вказуватиме на рівень охоплення Математичне та програмне забезпечення задач оброботки експертної інформації... «Штучний інтелект» 3’2010 641 7Г предметної області, концентрованим виразом якого є база питань, та алгоритмічну реалізацію процесу оцінювання, що передбачає відсутність інформаційної надлишко- вості та інформаційної недостатності. Швидкість оцінювання – важлива характеристика, яка вказує на оптимальність алгоритмічної організації процесу та відсутність зайвих кроків. Об’єктивізувати суб’єктивні судження можна, уніфікувавши процедуру оцінювання, що є нетривіальною проблемою через різнорідність кроків алгоритму та можливих питань, застосувавши автоматизовану технологію обробки суджень та виконавши редукцію різнорідних елементів до однієї схеми. Другий клас визначають процедури оптимізації процесу оцінювання. До них і на- лежить використання аксіоми незміщеності для здійснення алгоритмізації процесу оцінювання та структуризації предметної області, що дозволяє встановити в т.ч. і при- чинно-наслідкові відношення між фактами, релевантними даній предметній області. Детальніше зупинимось на цих процедурах. Аксіома незміщеності формулюється так: «Судження більшості компетентне» [6]. Звичайно, таке твердження можна нама- гатись заперечувати, зокрема, згадуючи твердження геніїв, які «випереджали» свої епохи і які не сприймались суспільством. Водночас зауважимо, що суспільний розвиток від- бувався у напрямку, який визначала більшість (у демократичних країнах), а історія не знає категорії припущень (а що було б, якби?..). Наслідком аксіоми незміщеності є твердження про те, що найбільш компетентним (у найбільш широкому сенсі цього поняття) є той експерт, судження якого у найбільшій кількості випадків збіглися з судженнями більшості експертів. Останній висновок можна переформулювати: найбільш компетентним є той експерт, розбіжність суджень якого з судженнями інших експертів є мінімальною. Зауважимо, що такий факт має місце за умови відсутності будь-яких зовнішніх обмежень. Реалізація наслідку буде запропонована нижче. Структуризацію предметної області будемо здійснювати на основі онтології. За озна- ченням [7], онтологія є трійкою елементів , , ,P R IΩ = < > де P – множина понять, R – відношення між поняттями, I – інтерпретація цих відношень. Побудова Ω є достат- ньо складною самостійною задачею, надалі ми розглянемо її окремі аспекти. Вважа- тимемо, що онтологія предметної області вже побудована. Далі у статті наведено основні елементи, які визначають композицію алгоритмізації оцінювання і результат структури- зації предметної області. Таким чином, задача полягає у розробці технології оцінювання, в якій буде перед- бачено уніфікацію процедур визначення оцінки та оптимізацію цього процесу. Процедури алгоритмізації процесу оцінювання на базі аксіоми незміщеності описано в роботі [8]. Основні аспекти структуризації предметної області Алгоритмізація та формалізми, запропоновані вище, не дають відповіді на питання оптимізації процесу оцінювання. Спробуємо запропонувати певні логіко-алгоритмічні елементи, які дозволяють підвищити його ефективність. Процес оцінювання може мати в основі три схеми проведення: індуктивну, дедук- тивну та комбіновану. Інтерпретація першої з них: «Знати основне і знати часткове, тоді припустити, що загальне теж відоме, але не перевіряти». Дедуктивна схема: «Знати основне і знати загальне, тоді припустити, що часткове теж відоме, але не перевіряти». Комбі- нований варіант: «Знати основне та випадковим чином перевірити знання елементів загального і часткового». У різних задачах оцінювання можуть бути використаними усі три схеми. Значною мірою такий вибір залежить від суб’єкта та об’єкта оцінювання. Гнатієнко Г.М., Снитюк В.Є. «Искусственный интеллект» 3’2010 642 7Г Відповідно до схеми проведення оцінювання необхідно сформувати логічну схему оцінювання. Вона формально матиме структуру графа «І-АБО», де у вершинах знаходитимуться питання, дуги будуть вказувати на можливі переходи. Крім того, над- будовою над логічною схемою буде певна алгоритмічна процедура, яка працюватиме за принципом переривань. Цією процедурою визначатиметься необхідність закінчення контролю та розрахунок оцінки. В основу формування логічної схеми покладемо онтологію предметної області. Розробити онтологію може досвідчений експерт (найчастіше експерт у цій предметній області), використовуючи свої знання, досвід та інтуїцію. Така розробка є надто трудомісткою і для того, щоб прискорити створення онтології і не втратити в якості, необхідно цей процес частково оптимізувати. Пропонуємо такий алгоритм: Крок 1. Визначити базовий документ, в якому міститься опис предметної області. Це можуть бути нормативні документи, енциклопедична інформація, книги, підруч- ники, електронні конспекти та інші першоджерела. Крок 2. Припустити, що основними поняттями є іменники, та виконати частотний аналіз наявних у тексті іменників. Основні поняття міститимуться серед іменників, які зу- стрічатимуться найчастіше. Виконати вилучення зайвих слів і сформувати множину понять P . Крок 3. Продовжуючи аналіз тексту, визначити відношення між поняттями, а також між поняттями та доповненнями. Для цього для кожного поняття формуємо множину дієслів R , з якими воно зустрічається найчастіше. Крок 4. Відповідно до множини R формуємо множину інтерпретацій. Крок 5. Використовуючи сформовану онтологію, розробити базу питань і відповідей. Відповідності, розглянуті вище, можуть бути розробленими для всієї предметної області. На розсуд ОПР відносимо формування логічної схеми. Причому вона повинна бути такою, щоб найвища оцінка відповідала найповнішому знанню предметної області. Основні типи запитань При проектуванні та розробці різнопланових систем виникають проблеми, викликані неповнотою та недостовірністю ретроспективних та прогнозних даних. Такі факти можна було б відкидати, але тоді довелось би відмовитись від цінної інфор- мації. Виникає необхідність розробки процедур для здійснення логічних побудов за відсутності повної та достовірної інформації. Найчастіше вдаються до допомоги екс- пертів, які, використовуючи свої знання, досвід, інтуїцію, а також колективний підхід до вироблення рекомендацій на початкових етапах розв’язання задач, визначають і (або) прогнозують вихідні дані, що є відправною точкою дослідження і надалі, можливо, ітераційно уточнюватимуться і перевірятимуться. Експерти відповідають на численні питання, які мають різну значущість. Виконаємо їх класифікацію за типами можли- вих відповідей: 1Z − «Так – Ні»; 2Z − один з декількох; 3Z − декілька з багатьох; 4Z − число; 5Z − інтервал; 6Z − нечіткий інтервал; 7Z − слово; 8Z − речення. Для розширення можливостей та сфер застосування системи «Іспит» було розроблено та реалізовано у вигляді програмного забезпечення різні типи запитань. Наведемо їх короткий опис. Т#1. <Варіанти_відповідей><Ступінь_важливості_1> <Ступінь_важливості_2> <Номер_»навідного»_запитання>. Тип запитання, який допускає відповіді за таким форматом, належить до класу іспитів типу «Правила дорожнього руху» та дещо складніших. Кожному варіанту від- повіді ставиться у відповідність ступінь важливості та ступінь правильності відповіді. Математичне та програмне забезпечення задач оброботки експертної інформації... «Штучний інтелект» 3’2010 643 7Г Після вибору користувачем варіанта відповіді обчислюється її інтегрована оцінка як добуток <ступінь_важливості>∗<ступінь_вірності>. Т#2. Значення: <фіксоване>, <нижнє>, <верхнє>. Запитання цього типу характерні для іспитів типу «Правила техніки безпеки праці». У деяких випадках деякі значення є варіантами відповідей. T#3. Вставка символів. Використовується у випадку, коли іспит полягає в тес- туванні студента на знання деяких правил чи закономірностей. Необхідність у вико- ристанні такого типу запитання виникає в разі перевірки знань, наприклад, граматичних правил під час моделювання диктанту. Студент має вписати, або не вписувати у вказані поля пропущені чи необґрунтовано замінені літери чи інші символи, слова, словосполучення тощо. Тестовим текстам відповідають варіанти правильних відповідей, з якими звіряються відповіді, одержані від студента. Вводиться метрика для визначення бальної оцінки відповідей студента. T#4. Тестові запитання. У цьому випадку варіанти відповідей звіряються з тес- товими. Викладач задає (вибирає з меню) критерій (чи критерії) вірності відповідей на тест в цілому. В конкретних випадках це може бути кілька формул чи цілий алгоритм обчислення інтегрованої оцінки тесту. Якщо інтегрована оцінка обчислюється унікальною формулою, то ця формула інтерпретується спеціальним блоком системи «Іспит». T#5. Складні запитання. Користувачеві надається можливість згенерувати відповідь у вигляді речення. Правильність відповіді перевіряється шляхом зіставлення цього речення з шаблонами. T#6. Ранжування відповідей. Користувач повинен ввести варіанти відповідей у порядку зменшення їх правильності. Відстань від заданого ранжування до вірного обчис- люється в різних метриках. Оцінка студентові генерується за формулами, вибраними викладачем. Зрозуміло, що наведені типи запитань не охоплюють усього різноманіття ситуацій проведення іспитів та прийняття рішень про їх результати. Тому система «Іспит» є відкритою для доповнення додатковими функціями, які моделюють ситуації складання іспитів та допускають формалізацію. Можливості системи «Іспит» При проведенні багатьох типів іспитів колектив фахівців, який займається орга- нізаційно-методичним забезпеченням проведення іспиту, як правило, надзвичайно багато часу та ресурсів має приділяти роботам зі збору та обробки інформації. Зокрема, мають бути виконані такі роботи: – реєстрація учасників іспиту та викладачів, тобто присвоєння індексів елемен- там моделі для побудови математичної моделі конкретного іспиту; – розподілення учасників іспиту та викладачів по місцях проведення іспиту, тобто встановлення відповідності між елементами математичної моделі для її структуризації; – шифрування робіт перед перевіркою їх викладачами з метою підвищення об’єк- тивності перевірки; – розподілення робіт для перевірки та зберігання інформації про те, хто з викла- дачів які роботи перевіряв, тобто кластеризація даних і додаткове структурування мате- матичної моделі; – збір інформації про перевірку та виставленням оцінок, її обробку, дешифру- вання робіт, формування різних звітних документів тощо. Існує значна кількість інших питань, вирішення яких займає досить багато часу: перевірка коректності введеної інформації про учасників іспиту та викладачів, вибір ро- Гнатієнко Г.М., Снитюк В.Є. «Искусственный интеллект» 3’2010 644 7Г біт, які отримали максимальну кількість балів для ретельнішої перевірки та інші важливі питання. Необхідно розробити програмне забезпечення, яке повністю автоматизує процес підготовки, проведення та перевірки результатів значної кількості типів іспитів, а також передбачає ведення бази даних про учасників іспитів та формування звітних документів. Автоматизована система «Іспит» повністю автоматизує процес перевірки значної кількості типів іспитів, а також передбачає ведення бази даних про учасників іспиту та формування звітних документів. Причому перевірка робіт ведеться на комп’ютерах, які з’єднані в локальну мережу. На одному з них встановлюється керуюча програма, на решті – програми перевірки робіт. Система «Іспит» підтримує такі функції: – введення і зберігання інформації про учасників іспиту та викладачів; – введення і зберігання інформації про «робочі місця» (назва організації, номер кабінету чи аудиторії, кількість комп’ютерів, відомості про периферію); – введення і зберігання інформації про розподіл учасників іспиту та викладачів на місці проведення іспиту; – шифрування робіт учасників, яке спрямоване на підвищення об’єктивності при перевірці робіт; – підготовка структури системи для конкретної групи учасників (створення каталогу та файлу, які ідентифікують учасника, створення структури каталогів відповідно до кожного туру, копіювання додаткових файлів тощо); – копіювання робіт учасників в базу зі створенням відповідної структури катало- гів для кожного туру іспиту та з використанням шифрів учасників; – введення, редагування та перегляд результатів перевірки; – механізм взаємодії з перевіряючою програмою, автоматичний запис результатів перевірки в базу даних; – створення звітних документів: списків учасників, розподілення учасників та вик- ладачів по «робочих місцях», протокол шифрування, протокол результатів перевірки робіт. При виборі пункту головного меню «Настройка» відкривається вікно «Установки», яке дозволяє налаштувати такі параметри системи: – диск та робочий каталог, в якому знаходяться база даних, роботи учасників та файли звітів; – кількість комп’ютерів для перевірки робіт; – максимальний час перевірки роботи учасника на поточному тесті; – логічні імена зовнішніх носіїв інформації. Автоматизована система «Іспит», розроблена авторами, має широкі можливості: 1. Знижує час проведення іспиту в разі, коли це є важливим фактором, а процес іспиту – відносно формальною справою, через яку треба провести значну кількість людей. 2. Практично не змінює схему іспитів, передбачену традиційними підходами. 3. В разі необхідності відіграє лише дорадчу функцію, а остаточне рішення про оцінку приймає викладач. 4. Забезпечує повну анонімність студента в разі необхідності; тобто виключає мож- ливість для викладача ідентифікувати відповіді з їх автором до підбиття підсумків. 5. Обчислення статистики іспиту, тобто розподілення результатів іспиту за якістю, адже інколи іспит полягає саме в ранжуванні студентів, а не у виявленні абсолютних балів (оцінки завжди суб’єктивні тією чи іншою мірою), які адекватно відповідають показаним на іспитах знанням. Тому виявлення результатів іспиту полягає у підборі критеріїв оцінки знань за його результатами. І це завдання вже не стільки викладача, який у процесі іспиту виступає експертом, а швидше аналітика. Саме для автоматиза- ції роботи аналітика і призначена ДС «Іспит». Математичне та програмне забезпечення задач оброботки експертної інформації... «Штучний інтелект» 3’2010 645 7Г 6. У разі необхідності досягнути бажаного розподілення результатів іспиту по групі за рахунок відповідної варіації критеріїв оцінки, якщо завдання іспиту полягає у кластеризації групи за деякими ознаками. 7. Формалізує процедуру виставлення оцінок, що дозволяє підвищити об’єктив- ність процесу проведення іспиту. 8. Друкування результатів іспиту і всієї необхідної супутньої документації. Адже, незважаючи на рутинність і формальність процесу іспиту, його результати часто вирі- шують важливі етапи в житті людини і мають бути надійно задокументовані. 9. Дозволяє уніфікувати вимоги до студентів у межах одного іспиту, оскільки у стосунках між людьми, якими є, зокрема, і взаємодія викладач-студент, неминуче при- сутні суб’єктивні оцінки, які вносять небажані інколи фактори викривлення у процес оцінювання результатів іспиту. 10. Підтримує уніфікацію вимог до студентів у межах одного іспиту, оскільки у взаєминах між людьми, зокрема у взаємодії викладач-студент, неминуче присутні суб’єктивні оцінки, які вносять небажані фактори неадекватності у процес оцінювання результатів іспиту. 11. Виключає можливість втручання факторів необ’єктивності в хід, перевірку результатів та процес обчислення оцінок за результатами іспиту. 12. Дозволяє оприлюднити повну інформацію про хід та результати іспиту що- до кожного студента в разі необхідності висвітлення цієї інформації. 13. Дозволяє здійснювати підготовку користувача до складання іспиту в автома- тизованому режимі, тобто виконує навчальні функції. 14. Зменшує час проведення іспиту у випадках, коли це є суттєвим фактором і в іспиті бере участь значна кількість студентів. 15. Практично не змінює традиційну схему іспиту. Архітектура системи «Іспит» Архітектурно система «Іспит» складається з кількох взаємозв’язаних підсистем (ПС). ПС шифрування та настройки роботи системи призначена для: – підготовки структури системи для конкретної групи учасників (створення папки та файлу, які ідентифікують учасника, створення структури папок відповідно до кожного туру оцінювання, копіювання додаткових файлів тощо); – шифрування робіт учасників з метою підвищення об’єктивності при перевірці екзаменаційних робіт; – настройки таких параметрів системи: 1) робоча папка, в якій створено базу даних (БД), роботи учасників іспиту та файли звітів; 2) кількість комп’ютерів для перевірки робіт; 3) максимальний час перевірки роботи учасника на поточному тесті. ПС вводу даних забезпечує: – введення, накопичення та збереження інформації про учасників іспиту та викладачів; – введення та збереження інформації про «робочі місця» (назва організації, номер кабінету чи аудиторії, кількість комп’ютерів, відомості про периферійне обладнання); – введення та збереження інформації про розподілення учасників іспиту та вик- ладачів на місцях проведення іспиту; – імпортування даних з файлів та БД, які не входять в систему «Іспит»; – перетворення даних про іспит, які використовуються в системі «Іспит», у формати, які використовуються іншими системами. Гнатієнко Г.М., Снитюк В.Є. «Искусственный интеллект» 3’2010 646 7Г ПС перевірки та аналізу призначена для: – формалізації процедури виставлення оцінок, що дозволяє підвищити об’єк- тивність процесу проведення іспиту; – автоматизації роботи аналітика: обчислення статистики іспиту, тобто розпо- ділення результатів іспиту за якістю, оскільки інколи іспит полягає саме в кластеризації або ранжуванні студентів, а не у визначенні абсолютних балів (оцінки завжди є суб’єк- тивними тією чи іншою мірою), які адекватно відповідають показаним на іспиті знанням; – підбору критеріїв оцінки знань за результатами іспитів; – досягнення бажаного розподілення результатів іспиту по групі за рахунок відповідної варіації критеріїв оцінки, якщо завдання іспиту полягає у кластеризації групи за деякими ознаками; – введення, редагування та перегляду результатів перевірки; – реалізації механізму взаємодії з перевіряючою програмою, автоматичним записом результатів перевірки в БД; – перевірки даних на повноту та несуперечливість; – формування інтегрованих даних за результатом обробки первинної інформації; – аналізу змін показників (результатів іспитів) окремих учасників чи груп учасників залежно від назви іспиту або протягом деякого періоду часу. Сервісна ПС дозволяє користувачеві: – бачити в процесі експлуатації системи «Іспит» не тільки кодовані дані, але й повну декодовану інформацію, яка цим кодам відповідає, якщо ця інформація не є конфіденційною; – ведення системного журналу змін в БД; – відновлення даних у випадку аварійних зупинок системи з вини користувача; – управління архівуванням даних. ПС підготовки звітів призначена для: – опублікування повної інформації про хід та результати іспиту стосовно кож- ного учасника у випадку необхідності оприлюднення цієї інформації; – створення звітних документів: списків учасників, розподілення учасників та викла- дачів по «робочих місцях», протоколу шифрування, протоколу результатів перевірки робіт; – генерування регулярних довідок та звітів. ПС архівування виконує такі функції: – копіювання робіт учасників у БД із створенням відповідної структури папок для кожного туру іспитів та з використанням шифрів учасників; – резервування інформації з БД для її оперативного використання під час роботи з системою. Практично з кожної вершини, в якій у користувача можуть виникнути непоро- зуміння чи неоднозначності, передбачена можливість звертання до довідкової ПС, з якої після отримання інструкції чи пояснення щодо подальших дій, управління пере- дається у точку, з якої ініційоване звертання до довідкової ПС. З кожної вершини, де це можливо без втрати логіки діалогу та не контрольо- ваної зміни інформації, передбачена можливість «відкату» на попередній крок. Таким чином, користувач має можливість опрацювати деякі кроки діалогу кілька разів у ви- падку необхідності і повернутися до початку діалогового сеансу, щоб відпрацювати, наприклад, гілку діалогу, відмінну від вибраної раніше. Система «Іспит» містить ПС протоколювання та документування інформації, яка здійснює безумовний запис ходу будь-якого іспиту до відповідних файлів. Цей важливий елемент діалогового сеансу передбачено з метою уникнення зловживань у процесі складання іспитів. Математичне та програмне забезпечення задач оброботки експертної інформації... «Штучний інтелект» 3’2010 647 7Г Висновки Значна кількість різного роду експертних систем, які використовуються у тому чи іншому вигляді для оцінювання і набули значного поширення на ринку, не від- повідає сучасному рівню інтелектуалізації програмно-алгоритмічних засобів. Найчастіше відсутньою є аргументація про повноту проведеного оцінювання, у більшості випадків не передбачено дострокового припинення оцінювання за тих чи інших обставин, організа- ційно-логічну структуру процесу оцінювання взагалі важко пояснити. У статті запропоновано підхід, який дозволяє вирішити ці проблеми, і побу- дувати методологію створення експертних систем для проведення різного роду експертиз та оцінювання компетентності, визначення кваліфікації, здійснення контролю знань і т.п. Він базується на попередній структуризації предметної області, розробленому алго- ритмі аналізу різнорідних відповідей експертів та логічній схемі проведення процесу оці- нювання. І якщо алгоритм безпосередньо придатний до використання, то структури- зація предметної області повинна здійснюватись експертами, а логічну схему оцінювання розробляє особа, що приймає рішення. Останні дві процедури є непростими, і більш детальна методологія їх розвитку ще залишається актуальною науковою задачею. Розроблено демонстраційний прототип системи «Іспит», який проходить перевірку в декількох організаціях. Технологія автоматизованої підготовки до проведення іспитів постійно удосконалюється. У найближчий час робоча версія системи буде готова до введення у промислову експлуатацію. Література 1. Гнатієнко Г.М. Експертні технології прийняття рішень / Г.М. Гнатієнко, В.Є. Снитюк. – К. : McLaut, 2008. – 444 с. 2. Аванесов В.С. Научные основы тестового контроля знаний / Аванесов В.С. − М. : Иссл. центр, 1994. − 135 с. 3. Тимченко А.А. Основы информатики системного проектирования объектов новой техники / А.А. Тимченко, А.А. Родионов. – К. : Наук. думка, 1991. – 152 с. 4. Дюбуа Д. Теория возможностей / Д. Дюбуа, А. Прад. − М. : Радио и связь, 1990. − 286 с. 5. Снитюк В.Є. Концептуальні принципи та методи проектування систем автоматизованого контролю знань / В.Є. Снитюк // АСУ и приборы автоматики. − 2003. − Вып. 123.− С. 40-43. 6. Матвеевский С.Ф. Основы системного проектирования комплексов летательных аппаратов / Матве- евский С.Ф. − М. : Машиностроение, 1987. − 239 с. 7. Gruber T.R. Toward Principles for the Design of Ontologies Used for Knowledge Sharing / T.R. Gruber // International Journal Human-Computer Studies. − 1995. − Vol. 43. − Issue 5-6. − P. 907-928. 8. Снитюк В.Є. Оптимізація процесу оцінювання в умовах невизначеності на основі структуризації предметної області та аксіоми незміщеності / В.Є. Снитюк, Г.М. Гнатієнко // Искусственный интел- лект. – 2008. – № 3. – С. 217-223. Г.М. Гнатиенко, В.Е. Снитюк Математическое и программное обеспечение задач обработки экспертной информации при проведении экзаменов Описывается математическое и программное обеспечение автоматизированного проведения экзаменов. Проводится анализ предпосылок эффективного процесса оценивания. Перечислены типы вопросов, которые могут использоваться при проведении экзамена. Приводятся возможности системы поддержки проведения экзаменов, ее архитектура и структура связей между функциональными подсистемами. Описаны особенности подсистем, составляющих систему. Предлагается структура баз данных, положенных в основу информационного обеспечения системы. В ближайшее время рабочая версия системы будет готова к вводу в промышленную эксплуатацию. Стаття надійшла до редакції 02.06.2010.

Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів

Institution

Ähnliche Einträge