Типы заданий в тестовой форме

В данной работе рассматриваются основные типы заданий, используемых в системах оценки и контроля знаний, в том числе те, которые традиционно относятся к классу «интеллектуальных». Предлагаемый анализ, который не претендует на свою функциональную полноту, позволяет реально оценить возможности совреме...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2012
Hauptverfasser:	Курилов, М.А., Сыпченко, Л.П.
Sprache:	Russian
Veröffentlicht:	2012
Schriftenreihe:	Штучний інтелект
Schlagworte:	Обучающие и экспертные системы
Online Zugang:	http://dspace.nbuv.gov.ua/handle/123456789/57756
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:	Типы заданий в тестовой форме / М.А. Курилов, Л.П. Сыпченко // Штучний інтелект. — 2012. — № 4. — С. 474-488. — Бібліогр.: 17 назв. — рос.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-57756
record_format	dspace
spelling	irk-123456789-577562014-03-15T03:01:42Z Типы заданий в тестовой форме Курилов, М.А. Сыпченко, Л.П. Обучающие и экспертные системы В данной работе рассматриваются основные типы заданий, используемых в системах оценки и контроля знаний, в том числе те, которые традиционно относятся к классу «интеллектуальных». Предлагаемый анализ, который не претендует на свою функциональную полноту, позволяет реально оценить возможности современных информационных технологий на пути программного воплощения систем контроля знаний и выбрать их наиболее оптимальные способы решения. Впервые предложена программная модель уникального графического варианта меню как объекта выбора из множества альтернатив, и ориентированная на использование в системах контроля знаний. Описана реализация уникальной модели определения численного значения оценки результатов тестирования и приведены результаты её использования. У даній роботі розглядаються основні типи завдань, які використовуються у системах оцінки і контролю знань, у тому числі ті, що традиційно відносяться до класу «інтелектуальних». Запропонований аналіз, що не претендує на свою функціональну повноту, дозволяє реально оцінити можливості сучасних інформаційних технологій на шляху програмного втілення систем контролю знань і обрати з них найбільш оптимальні способи вирішення. Вперше запропоновано програмну модель унікального графічного варіанта меню як об’єкта вибору з множини альтернатив, і орієнтовану на використання у системах контролю знань. Описано реалізацію унікальної моделі визначення числового значення оцінки результатів тестування і наведено результати її використання. In the given work, main types of tasks used in the system of estimation and checking knowledge, including those, which traditionally pertain to “intellectual” class, are considered. The proposed analysis, which does not pretend to the functional fullness, allows to value the possibility of modern information technologies on the way of the programming entailment of the knowledge checking systems and to choose their most optimum ways of the decision. The offered programming model of the unique graphic variant menu, as object of the choice from ensemble of the alternatives and oriented to use in system of the knowledge checking, is innovation. Realization of unique model of determination of numerical value of an assessment of testing results is described and the results of its use are given. 2012 Типы заданий в тестовой форме / М.А. Курилов, Л.П. Сыпченко // Штучний інтелект. — 2012. — № 4. — С. 474-488. — Бібліогр.: 17 назв. — рос. http://dspace.nbuv.gov.ua/handle/123456789/57756 004.9.1.2 ru Штучний інтелект
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Обучающие и экспертные системы Обучающие и экспертные системы
spellingShingle	Обучающие и экспертные системы Обучающие и экспертные системы Курилов, М.А. Сыпченко, Л.П. Типы заданий в тестовой форме Штучний інтелект
description	В данной работе рассматриваются основные типы заданий, используемых в системах оценки и контроля знаний, в том числе те, которые традиционно относятся к классу «интеллектуальных». Предлагаемый анализ, который не претендует на свою функциональную полноту, позволяет реально оценить возможности современных информационных технологий на пути программного воплощения систем контроля знаний и выбрать их наиболее оптимальные способы решения. Впервые предложена программная модель уникального графического варианта меню как объекта выбора из множества альтернатив, и ориентированная на использование в системах контроля знаний. Описана реализация уникальной модели определения численного значения оценки результатов тестирования и приведены результаты её использования.
author	Курилов, М.А. Сыпченко, Л.П.
author_facet	Курилов, М.А. Сыпченко, Л.П.
author_sort	Курилов, М.А.
title	Типы заданий в тестовой форме
title_short	Типы заданий в тестовой форме
title_full	Типы заданий в тестовой форме
title_fullStr	Типы заданий в тестовой форме
title_full_unstemmed	Типы заданий в тестовой форме
title_sort	типы заданий в тестовой форме
publishDate	2012
topic_facet	Обучающие и экспертные системы
url	http://dspace.nbuv.gov.ua/handle/123456789/57756
citation_txt	Типы заданий в тестовой форме / М.А. Курилов, Л.П. Сыпченко // Штучний інтелект. — 2012. — № 4. — С. 474-488. — Бібліогр.: 17 назв. — рос.
series	Штучний інтелект
work_keys_str_mv	AT kurilovma tipyzadanijvtestovojforme AT sypčenkolp tipyzadanijvtestovojforme
first_indexed	2025-07-05T09:01:14Z
last_indexed	2025-07-05T09:01:14Z
_version_	1836796949371551744
fulltext	«Искусственный интеллект» 4’2012 474 6К УДК 004.9.1.2 М.А. Курилов, Л.П. Сыпченко Институт информатики и искусственного интеллекта ГВУЗ «Донецкий национальный технический университет», г. Донецк, Украина Украина, 83050, г. Донецк, ул. Б. Хмельницкого, 84, г. Донецк kurilov.ukraine@gmail.com Типы заданий в тестовой форме M.A. Kurilov, L.P. Sypchenko Institute of Informatics and Artificial Intelligence, Donetsk National Technica lUniversity, Donetsk, Ukraine Ukraine, 83050, c. Donetsk, B. Khmelnitskiyst., 84 kurilov.ukraine@gmail.com Types of Tasks in Test Form М.О. Курилов, Л.П. Сипченко Інститут інформатики і штучного інтелекту ДВНЗ «Донецький національний технічний університет», м. Донецьк, Україна Україна, 83050, м. Донецьк, пр. Б. Хмельницького, 84 kurilov.ukraine@gmail.com Типи завдань у тестовій формі В данной работе рассматриваются основные типы заданий, используемых в системах оценки и контроля знаний, в том числе те, которые традиционно относятся к классу «интеллектуальных». Предлагаемый анализ, который не претендует на свою функциональную полноту, позволяет реально оценить возможности современных информационных технологий на пути программного воплощения систем контроля знаний и выбрать их наиболее оптимальные способы решения. Впервые предложена программная модель уникального графического варианта меню как объекта выбора из множества альтернатив, и ориентированная на использование в системах контроля знаний. Описана реализация уникальной модели определения численного значения оценки результатов тестирования и приведены результаты её использования. Ключевые слова: система оценки и контроля, тестовые задания, анализ оценки тестирования. In the given work, main types of tasks used in the system of estimation and checking knowledge, including those, which traditionally pertain to “intellectual” class, are considered. The proposed analysis, which does not pretend to the functional fullness, allows to value the possibility of modern information technologies on the way of the programming entailment of the knowledge checking systems and to choose their most optimum ways of the decision. The offered programming model of the unique graphic variant menu, as object of the choice from ensemble of the alternatives and oriented to use in system of the knowledge checking, is innovation. Realization of unique model of determination of numerical value of an assessment of testing results is described and the results of its use are given. Key Words: system of estimation and checking knowledge, test tasks, analysis for test estimation. У даній роботі розглядаються основні типи завдань, які використовуються у системах оцінки і контролю знань, у тому числі ті, що традиційно відносяться до класу «інтелектуальних». Запропонований аналіз, що не претендує на свою функціональну повноту, дозволяє реально оцінити можливості сучасних інформаційних технологій на шляху програмного втілення систем контролю знань і обрати з них найбільш оптимальні способи вирішення. Вперше запропоновано програмну модель унікального графічного варіанта меню як об’єкта вибору з множини альтернатив, і орієнтовану на використання у системах контролю знань. Описано реалізацію унікальної моделі визначення числового значення оцінки результатів тестування і наведено ре- зультати її використання. Ключові слова: система оцінки і контролю, тестові завдання, аналіз оцінки тестування. Типы заданий в тестовой форме «Штучний інтелект» 4’2012 475 6К Введение Тестирование как инструмент измерения уровня знаний [1-4] в настоящее время является, пожалуй, основным средством, при помощи которого можно определить каче- ство усваивания знаний в процессе обучения и в конечном итоге оценить профессиональ- ные навыки личности в той или иной сфере [5-8]. В данной работе рассмотрены некоторые вопросы, связанные с программной реализацией систем контроля знаний применительно к условиям нашей страны (отсутствие необходимого финансирования, крайне низкий уровень базового – школьного – образования, ярко выраженная тенденция молодого поколения нежелания учиться и т.д.). В принципе невозможно создать универсальную систему тести- рования. Если на современном уровне развития мировой цивилизации имеется пока одна современная (компьютерная) технология обучения, то методик обучения может быть бес- конечное множество, в пределе ровно столько, сколько существует педагогов. Целью данной работы является анализ типов заданий в тестовых формах систем контроля знаний на ряде примеров из различных областей знаний. Рассмотрение кон- кретных вариантов типов заданий позволяет реально оценить возможности современных информационных технологий на пути программного воплощения систем контроля знаний и выбрать их наиболее оптимальные способы решения. Сам анализ будем рас- сматривать в свете нетрадиционного подхода к самому понятию обучения. Для нас это прежде всего усовершенствование прошлого, постоянное развитие всех моделей, используемых при познании истины [9], когда обучение осуществляется с позиции силы знания и профессионального опыта обучающего. Только открытость и доступность различного рода моделей тестирования, равно как и отдельных элементов дистанцион- ного обучения, может способствовать повышению качества образования. Формирование общедоступного фонда программных продуктов, о необходимости создания которого говорили на парламентских слушаниях, посвященных созданию благоприятных условий для развития ИТ-индустрии в Украине (16 декабря 2011 г.), в значительной степени и определили стиль и форму дальнейшего изложения материала. Практически все системы автоматизированного контроля знаний оперируют за- даниями в тестовой форме (вопросами) закрытого типа (типа «выбор одного из нес- кольких», «выбор нескольких из нескольких», «соответствие», «последовательность или упорядочение») и открытого типа (свободный ввод ответа). Вопросы закрытого типа отличаются простотой своей программной реализации по причине отсутствия сложных вычислений: здесь просто осуществляется целочисленное сравнение кода правильного от- вета с кодом ответа выбранного. Вопросы открытого типа характерны тем, что для полу- чения ответа на него тестируемый должен ввести символьную строку, представляющую собственный ответ. Как правило, такие ответы вводятся на естественном для человека языке, максимально приближенном к разговорному. В ряде случаев, если система пред- полагает ответ, введенный на таком языке, считается, что сама система наделена свойством интеллектуальности [3], [6]. Интеллектуальная система тестирования содержит в себе три составляющие: базовый набор тестов; средства модификации базовых тестов; средства выведения оценок. Обязательным атрибутом интеллектуальной системы тестирования является наличие модели обучаемого, механизма её формирования и работы с ней [5-7]. С момента выхода в свет известной монографии Т. Винограда (1976) «Программа, пони- мающая естественный язык», прошло более сорока лет [10]. Тот момент, когда человек будет общаться с компьютером на своем естественном (разговорном) языке, к сожале- нию, до сих пор не наступил. Связано это с теми трудностями, с которыми приходится сталкиваться человеку при программной реализации как синтаксиса так и семантики естественных языков. Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 476 6К Предваряя рассмотрение наиболее распространенных типов вопросов, отметим, что самый лучший способ изучения программирования – это написание программ [11-16]. Экстраполируя это утверждение на плоскость проектирования и программной реали- зации систем контроля знаний, можно, по мнению авторов, сделать следующий вывод. Обычный анализ наиболее распространенных типов заданий в системах контроля знаний способствует наиболее глубокому пониманию тех проблем, с которыми приходится стал- киваться при проектировании и эффективной разработке системы. Дополнительно такой анализ может помочь и при выборе тех этапов работ, программное воплощение которых наиболее целесообразно в наши дни. Аналогичным образом действовал и автор мето- дического пособия [2], утвержденного Министерством образования и науки Украины, который ограничился одним звеном современной технологии обучения, потянув за которое, можно вытянуть всю цепочку народного образования на достаточно высокий уровень развития. Перейдем теперь к рассмотрению различного рода заданий в систе- мах контроля знаний. Задания закрытого типа. Выбор одного из нескольких Приведенная ниже последовательность из двух скриншотов демонстрирует различ- ные по своему визуальному представлению, но функционально однотипные элементы последовательности заданий, когда на предъявленный вопрос тестируемому предлагается несколько (3 – 4 ) варианта ответов. Из предлагаемых вариантов только один правильный. Рис. 1 представляет собой фрагмент работы одной из диалоговых систем тестиро- вания знаний [13]. Здесь вопрос – «Кто был первым директором института кибернетики АН УССР» – представлен в виде мультимедийного файла в формате GIF ANIMATION. Возможные варианты ответов также представлены в виде графических изображений, например, TIFF,GIF,JPG,BMP и т.д. В этом случае функционально принятие ответа на вопрос сведено к необходимости размещения одного из 4-х альтернативных изображений – ответов (в нашем случае В.М. Глушков, В.И. Скурихин, В.И. Гриценко, В.С. Михалевич) в пределах прямоугольной области изображения – вопроса. Реализуется такое перемещение при помощи мыши по принципу DRAG & DROP. Рисунок 1 – Скриншот одной из систем тестирования знаний Типы заданий в тестовой форме «Штучний інтелект» 4’2012 477 6К Приведенное ниже изображение (рис. 2) иллюстрирует работу одной из систем тестирования знаний в области информатики [17] Здесь среди набора вопросов 4-й сфор- мулирован следующим образом: Рисунок 2 – Скриншот ONLINE системы тестирования Как вопрос «Кто был первым президентом компании Microsoft Corparation?», так и возможные ответы на него в данном случае сформулированы в виде символьных строк. Функциональное принятие ответа на данный вопрос связано с проставлением соответству- ющей метки при помощи указателя мыши слева от выбранной фамилии: Bill Gates, Bob Gates, Steve Jobs. Зададимся вопросом: Что общего и в чем различия между двумя ранее рассмот- ренными заданиями? Общее: 1. Оба вопроса относятся к типу «Выбор одного из нескольких». 2. Оба предполагают идентифицировать выдающуюся или всемирно известную личность. Различия: 1. В первом случае число альтернативных ответов четыре, а во втором – три. 2. В первом случае вопрос и возможные ответы к нему представлены в виде мультимедийных файлов, а во втором – в виде символьных строк. 3. В первом случае необходимо в лицо знать личности, чьи портреты индици- ровал компьютер. Напомним, что здесь фамилии людей не представлены. Во втором случае в визуальном опознании предъявленных личностей нет необходимости. Доста- точно лишь знать, кто такой Бил Гейтс. Не будем гадать, какой вариант более предпочтительный или удобный для поль- зователя. Отметим лишь, что с точки зрения программной реализации оба они могут быть элементарно закодированы при помощи нескольких операторов. Среда программирова- ния при этом не имеет значения. Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 478 6К Задания закрытого типа. Выбор нескольких из нескольких. Рассмотрим теперь иной тип задания, который представлен следующими ком- понентами. 1. Вопрос, сформулированный в виде символьной строки, либо представлен в виде мультимедийного файла, в том числе анимированного; 2. Конечное множество альтернативных ответов с число элементов N, представ- ленных аналогичным образом. Из множества ответов необходимо выбрать подмножество из K элементов (оче- видно, что K ≤ N), которое отвечает условиям поставленного задания. Рассмотрим следующий вопрос: «Из предложенных внутренних органов человече- ского организма выбрать те, которые отвечают за пищеварение» (рис. 3.). Возможные ва- рианты ответов предложены ниже: 1. Слюнные железы; * 2. Полость рта; * 3. Печень; * 4. Сердце; 5. Легкие; 6. Прямая кишка. * Правильные варианты ответа здесь помечены символом «*». С точки зрения программной реализации такого типа задания, наиболее подходя- щим является стандартный графический элемент класса CHECKBOX – элемент выбора, который принимает логические значения «да» – «нет» или иначе – «выбор сделан» – «выбор не сделан». Рисунок 3 – Интерфейс системы тестирования по курсу «Анатомия человека» Графические элементы, которые используются для фиксации выбора, сделанного пользователем, объединяются в группы. Традиционное название классов таких эле- ментов определяется как CHECKBOX и RADIOBUTTON. Типы заданий в тестовой форме «Штучний інтелект» 4’2012 479 6К На приведенном скриншоте в группе элементов выбора (рис. 4.) «Перенос по словам» расположены три элемента класса «RADIO», а в группе элементов «Панели» таких элементов четыре. Основное отличие этих элементов, входящих в группы, состоит в том, что в рамках первой RADIO – группы может быть выбран лишь один. Рисунок 4 – Элементы выбора при тестировании В рамках группы CHECK, объединенных общим названием «Панели» и состоящей из четырех элементов, выбран может быть любой, причем вне зависимости от состояния других элементов группы. С учетом функционального предназначения рассмотренных элементов выбора можно сделать вывод о том, что для программной реализации задания типа «Один из нескольких» целесообразно использовать элементы класса RADIO. Для заданий типа «Несколько из нескольких» целесообразно использовать элементы класса CHECK. Нарушение этого правила может приводить иногда к неоднозначной интер- претации действий тестируемого, что хочется продемонстрировать на приведенных ниже скриншотах, полученных при работе системы тестирования PROPROFS – для проверки знаний в области информатики. Здесь в рамках традиционного ONLINE тестирования предлагается ответить на следующий вопрос: «Как называются файлы, с которыми работает приложение MS WORD». Нетрудно заметить, что это задание относится к типу «Один из нескольких», хотя для осуществления выбора правильного ответа здесь используются объекты класса CHECK. Привести это может к неоднозначной интерпре- тации действий тестируемого, что наглядно представлено на скриншотах, выдаваемых системой при разных вариантах ответа на предъявленный системой вопрос (рис. 5). Рисунок 5 – Пример неправильного варианта системы тестирования Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 480 6К Задание закрытого типа. Соответствие Задания этой категории, входящие в группу закрытого типа, по своим дидактиче- ским возможностям, с точки зрения программной реализации могут быть наиболее прив- лекательными. Для проведения анализа заданий типа «Соответствие» представим себе стандартную таблицу базы данных, состоящую из четырех реквизитов. Один из вариантов структуры может иметь следующий вид. Число записей в такой таблице произвольное. Портрет ФИО живописца Репродукция Наименование Репин И.Е. Бурлаки на Волге Айвазовский И.К. Закат на море Саврасов А.К. Грачи прилетели Суриков В.И. Боярыня Морозова Рисунок 6 – Графическая модель базы данных системы Форматы реквизитов каждой записи в данной таблице различные (рис. 6.). Первый и третий реквизиты здесь имеют графический формат, второй и четвёртый – текстовый. Задания, сформулированные системой и предъявленные тестируемому могут быть са- мыми различными. Вот некоторые из них, когда предъявляются: 1. Восемь изображений (портреты живописцев и репродукции их произведений), каждое из которых находится в своём собственном окне и произвольным образом рас- полагается на рабочем столе. 2. Восемь текстовых фрагментов (фамилии живописцев и наименования их произведений). Типы заданий в тестовой форме «Штучний інтелект» 4’2012 481 6К 3. Четыре текстовых фрагмента (фамилии живописцев) и четыре изображения репродукций. 4. Четыре текстовых фрагмента (наименования репродукций) и четыре портрета живописцев. Тестируемому предлагается при помощи мыши используя механизм DRAG&DROP осуществить попарно связи между выведенными на экран монитора 8-и объектами. Это может быть, например, попарное размещение объектов, когда фамилия живо- писца либо его портрет распологаются внутри прямоугольной области иллюстрации. Возможен более сложный вариант, когда на экран монитора выводятся все 16 объ- ектов, приведенные в таблице. Расположение всех окон произвольное. Необходимо в указанных областях рабочей поверхности стола разместить все 4 компоненты каждой записи, сопоставив между собой портрет и фамилию живописца, репродукцию его про- изведения и её наименование. Каждый из упомянутых вариантов задания имеет свою степень сложности и для решения того или иного вида задания от тестируемого предполагается владение разного рода информацией, например, способность распознания живописца по его портрету или предъявленной репродукции, определение наименований предъявленных произведений искусства при их визуальном восприятии и т.д. Задания закрытого типа. Последовательность или упорядочение Данный тип задания, так же как и предыдущие, может быть использован при тестировании в рамках многих областей знаний. Вопрос из области литературы: Пушкин А.С., Лермонтов М.Ю., Шевченко Т.Г. и Некрасов Н.А. Задание: Вариант 1. Расположить поэтов в порядке возрастания года их рождения. Вариант 2. Расположить поэтов в порядке возрастания числа прожитых ими лет. Вопрос из области географии: Представлены несколько национальных флагов государств Европы. Задание: расположить предложенные символы государств в порядке возрастания чис- ленности их населения или в порядке убывания площади, занимаемой государствами. Задания открытого типа Задания открытого типа как один из элементов интеллектуальных систем тестирования являются с точки зрения своей программной реализации наиболее трудоемкими. Это связано с тем, что «…истину нужно доказывать моделью. Пока ее нет, все построения висят в воз- духе…» [9]. Примеров заданий такого типа так же можно привести бесчисленное мно- жество. Не претендуя на полноту, рассмотрим наиболее типичные из них. Вопрос из области литературы: Белеет парус одинокой В тумане моря голубом. — Что ищет он в стране далекой? Что кинул он в краю родном? … Задание: Укажите фамилию автора произведения, из которого приведен стихо- творный фрагмент, название этого произведения и когда оно было написано. Правильный ответ: Лермонтов М.Ю. , Парус, 1832 г. Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 482 6К Очевидно, что само задание может быть представлено различными способами: в виде символьного фрагмента, как это приведено выше, либо в виде звукового файла, когда человек зачитывает само задание. Инструментом для ввода ответа в данном случае является клавиатура персонального компьютера. В данном случае строгая интерпретация задания предполагает ввод от пользователя трех контекстов: фамилию, название произве- дения и дату. Некоторые варианты ответов в данном случае могут иметь следующий вид: Правильный Неправильный А) Лермонтов Парус 1832 (3) А) Лермонтов, Парус 1837 (2) Б) ЛЕРмонтов парус 1832 (3) Б) Пушкин Парус 1840 (1) В) ПАРУС, Лермонтов М.Ю., 1832 (3) В) Лер монтов, Парус, 1832 (2) Г) Некрасов Море 1831 (0) Предложенные варианты ответов для специалиста сразу же подсказывают пути про- граммной реализации такого типа вопроса. Кроме того, саму оценку можно сделать диф- ференцированной [5], [8], как функцию числа правильных введенных контекстов. В на- шем случае для неправильных ответов в случае (А) правильно указан только автор произ- ведения и название; в случае (Б) правильно указано лишь наименование произведения, а в случае (Г) ни один контекст не отвечает истине. Рассмотрим теперь заключительный пример задания открытого типа, который может быть представлен, например, только лишь звуковым файлом, предъявляемым тестируемому для прослушивания. Здесь необходимо ввести либо наименование му- зыкального произведения, либо его автора. Один из вариантов программного интер- фейса представлен ниже. Пользователю в данном случае предъявляется меню (как список альтернатив), реализованное нетрадиционным образом. Его оригинальность в данном случае представлена графическим изображением множества элементов музы- кальной грамоты: ноты различной длительности, знаки альтерации, ключи и т.д. Рас- положены они в пределах меню произвольным образом. С каждым таким изображе- нием связан один фрагмент музыкального произведения. Щелчок по любому из фрагментов приводит к воспроизведению соответствующего аудиофайла. Пользователю предлагается в специальном поле ввести фамилию автора произведения, например, «Бетховен» и затем щелкнуть по кнопке «Ответ». При ее нажатии система осуще- ствляет следующие действия. 1. Проигрывание аудиофрагмента прекращается. 2. Текущий выбранный элемент музыкальной грамоты либо удаляется с экрана монитора, либо помечается каким-то образом, чтобы исключить его использование в дальнейшем. 3. Число полученных ответов увеличивается на единицу, указывая тем самым на общее количество заданий, выполненных тестируемым. Очевидно, что на начальной стадии теста это будет нулевое значение. 4. Если пользователь правильно указал фамилию автора произведения, число правильных ответов так же увеличивается на единицу. Тестирование заканчивается, когда в меню исчерпаны все альтернативы. В любой момент времени воспроизводится лишь один музыкальный фрагмент. Если при его вос- произведении пользователь осуществил щелчок по другому графическому элементу, то воспроизведение текущего фрагмента прекращается и воспроизводится тот, который связан с последним выбранным. Это эквивалентно тому, когда пользователь, не зная от- вета на текущий вопрос, перешел к вопросу следующему. С учетом предложенной модели тестирования один из формальных элементов базы данных (знаний) может иметь, например, следующий вид (рис. 7). Типы заданий в тестовой форме «Штучний інтелект» 4’2012 483 6К Рисунок 7 – Графический интерфейс уникального меню 1. Порядковый номер элемента музыкальной грамоты, как целочисленное значение. 2. Граничные параметры прямоугольной области, в пределах которой находится данный элемент. Эти значения необходимы для его спецификации при тестировании. 3. Имя звукового файла, который «привязан» к соответствующему номеру элемента музыкальной грамоты. При создании базы, вполне очевидно, что не должно быть ни ка- ких ограничений на сам мультимедийный формат 4. Символьная строка – фамилия автора фрагмента музыкального произведения. Дополнительные атрибуты, которые могут быть включены в состав формальной структуры базы тестовой системы, определяются моделью обучаемого, алгоритмами численной оценки знаний [2-8] и т.д. Все они являются элементами «интеллектуали- зации» систем тестирования. Таких численных моделей существует множество, но мы используем одну из них [8]. Её формальная модель приведена на рис. 8. Она обладает рядом достоинств, к которым в первую очередь можно отнести: А) фактор «попадания» на случайный ответ минимальный; Б) используются все данные, полученные при тестировании, в частности, неверные ответы, которые иногда несут больше информации об уровне знаний тестируемого, чем верные ответы; В) учитывается время ответа; Г) при увеличении выборки N (число заданий) увеличивается надежность, валид- ность теста и шкала оценки результатов. Рисунок 8 – Формальная модель количественной оценки знаний Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 484 6К При одинаковой сложности всех включенных в систему заданий диапазон изменения численного значения оценки в большинстве случаев определяется общим числом вопросов, предъявляемых тестируемому. Так, например, при числе вопросов, равном N и том же зна- чении полученных правильных ответов, численное значение оценки будет равно N. Внедрение представленной выше численной модели оценки результатов тестирова- ния в состав самой системы привело к необходимости включения дополнительных атри- бутов в соответствующей таблице. Здесь для каждого из N заданий дополнительно вводятся: а) целочисленное значение сложности задания; б) эталонное (нормативное) время ответа, которое отводится тестируемому на распознание конкретного музыкального фрагмента; в) текущее время, затраченное тестируемым на подготовку очередного ответа. Первые два из указанных атрибутов задаются при настройке и явно носят субъ- ективный характер. Третий параметр вычисляется автоматически, хотя он также зависит от конкретного звукового фрагмента, в частности от длительности нот (звуков) в началь- ной стадии воспроизведения. Анализ численной модели оценки результатов тестирования Рассмотрим некоторые результаты использования вышепредложенной формальной модели оценки результатов тестирования. Исходные данные сведены в представленных ниже табл. 1 и табл. 2. Эти данные получены экспериментальным путем при помощи реализованной программной модели в системе по распознания авторов музыкальных фрагментов. Программная модель реализована таким образом, что сам тестируемый в любой момент времени может увидеть численное значение оценки. При соблюдении определённых условий (сложность всех заданий имеет единичное значение, и время ответа на каждое из них не превышает эталонное), диапазон значений оценки будет следующим: -N < R < N, где N – количество заданий. Визуальный анализ данных, при- веденных в табл. 1, позволяет сделать следующие заключения. Шкала значений оценки совпадает с интервалом ( -37 < R < 37 ). После первых четырёх заданий, когда получены все правильные ответы на них, значение оценки равно «4». Таблица 1 Общее число вопросов 4 6 8 10 14 16 19 21 25 29 37 Получено правильных ответов 4 5 7 9 13 13 13 13 17 21 29 Значение оценки 4 3.8 5.8 7.85 11.8 9.86 6.88 4.89 8.8 12.8 20.8 При ответах на задания с номерами от «14» до «21», когда не было получено ни одного правильного ответа, значение оценки уменьшилось c «11.8» до «4.89». Частота верных ответов на задания повышалась и к концу тестирования (37 заданий) было по- лучено 29 верных ответов. Окончательное значение оценки равно 20.8. Итоги тестирова- ния: шкала (-37 < R < 37 ), оценка 20.8. После несложных математических вычислений при 5-бальной системе это будет приблизительно 4.1. В рамках 100-балльной системы – приблизительно 72. Типы заданий в тестовой форме «Штучний інтелект» 4’2012 485 6К Аналогичные рассуждения могут быть осуществлены на базе данных табл. 2. Данные этой таблицы были получены в результате действий тестируемого «наугад». Здесь шкала оценки равна -44 < R < 44. При пятибалльной системе оценка будет ~ 1.3, а при 100 бальной – приблизительно 27. Таблица 2 Общее число вопросов 7 1 4 6 9 4 7 1 8 0 2 3 4 Получено правильных ответов 2 2 3 4 4 5 5 5 6 7 8 9 0 Значение оценки 3 7 8 8 11 14 17 21 26 26 26 25 24 Выводы В данной работе рассмотрены наиболее типичные варианты заданий, используемых в интеллектуальных системах тестирования знаний в различных предметных областях. Впервые предложена программная модель уникального графического варианта меню как объекта выбора из множества альтернатив и ориентированная на использование в системах контроля знаний. Реализована оригинальная модель определения численного значения оценки результатов тестирования. Приведены результаты её практического использова- ния. Анализ вариантов в предложенном автором виде обусловлен твердым убеждением, что истину нужно доказывать работающей моделью. Степень убеждения в этом случае значительно повышается, если это модели программные. Благодарность Завершая данную работу, авторы хотят высказать глубокую благодарность про- фессору Института информатики и искусственного интеллекта Донецкого националь- ного технического университета И.С. Грунскому, без замечаний и пожеланий которого статья не смогла бы увидеть свет. Основные понятия и определения Существует множество различных определений понятий и категорий, используе- мых при проведении данного анализа. Ниже приведены те, которые, по мнению авто- ров, являются наиболее адекватными, и, поэтому, именно им отдано предпочтение. Адаптивное тестирование [2-5] предполагает анализ ответов на последователь- ность тестовых заданий определенной трудности. Это возможно, когда заранее оп- ределена трудность тестовых заданий, выраженная в численном исчислении. Очевидно, что соответствующие характеристики должны быть представлены в базе данных зада- ний. Расчет их валидности предполагает предварительную апробацию и обработку ре- зультатов с использованием различных методов и чаще всего носит субъективный ха- рактер. Алгоритмически это может быть реализовано следующим образом. Если ответ правильный, то предполагается, что уровень подготовки тестируемого выше сложно- сти предъявленной задачи, и он способен решать задачи заданной трудности, в про- тивном случае – неспособен. В данном случае можно использовать следующий Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 486 6К подход. Если тестируемый успешно решил данное задание, то у него появляется желание решить более трудное задание. Если нет – то им будет сделана еще одна по- пытка решения задания той же трудности. Если оно также не решено, то предъявляется задача пониженной трудности. Если сразу не решено менее трудное задание, то предла- гается задача еще меньшей трудности. Аналогично происходит процесс повышения труд- ности заданий. Использование заданий, соответствующих уровню подготовки позволяет уменьшить время тестирования и повысить точность измерения уровня знаний. Анализ – (от греч. analysis – разложение) метод научного исследования (позна- ния) явлений и процессов в основе которого лежит изучение составных частей, элементов изучаемой системы и способов взаимодействия между основными её компонентами. Интеллект (от лат. intellectus – понимание, познание) – способность к осущест- влению процесса познания и к эффективному решению проблем, в частности при овладении новым кругом жизненных задач. Иногда понятие ИНТЕЛЛЕКТ восприни- мают как систему всех познавательных (когнитивных) способностей индивида: ощуще- ния, восприятия, памяти, представления, мышления, воображения или рассматри- вают как способность к решению некоторых проблем или задач без проб и ошибок «в уме». Интеллект предполагает умение мыслить, решать проблемы, анализировать си- туацию, и понять, социальные ценности, обычаи и нормы. Искусственный интеллект (ИИ, англ. Artificial intelligence, AI) — наука и технология создания интеллектуальных машин, особенно интеллектуальных компью- терных программ. ИИ связан со сходной задачей использования компьютеров для понимания человеческого интеллекта, но не обязательно ограничивается биологи- чески правдоподобными методами. Искусственное мышление – способность пред- угадать будущее на основании постоянно растущих знаний о прошлом, где текущее время - место, в котором многообразное будущее становится однообразным прошлым. Вычисли- тельные машины играют ключевую роль в искусственном интеллекте, поскольку они позволяют создавать точные, контролируемые теории, богатые ингредиентами, относя- щимися к процессам. Поэтому понимание программ – это необходимое условие для полного понимания искусственного интеллекта [18]. Искусственный интеллект можно определить [8] как свойство цифровой вычислительной машины или сети нейронопо- добных элементов реагировать на информацию, поступающую на её входные устройства, почти так же, как реагирует в тех же информационных условиях некоторый задуманный или конкретный человек. Интеллектуальная система тестирования – система тестирования [2-5], кото- рая содержит в себе три составляющие: базовый набор тестов; средства модификации базовых тестов; средства выведения оценок. Обязательным атрибутом такой системы является свойство адаптивности. Интеллектуальная система тестирования, основанная на имитации действий учителя, способна уделить индивидуальное внимание каждому обучаемому по каждому вопросу изучения. Учитель в учебной аудитории, ориенти- рующий свой урок на среднего обучаемого, имеет гораздо меньше возможностей удовлетворить познавательные потребности отдельного ученика. Интеллектуальная си- стема тестирования обязательно предполагает наличие модели обучаемого и формаль- ного (программного ) аппарата для работы с ней. Модель обучаемого – совокупность набора характеристик обучаемого, измеряе- мых во время работы системы с обучаемым и определяющей степень усвоения им знаний по изучаемому предмету и методов (правил) обработки этого набора. Эти пра- вила должны осуществлять изменения самой модели обучаемого по результатам его работы с системой. Типы заданий в тестовой форме «Штучний інтелект» 4’2012 487 6К Литература 1. Открытое и дистанционное обучение: тенденции, политика и стратегии. – М. : Изд. ИНТ, 2004. – 139 с. 2. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения : учебное пособие / Олейник Н.М.. – Министерство Образования и Науки Украины. 2003. – 66 с. 3. Акимова М.К. Интеллектуальные тесты. Психология индивидуальных различий : хрестоматия / М.К. Акимова ; под ред. Ю.Б. Гиппенрейтер и В.Я. Романова. – М. : ЧеРо, 2000. – 776с. 4. [Электронный ресурс]. – Режим доступа : http://www.znannya.org/?view=elearning-concepts. 5. Бутенко Н.А. Система тестирования с использованием принципов искусственного интеллекта в курсе «Основы информационной безопасности» / Н.А. Бутенко, Е.С. Захаров, П.С. Ломаско // Открытое образование: опыт, проблемы, перспективы : материалы IV Всероссийской конференции с международным участием. – Красноярск : РИО КГПУ им. В.П. Астафьева, 2008. 6. Ковтун С.А. О концепции создания интеллектуальных тестирующих систем / С.А. Ковтун, С.Н. Капитан, О.О. Савельев // Искусственный интеллект. – 2009. – № 4. – С. 360-364 7. Пак Н.И. Проективный подход в обучении как информационный процесс / Н.И. Пак : монография. – Красноярск : РИО КГПУ, 2008. – 225 с. 8. Бочко С.Б. Математическая модель оценки результатов тестирования / С.Б. Бочко, М.У. Изимов // Вестник Томского государственного педагогического университета. – 2004. – Вып. 6. – Серия : Естественные и точные науки. – С. 88-90. 9. Амосов Н.М. Алгоритмы разума / Амосов Н.М. – Киев : Наукова думка, 1979. – 220 с. 10. Виноград Т. Программа, понимающая естественный язык / Виноград Т. – М. : Мир, 1976. 11. Аксиомы программирования и некоторые вопросы дистанционного обучения / [Шевченко А.И., Курилов М.А., Сыпченко Л.П., Барашко А.С.] // Искусственный интеллект. – 2012. - № 1. – С. 244-251. 12. Курилов М.А. Об одной модели дистанционного обучения программированию / М.А. Курилов // Наукові праці Донецького національного техничного університету. Серія: Проблеми моделювання та автоматизації проектування динамічних систем. – 2011. – Випуск 10 (197). – С. 51-57. 13. Курилов М.А. Дидактическая ориентация электронных изданий / М.А. Курилов // Системы поддержки принятия решений. Теория и практика – 2007. – Июнь. – С. 130-133. 14. Иванова С.Б. Модель системы оценки знаний и форм контрольного опроса / С.Б. Иванова, М.А. Курилов // Искусственный интеллект. – 2006. – № 3. – С. 468-474. 15. Курилов М.А. Методология RAD в обучении / М.А. Курилов // Искусственный интеллект. – 2006. – № 1. – С. 47-56. 16. Шевченко А.И. Модель обучения объектно-ориентированному программированию / А.И. Шевченко, С.Б. Иванова, М.А. Курилов // Искусственный интеллект. – 2005. – № 4. – С. 546-554. 17 Электронный ресурс]. – Режим доступа : www.easylearningweb.com. 18 Уинстон П. Искусственный интеллект / Уинстон П. – М. : Мир, 1980. – 520 с. Literatura 1. Otkrytoe i distancionnoe obuchenie: tendencii, politikai strategii. M.: Izd. INT. 2004.139 s. 2. Oleinik N.M. Test kak instrument izmerenij urovnia znanij i trudnosti zadanij v sovremennoj tehnologii obuchenij. Uchebnoe posobie. Ministerstvo Obrazovaniai Nauki Ukraini. 2003. 66 s. 3. Akimova M.K. Intellektualnye testy. Psihologia individualnyh razlichii. M.: Chero. 2000. S 352-360. 4. http://www.znannya.org/?view=elearning-concepts. 5. Butenko N.A. Sistemy testirovania s ispolzovaniem principov iskusstvennogo intellekta v kurse “Osnovy informacionnoi bezopasnosti”. Krasnojarsk: RIO KGPU im. V.P.Astafieva. 2008. 6. Kovtun S.A. Iskusstvennyj intellect. 2009. № 4. S. 360-364. 7. Pak N.I. Proectivnyi podhod v obuchenii kak informacionnyj process. Monografia. Krasnojarsk: RIO KGPU. 2008. 225 S. 8. Bochko S.B. Matematicheskaja model ocenki rezultatov testirovanij. Vestnik Tomskogo gosudarstvennogo pedagogicheskogo universiteta. Vypusk № 6. 2004. S. 88-90. 9. Amosov N.M. Algoritmy razuma. Kiev: Naukovadumka. 1979. 220 s. 10. Vinograd T. Programma, ponimaushaj aestestvennyj jazik. M.: Mir. 1976. 11. Shevchenko A.I. Iskusstvennyj intellect. 2012. № 1. S. 244-251. 12. Kurilov M.A. Naukovi praci Donetskogo nacionalnogo tekhnycnogo universytetu. Vypusk 10 (197). Donetsk. S. 51-57 Курилов М.А., Сыпченко Л.П. «Искусственный интеллект» 4’2012 488 6К 13. Kurilov M.A. Sbornik “Sistemypoddergkipriniatijreshenij. Teoriaipraktika”. Kiev. 2007. S. 130-133. 14. Ivanova S.B. Iskusstvennyj intellect. 2006. № 3. S. 468-474. 15. Kurilov M.A. Iskusstvennyjintellect. 2006. № 1. S. 47-56. 16. Shevchenko A.I. Iskusstvennyj intellect. 2005. № 4. S. 546-554. 1. 17.www.easylearningweb.com 17. Uinston P. Iskusstvennyj intellect. M.: Mir. 1980. 520 s. RESUME M.A. Kurilov, L.P. Sypchenko Types of Tasks in Test Form In the given work,main types of tasks used in the system of estimation and checking knowledge, includingthose, which traditionally pertain to “intellectual” class, are considered. The proposed analysis, which does not pretend to the functional fullness, allows to value the possibility of modern information technologies on the way of the programming entailment of the knowledge checking systems and to choose their most optimum ways of the decision. The offered programming model of the unique graphic variant menu, as object of the choice from ensemble of the alternatives and oriented to use in system of the knowledge checking, is innovation. Practical value of such menu is proved by marketed programmingmodel of knpwledge estimation in the field of music. In this instance,a testable is presented for bugging separate music fragment, having heard which, it is necessary to indicate the author of the music product. In this case, originality of this model is presented by graphic scene ensemble element music ABC: music to different duration, signs of alterations, keys and etc. They are located within menu by free image and placing. With each such scene, one fragment of the music product is related. The clicking on any of the fragments brings reproduction corresponding to audiofile. The user is offered to enter the surname of the author of the productin special field, for instance, “Beethoven” then to click the button “Answer”.The following actions are realized under clicking: 1. Audiofileplay is stopped; 2. The current chosen element of the music ABC is deleted from screen of the monitor, or is marked in a way to understand that image is excludedfrom further use; 3. The number of answers increases to unit, indicating the amount of the tasks made by the testable. It is obvious that at the initial stage of test this will be zero importance; 4. If the user indicated the surname of the author of the product correctly, the number of correct answersalso increases to one unit. Testing finishes when all alternatives in menu are exhausted. At any time,it is reproduced only one music fragment. If the user clicks the other graphic element, the reproducing of the current fragment stops andthe fragment that connected with the last chosenis reproduced. It is equal to the situation when the userdoesn’t know the answer to the current questionbut goes tothe next question. Статья поступила в редакцию 06.08.2012.

Типы заданий в тестовой форме

Institution

Ähnliche Einträge