Модель вопроса в естественно-языковых системах тестирования
В статье рассматривается проблема генерирования вопросов в системах компьютерного тестирования знаний. Предложена модель вопроса, учитывающая составляющие предметной области вопроса и текущие параметры тестирования. Представлена структурная схема процесса формирования вопроса....
Gespeichert in:
| Datum: | 2012 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Інститут проблем штучного інтелекту МОН України та НАН України
2012
|
| Schriftenreihe: | Штучний інтелект |
| Schlagworte: | |
| Online Zugang: | http://dspace.nbuv.gov.ua/handle/123456789/57169 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Модель вопроса в естественно-языковых системах тестирования / А.С. Звенигородский, В.Н. Чернышова // Штучний інтелект. — 2012. — № 3. — С. 137-142. — Бібліогр.: 4 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-57169 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-571692014-03-05T03:01:14Z Модель вопроса в естественно-языковых системах тестирования Звенигородский, А.С. Чернышова, В.Н. Анализ и синтез коммуникационной информации В статье рассматривается проблема генерирования вопросов в системах компьютерного тестирования знаний. Предложена модель вопроса, учитывающая составляющие предметной области вопроса и текущие параметры тестирования. Представлена структурная схема процесса формирования вопроса. У статті розглядається проблема моделювання питань у системах комп’ютерного тестування знань. Запропоновано модель питання, що враховує складові предметної області питання та поточні параметри тестування. Наведена структурна схема процесу формування питання. The problem of question generation in computer knowledge testing systems is considered. A question model, which takes into account the components of the question problem domain and current testing parameters, is proposed. The block diagram of the question formation process is considered. 2012 2012 Article Модель вопроса в естественно-языковых системах тестирования / А.С. Звенигородский, В.Н. Чернышова // Штучний інтелект. — 2012. — № 3. — С. 137-142. — Бібліогр.: 4 назв. — рос. 1561-5359 http://dspace.nbuv.gov.ua/handle/123456789/57169 004.89:004.93 ru Штучний інтелект Інститут проблем штучного інтелекту МОН України та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Анализ и синтез коммуникационной информации Анализ и синтез коммуникационной информации |
| spellingShingle |
Анализ и синтез коммуникационной информации Анализ и синтез коммуникационной информации Звенигородский, А.С. Чернышова, В.Н. Модель вопроса в естественно-языковых системах тестирования Штучний інтелект |
| description |
В статье рассматривается проблема генерирования вопросов в системах компьютерного тестирования знаний. Предложена модель вопроса, учитывающая составляющие предметной области вопроса и текущие параметры тестирования. Представлена структурная схема процесса формирования вопроса. |
| format |
Article |
| author |
Звенигородский, А.С. Чернышова, В.Н. |
| author_facet |
Звенигородский, А.С. Чернышова, В.Н. |
| author_sort |
Звенигородский, А.С. |
| title |
Модель вопроса в естественно-языковых системах тестирования |
| title_short |
Модель вопроса в естественно-языковых системах тестирования |
| title_full |
Модель вопроса в естественно-языковых системах тестирования |
| title_fullStr |
Модель вопроса в естественно-языковых системах тестирования |
| title_full_unstemmed |
Модель вопроса в естественно-языковых системах тестирования |
| title_sort |
модель вопроса в естественно-языковых системах тестирования |
| publisher |
Інститут проблем штучного інтелекту МОН України та НАН України |
| publishDate |
2012 |
| topic_facet |
Анализ и синтез коммуникационной информации |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/57169 |
| citation_txt |
Модель вопроса в естественно-языковых системах тестирования / А.С. Звенигородский, В.Н. Чернышова // Штучний інтелект. — 2012. — № 3. — С. 137-142. — Бібліогр.: 4 назв. — рос. |
| series |
Штучний інтелект |
| work_keys_str_mv |
AT zvenigorodskijas modelʹvoprosavestestvennoâzykovyhsistemahtestirovaniâ AT černyšovavn modelʹvoprosavestestvennoâzykovyhsistemahtestirovaniâ |
| first_indexed |
2025-07-05T08:25:39Z |
| last_indexed |
2025-07-05T08:25:39Z |
| _version_ |
1836794710900867072 |
| fulltext |
«Штучний інтелект» 3’2012 137
3-З
УДК 004.89:004.93
А.С. Звенигородский, В.Н. Чернышова
Институт информатики и искусственного интеллекта
ГВУЗ «Донецкий национальный технический университет», г. Донецк, Украина
Украина, 83050, г. Донецк, ул. Б. Хмельницкого, 84, г. Донецк, zas@suiai.edu.ua
Модель вопроса в естественно-языковых
системах тестирования
A.S. Zvenigorodsky, V.N. Chernishova
Institute of Informatics and Artificial Intelligence,
Donetsk National Technical University, Donetsk, Ukraine
Ukraine, 83050, c. Donetsk, B. Khmelnitskiy st., 84, zas@suiai.edu.ua
Question Model in Natural Language Test Systems
О.С. Звенігородський, В.М. Чернишова
Інститут інформатики і штучного інтелекту
ДВНЗ «Донецький національний технічний університет», м. Донецьк, Україна
Україна, 83050, м. Донецьк, пр. Б. Хмельницького, 84, zas@suiai.edu.ua
Модель питання в природномовних системах тестування
В статье рассматривается проблема генерирования вопросов в системах компьютерного тестирования
знаний. Предложена модель вопроса, учитывающая составляющие предметной области вопроса и
текущие параметры тестирования. Представлена структурная схема процесса формирования вопроса.
Ключевые слова: система тестирования, модель вопроса, естественный язык, параметры
тестирования.
The problem of question generation in computer knowledge testing systems is considered. A question model,
which takes into account the components of the question problem domain and current testing parameters, is
proposed. The block diagram of the question formation process is considered.
Key Words: testing system, question model, natural language, test parameters.
У статті розглядається проблема моделювання питань у системах комп’ютерного тестування знань.
Запропоновано модель питання, що враховує складові предметної області питання та поточні параметри
тестування. Наведена структурна схема процесу формування питання.
Ключові слова: система тестування знань, модель питання, природна мова, параметри тес-
тування.
Введение
Одной из задач, решаемых при построении систем компьютерного контроля
знаний, является задача формирования не повторяющихся наборов вопросов (набора
тестовых заданий). Необходимость формирования разных наборов тестовых заданий
обусловлена тем, что обучаемый может проходить тест по одной и той же теме не-
сколько раз. При этом неправильные ответы на один и тот же вопрос можно запомнить
и затем исключать их при повторном тестировании. В простейших системах ком-
пьютерного тестирования знаний набор заданий формируется случайным образом из
множества априорно заданных вопросов. Формирование наборов заданий таким спосо-
mailto:zas@suiai.edu.ua
mailto:zas@suiai.edu.ua
mailto:zas@suiai.edu.ua
Звенигородский А.С., Чернышова В.Н.
«Искусственный интеллект» 3’2012138
3-З
бом требует большого количества вопросов и их формулировок, а это является трудо-
емкой работой и довольно субъективной. Кроме этого, при создании адаптивных систем
тестирования реализация механизма сложности вопроса также трудоемка и субъек-
тивна. В результате возникает необходимость использования методов, позволяющих
генерировать вопросы автоматически в ходе работы системы.
Целью данной статьи является повышение эффективности систем тестирования
за счет автоматического генерирования вопросов на естественном языке с учетом целей
тестирования и текущего состояния процесса тестирования.
Методы формирования вопросов в системах
компьютерного контроля знаний
Самым распространенным способом формирования теста при многократной про-
верке знаний является случайный выбор заранее заданных в базе данных (БД) вопросов.
В некоторых системах для расширения количества вариантов заданий существует
возможность генерирования вопросов. Например, в системе TeachLab реализована
возможность генерирования числовых параметров в заданиях. Возможны различные
варианты генерации заданий, один из которых – это генерация параметров в зада-
ниях (одного или нескольких) [1].
Другим подходом является подход, основанный на использовании шаблонов [2].
В системе контроля знаний присутствует блок «формирования тестовых заданий», ко-
торый на основе заданных шаблонов формирует задание. Этими шаблонами являются:
1. Шаблоны базового задания: «Дайте определение понятию X», «Запишите опре-
деление X», «Сформулируйте теорему X», где X – некоторое понятие дисциплины,
которое является базовым для рассматриваемой тройки заданий.
2. Шаблоны вспомогательного задания: «Одинаковы ли понятия Z и Y?», «Вычис-
лите Y», «Примените определение Y для решения задачи Z» и т.д., где Y, Z опирается
на базовое понятие.
3. Шаблоны развивающего задания: «Приведите примеры элементов класса Z».
Задания, формирующиеся на основе шаблонного метода, визуально отличаются
только параметрами X, Y, Z. Изменив параметр в «Шаблоне базового задания», в ответе
пользователю потребуется дать другое определение. Для заданий, которые основы-
ваются на вычислении по формулам, ход решения задачи сохраняется. При этом для
заданий на вычисление возможна генерация вопросов с различными параметрами,
но с единим ответом. Однако применение такого подхода в системе тестирования
приводит к необходимости ограничения параметров:
– для числовых параметров это диапазон значений;
– для нечисловых параметров это диапазон значений, заданный перечислением
и исключениями.
Представленный подход не покрывает все известные классы вопросов, однако яв-
ляется достаточно конструктивным для генерирования вопросов некоторых дисциплин.
Для примера рассмотрим вопросы из дисциплины «Биология»: «В чем состоит
биологическая роль кислорода?», «В чем состоит суть защитной функции кислорода?»,
«При каком минимальном содержании кислорода в воздухе возможно дыхание чело-
века?», «К какой группе химических элементов относится кислород?». Данный ряд
вопросов покрывается представленным выше набором шаблонов. Следует отметить,
Модель вопроса в естественно-языковых системах тестирования
«Штучний інтелект» 3’2012 139
3-З
что с системной точки зрения этой группой вопросов ограничивается некоторая пред-
метная область дисциплины. В данном случае данными о функциях и свойствах кисло-
рода для школьной биологии. Функции кислорода можно рассматривать как понятия Х,
его свойства, которые можно выразить численно, как Y. Таким образом, для автома-
тической генерации вопроса необходима онтологическая модель некоторой предметной
области дисциплины, включающей объекты Х и их свойства Y, и естественно-языковая
модель, определяющая принципы построения текста вопроса и способы выражения Х
и Y с помощью естественного языка (ЕЯ).
Постановка задачи
На примере вопросов по биологии видно, что все они относятся к очень ограни-
ченной предметной области дисциплины и в рамках учебной дисциплины практически
не связаны с другими предметными областями. Назовем такие предметные области
дисциплины предметной областью вопроса (ПОВ). Отметим, что генерация вопроса
не является окончательной целью тестирования. На вопросы надо отвечать и оцени-
вать ответ. Для автоматической оценки ответа на один из видов вопроса (вопрос на
перечисление) в [3] предлагается смысловая модель ответа, построенная на онтоло-
гической модели ограниченной предметной области дисциплины и языковой модели
ответа. Фактически в нашем случае и в [3] речь в целом идет об одной и той же пред-
метной области. Это означает, что онтологические или смысловые модели вопроса и
ответа идентичны, а отличаются языковыми моделями генерирования вопроса и мо-
делью анализа ответа. Выражение «Смысловая модель дисциплины» мы вводим для
того, чтобы не было противоречий между дисциплинами. Например, в повседневной
жизни мы наблюдаем, что солнце восходит и заходит, т.е. наш опыт говорит, что
Солнце вращается вокруг Земли, а в астрономии наоборот, Земля вращается вокруг
Солнца. Это означает, что в сознании человека для одной и той же объективной реаль-
ности (не зависящей от сознания) могут существовать две и более смысловые модели.
Это приводит к тому, что ответы на одинаковую языковую формулировку вопроса
будут не только различны, но и диаметрально противоположны.
В теории компьютерного контроля знаний при выборе вопросов учитывается ряд
количественных характеристик, которые могут служить для выбора в рамках ПОВ
определенных смыслов, отличающихся сложностью и другими параметрами, исполь-
зуемыми для оценки в разных режимах тестирования (окончательное, начальное, про-
межуточное, личностное и др.) [4]. Определим эти параметры как текущие параметры
тестирования.
Текущие параметры тестирования – набор правил фактов и данных, в которых
учитывается история прохождения тестирования, сложность выполненных тестов,
время выполнения заданий, статистика по правильным ответам, количество попыток
прохождения теста и др.
Таким образом, задача формирования естественно-языкового вопроса заключается
в следующем: по модели смысла ПОВ, определяющей множество элементов ПОВ,
их свойств, отношений и функций, выбрать смысл, удовлетворяющий этой модели с
учетом текущих параметров тестирования, и для него сгенерировать грамматически
правильный ЕЯ текст вопроса. Под генерированием будем понимать морфологиче-
ское согласование лексем в вопросе и соответствие текста вопроса синтаксису языка,
в том числе расстановке знаков пунктуации.
Звенигородский А.С., Чернышова В.Н.
«Искусственный интеллект» 3’2012140
3-З
Модель вопроса в естественно-языковых
системах тестирования
В соответствии с постановкой задачи определим модель вопроса в виде тройки:
Q = (SQM, NLQM, TPT),
где SQM – смысловая (онтологическая) модель вопроса;
NLQM – языковая модель вопроса;
TPT – правила, факты и данные текущих состояний тестирования.
Смысловая модель вопроса SM определяет объект или объекты ПОВ, их свойства
и диапазоны свойств. Данная модель строится на основе известных методов представ-
ления знаний в искусственном интеллекте и их комбинаций в зависимости от типа
дисциплины и не зависит от естественного языка.
Языковая модель вопроса определена в виде тройки:
NLQM = (LSn, Dk, RLD),
где LSn – подмножества лексем и сочетаний лексем (синонимы и метафоры) в
основной морфологической форме, обозначающих элементы множества предметной
области и их свойства; n = 1, … N – количество элементов предметной области;
Dk – подмножества дополнительных лексем и их сочетаний (вопросительные
слова, синонимы, метафоры и идиомы) соответствующего шаблона вопроса; k = 1, …3 ,
усиливающие языковую выразительность текста вопроса в основной морфологиче-
ской форме;
RLD – множество морфологических и синтаксических правил, определяющих
сочетания лексем из LSn и Dk, в тексте вопроса.
Процесс формирования вопроса
В рамках предложенной модели на рис. 1 представлены основные этапы процесса
автоматического генерирования вопроса.
Рисунок 1– Структурная схема процесса генерирования вопроса
Определение шаблона вопроса
Формирование текста вопроса
Текст вопроса
Запрос
пользователя
NLQM
Определение текущего смысла
вопросаSQM
TPT
Модель вопроса в естественно-языковых системах тестирования
«Штучний інтелект» 3’2012 141
3-З
На первом этапе по данным текущего тестирования определяется шаблон вопроса.
На втором этапе по модели SQM определяется текущий смысл, который окончательно
учитывает данные текущего тестирования. На третьем этапе формируется текст вопроса,
учитывающий лексику дисциплины, тип шаблона вопроса и уровень тестируемого.
Выводы
1. Предлагаемая модель позволяет отказаться в системах тестирования от слу-
чайного выбора вопросов из множества априорно заданных вопросов.
2. Смысловая и языковая модели, а также модуль текущих параметров тестиро-
вания, могут совершенствоваться в процессе эксплуатации и использоваться для по-
строения систем тестирования различного назначения и сложности.
Литература
1. Романенко А.В. Контроль знаний в электронных обучающих комплексах / А.В. Романенко // Тех-
нические науки: Доклады ТУСУРа. – 2007. – № 1(15). – С. 34-39.
2. Кондаков В.К. Конструирование контрольных заданий для электронного учебника / В.К. Кондаков //
Информационные ресурсы России. – 2006.
3. Звенигородский А.С. Модель одного ответа на вопрос в естественно-языковых системах тестиро-
вания / А.С. Звенигородский, С.Б. Иванова, В.Н. Чернышова // Искусственный интеллект. – 2012. –
№ 2. – С. 33-38.
4. Чернышова В.Н. Показатели качества заданий, влияющие на формирование опроса / В.Н. Чернышова,
А.С. Звенигородский // Интеллектуальные системы принятия решений и проблемы вычислительного
интеллекта : материалы международной научной конференции. – Херсон : ХНТУ, 2012. – С. 213-214.
Literatura
1. Romanenko A.V. Tehnicheskie nauki: Doklady TUSURa № 1(15). 2007. S. 34-39.
2. Kondakov V.K. Konstruirovanie kontrolnyh zadaniy dlya elektronnogo uchebnika. Informacionnye
resursy Rossii. 2006.
3. Zvenigorodskiy A.S. Iskusstvennyj intellect. 2012. № 2.
4. Chernyshova V.N. Intellektualnye sistemy prinyatiya reshenii i problemy vychislitel’nogo intellekta:
Materialy mezhdunarodnoi nauchnoi konferencii. Herson: HNTU. 2012. 213-214 s.
RESUME
A.S.Zvenigorodsky, V.N. Chernishova
Question Model in Natural Language Test Systems
The paper purpose is to increase the test system effectiveness by using the automatic
generation of new questions, which takes into account the components of the question
problem domain and current testing parameters.
In accordance with the paper purpose the question model, the authors defined as triplet:
Q = (SQM, NLQM, TPT)
where:
SQM is sense (ontological) question model;
NLQM is natural language question model;
TPT is current testing parameters.
Sense question model (SQM) is defined by objects of question problem domain and
their properties and property ranges.
Звенигородский А.С., Чернышова В.Н.
«Искусственный интеллект» 3’2012142
3-З
The natural language question model (NLQM) is defined as triplet:
NLQM = (LSn, Dk, RLD)
where:
LSn is a subsets of the lexemes and lexeme combinations (the synonyms and
metaphors) in the main morphological form, denoting entity domain elements and their
properties; n = 1, … N is a number domain element;
Dk is subsets of the additional lexemes (the synonyms and metaphors) in the main
morphological form, that relevant to each question types; k = 1, … 3 is a number of question
types;
RLD is a set of morphological and syntax rules, defining grammatical rules of the
combination of the lexemes from LSn and Dk;
Current testing parameters (TPT) is a set of data which take into account run-time tasks,
statistics on the correct answers, the number of attempts to pass the test, the complexity of tests
performed.
In accordance with offered model, the block diagram of automatic generation of new
questions is proposed. The offered question model allows using the synonyms and metaphors
in question. It is also offered question model, which allows taking into account data on the
current testing parameters.
Статья поступила в редакцию 13.07.2012.
|