Динамическая сегментация изображений для учебного симулятора языка жестов

Рассмотрена проблема сегментации изображений для улучшения распознавания руки в видеоряде. Приведены результаты полученных в контексте исследований, цель которых – построение компьютерного тренажера украинского языка жестов. Такой тренажер разрабатывается для людей, желающих овладеть языком жестов с...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2009
Автори:	Годыч, О.В., Гущин, К.Н., Никольский, Ю.В., Пасичник, В.В., Щербина, Ю.Н.
Формат:	Стаття
Мова:	Russian
Опубліковано:	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України 2009
Теми:	Опыт разработки и внедрения информационных технологий
Онлайн доступ:	http://dspace.nbuv.gov.ua/handle/123456789/5538
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Динамическая сегментация изображений для учебного симулятора языка жестов / О.В. Годыч, К.Н. Гущин, Ю.В. Никольский, В.В. Пасичник, Ю.Н. Щербина // Управляющие системы и машины. — 2009. — № 1. — С. 79-85. — Бібліогр.: 18 назв. — рос.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-5538
record_format	dspace
spelling	irk-123456789-55382010-01-28T12:00:44Z Динамическая сегментация изображений для учебного симулятора языка жестов Годыч, О.В. Гущин, К.Н. Никольский, Ю.В. Пасичник, В.В. Щербина, Ю.Н. Опыт разработки и внедрения информационных технологий Рассмотрена проблема сегментации изображений для улучшения распознавания руки в видеоряде. Приведены результаты полученных в контексте исследований, цель которых – построение компьютерного тренажера украинского языка жестов. Такой тренажер разрабатывается для людей, желающих овладеть языком жестов самостоятельно, без помощи учителя. Розглянуто проблему сегментації зображень для покращення розпізнавання руки у відеоряді. Наведені результати отримано в контексті дослідження, мета якого – побудова комп'ютерного тренажера української мови жестів. Тренажер розробляється для людей, які хочуть оволодіти мовою жестів самостійно, без допомоги вчителя. A problem of the image segmentation for the improvement of hand recognition in a video sequence is considered. The results obtained in the context of the researches are given. Their objective is to build a training simulator for Ukrainian Sign Language. Such simulator is worked out for the people having a wish to master the sign language by themselves, without the help of a teacher. 2009 Article Динамическая сегментация изображений для учебного симулятора языка жестов / О.В. Годыч, К.Н. Гущин, Ю.В. Никольский, В.В. Пасичник, Ю.Н. Щербина // Управляющие системы и машины. — 2009. — № 1. — С. 79-85. — Бібліогр.: 18 назв. — рос. 0130-5395 http://dspace.nbuv.gov.ua/handle/123456789/5538 681.3 ru Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Russian
topic	Опыт разработки и внедрения информационных технологий Опыт разработки и внедрения информационных технологий
spellingShingle	Опыт разработки и внедрения информационных технологий Опыт разработки и внедрения информационных технологий Годыч, О.В. Гущин, К.Н. Никольский, Ю.В. Пасичник, В.В. Щербина, Ю.Н. Динамическая сегментация изображений для учебного симулятора языка жестов
description	Рассмотрена проблема сегментации изображений для улучшения распознавания руки в видеоряде. Приведены результаты полученных в контексте исследований, цель которых – построение компьютерного тренажера украинского языка жестов. Такой тренажер разрабатывается для людей, желающих овладеть языком жестов самостоятельно, без помощи учителя.
format	Article
author	Годыч, О.В. Гущин, К.Н. Никольский, Ю.В. Пасичник, В.В. Щербина, Ю.Н.
author_facet	Годыч, О.В. Гущин, К.Н. Никольский, Ю.В. Пасичник, В.В. Щербина, Ю.Н.
author_sort	Годыч, О.В.
title	Динамическая сегментация изображений для учебного симулятора языка жестов
title_short	Динамическая сегментация изображений для учебного симулятора языка жестов
title_full	Динамическая сегментация изображений для учебного симулятора языка жестов
title_fullStr	Динамическая сегментация изображений для учебного симулятора языка жестов
title_full_unstemmed	Динамическая сегментация изображений для учебного симулятора языка жестов
title_sort	динамическая сегментация изображений для учебного симулятора языка жестов
publisher	Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
publishDate	2009
topic_facet	Опыт разработки и внедрения информационных технологий
url	http://dspace.nbuv.gov.ua/handle/123456789/5538
citation_txt	Динамическая сегментация изображений для учебного симулятора языка жестов / О.В. Годыч, К.Н. Гущин, Ю.В. Никольский, В.В. Пасичник, Ю.Н. Щербина // Управляющие системы и машины. — 2009. — № 1. — С. 79-85. — Бібліогр.: 18 назв. — рос.
work_keys_str_mv	AT godyčov dinamičeskaâsegmentaciâizobraženijdlâučebnogosimulâtoraâzykažestov AT guŝinkn dinamičeskaâsegmentaciâizobraženijdlâučebnogosimulâtoraâzykažestov AT nikolʹskijûv dinamičeskaâsegmentaciâizobraženijdlâučebnogosimulâtoraâzykažestov AT pasičnikvv dinamičeskaâsegmentaciâizobraženijdlâučebnogosimulâtoraâzykažestov AT ŝerbinaûn dinamičeskaâsegmentaciâizobraženijdlâučebnogosimulâtoraâzykažestov
first_indexed	2025-07-02T08:37:31Z
last_indexed	2025-07-02T08:37:31Z
_version_	1836523666777571328
fulltext	УСиМ, 2009, № 1 79 Применение информационных технологий УДК 681.3 О.В. Годыч, К.Н. Гущин, Ю.В. Никольский, В.В Пасичник, Ю.Н. Щербина Динамическая сегментация изображений для учебного симулятора языка жестов Рассмотрена проблема сегментации изображений для улучшения распознавания руки в видеоряде. Приведены результаты по- лученных в контексте исследований, цель которых – построение компьютерного тренажера украинского языка жестов. Такой тренажер разрабатывается для людей, желающих овладеть языком жестов самостоятельно, без помощи учителя. A problem of the image segmentation for the improvement of hand recognition in a video sequence is considered. The results obtained in the context of the researches are given. Their objective is to build a training simulator for Ukrainian Sign Language. Such simulator is worked out for the people having a wish to master the sign language by themselves, without the help of a teacher. Розглянуто проблему сегментації зображень для покращення розпізнавання руки у відеоряді. Наведені результати отримано в контексті дослідження, мета якого – побудова комп'ютерного тренажера української мови жестів. Тренажер розробляється для людей, які хочуть оволодіти мовою жестів самостійно, без допомоги вчителя. Введение. Авторы статьи ведут исследование по созданию адаптивного компьютерного тре- нажера языков жестов. Значительная часть ос- новных идей и предложенных технологий уже обсуждались в ряде работ [1, 2], а также де- монстрировались на CeBIT 2006, 2007 и 2008. Главная цель проекта – разработка доступного решения для людей, желающих самостоятель- но овладеть языком жестов, основой которого являются алгоритмы распознавания дактилей – конфигураций пальцев рук, соответствующих жестам, определенным для конкретного языка жестов [1]. К сожалению, предложенные алгоритмы име- ют высокую результативность лишь на изо- бражениях (кадрах видеоряда) с однородным фоном. Для избавления от этого ограничения предложено разработать решение для отсеива- ния фона, т.е. алгоритм сегментации изобра- жений, основанный на теории самоорганиза- ционных карт Кохонена (SOM – Self-Organi- zing Maps). Один из подходов к сегментации изображе- ний состоит в трактовке этого процесса как задачи кластеризации, где объектами группи- рования являются пикселы изображения, а кла- стерами – сегменты. Итак, будем пользоваться термином кластеризация изображения тогда, когда будем говорить о способе получения ин- формации относительно содержания изобра- жения. Самоорганизационные карты Кохонена и их вариации являлись темой наших исследо- ваний в течение нескольких лет [3], [4], а по- тому использование SOM стало естественным выбором для реализации кластеризации изо- бражений. Значительная часть проведенного ис- следования посвящена анализу цветных про- странств и построению структур данных из кадров видеоряда для наиболее полного исполь- зования свойства SOM, заключающегося в со- хранении топологии в течение сегментации изображений. Сегментация изображений – важ- ная проблема и распространенная тема иссле- дований. Далее приведен краткий обзор иссле- дований по использованию SOM с целью кла- стеризации изображений, проведенных авто- рами работ, а также кратко их результат или недостаток. • Предложен двухэтапный процесс на осно- ве SOM с одномерной решеткой, где нейросеть SOM на первом этапе учится, на втором – она кластеризуется, используя K-means алгоритм для определения сегментов на изображении. Основной недостаток такого подхода – ис- пользование неполной информации о цвете: лишь оттенок (hue) и насыщенность (satura- tion) использовались для построения данных, примененных в обучении [5]. 80 УСиМ, 2009, № 1 • Предложена уникальная схема подготовки данных с использованием не только цвета, но и информации о текстуре, что позволяет повы- сить результативность сегментации с 53,6 (без использования текстур) до 61,3%. Приведен- ные тесты основывались на изображениях вы- сокой сложности [6] и [7]. • Предложен алгоритм на основе SOM для распознавания кожи. Соответственно приве- денным результатам, эффективность распозна- вания составила 94% в сравнении со стандарт- ными подходами [8]. • Разработан многоэтапный алгоритм кла- стеризации для сегментации цветных изобра- жений. На первом этапе применяют SOM для упрощения данных, что дает возможность ис- пользовать подходы, являющиеся эффектив- ными, но медленными на сложных и объемных данных [9]. • Использована не только цветная (доволь- но часто для представления пикселов изобра- жения используют трехмерное цветовое про- странство RGB), но и пространственная ин- формацию о положении пикселов изображе- ния. При этом для обучения SOM уже исполь- зовались пятимерные векторы ),,,,( BGRYX . Дополнительно был введен алгоритм объеди- нения кластерных блоков в наперед опреде- ленное количество по определенным семанти- ческим признакам [10]. • Исследование сосредоточено на использо- вании одноизмеримой SOM. Наилучшие ре- зультаты сегментации были получены в кон- фигурации, где первый и последний нейрон соединены, образуя нейронное кольцо [11]. • Обсуждается использование адаптивного алгоритма сегментации на основе SOM [12], где как и в [11] используется одномерная ре- шетка. Главное отличие предложенного в этой работе алгоритма состоит в реализации адап- тивной стратегии расщепления и объединения с целью автоматического поиска наиболее аде- кватного количества кластеров. Дополнитель- но, для дальнейшего улучшения результатов сегментации в условиях изменения освещения и фона, разработан алгоритм реагирования на динамическое изменение цветов в пространст- ве HSI (Hue, Saturation, Intensity) с использова- нием комбинации самоорганизационных и контролируемых процессов обучения. Резуль- таты тестов подтверждают высокую эффек- тивность разработанных алгоритмов. Заметим, что большинство тестовых изображений были малого размера, автоматически упрощающих задачу, и имели фон, близкий к однородному. Динамическая сегментация изображений Обсуждение теоретических и алгоритмиче- ских основ осуществленного исследования разделено на две части, одна из которых осве- щает этап подготовки данных для преобразо- вания графической информации из видеоряда в векторное пространство, пригодное для ис- пользования SOM (обучение и интерпретация). Эффективность подготовки данных непосред- ственно влияет на качество кластеризации изображений. Для упрощения объяснения да- ны в контексте одного кадра (изображения), что не влияет на их применимость ко всем кадрам видеоряда. Подготовка данных Начальный этап подготовки данных состоит в выборе векторного пространства для пред- ставления каждого пиксела изображения. Про- цесс обучения SOM – одна из наиболее требо- вательных к вычислительным ресурсам частей предложенного подхода. Учитывая требование выполнения кластеризации изображения в ре- альном времени, последующий этап подготов- ки данных – уменьшение объема данных, ис- пользуемых для обучения SOM. Известно, что способ работы SOM согласу- ется с принципами работы мозга. Одно из главных свойств SOM – сохранение топологии входного пространства в течение учебного про- цесса. Новейшие исследования человеческого мозга свидетельствуют, что сигналы-реакции кортекс поступают в том же топологическом порядке, что и органы чувств (глаза), пере- дающие информацию о цвете [13]. С учетом этого SOM – одна из технологий, естествен- УСиМ, 2009, № 1 81 ным образом пригодных для обработки визу- альной информации. Цвет представляет собой реакцию мозга на конкретные визуальные раздражители. Поэто- му, чтобы научить SOM отображать топологию изображения (в смысле взаимного расположе- ния пикселов по отношению к их информации о цвете) тем же способом, как это воспринима- ет человеческий глаз, необходимо выбрать цветовое пространство для описания пикселов, наиболее точно моделирующее способ получе- ния сенсорами глаза визуальной информации. Глаз получает информацию о цвете по трем каналам, отвечающим красному, зеленому и синему цвету [14]. Полученные световые сиг- налы объединяются мозгом, порождая разные ощущения цвета, обозначенные организацией CIE (Commission Internationale de l'Eclairage (French)) [15] так: яркость (Brightness), оттенок (Hue) и цветность (Colourfulness). Комиссия CIE определила систему, классифицирующую цвета в соответствии с человеческой системой восприятия визуальной информации. Эта сис- тема представляет собой основу трихромати- ческой теории, описывающей способ, в кото- ром красный, зеленый и синий цвета могут создать произвольный видимый цвет так же, как человеческий глаз использует три сенсора цвета. Цветовое пространство определяет, как цвет должен быть специфицирован, создан и визуализирован. Существует несколько цвето- вых пространств, использование которых зави- сит от особенностей сферы применения. Неко- торые цветовые пространства линейные с точ- ки зрения восприятия информации, что озна- чает: изменение на n единиц произвольной компоненты цвета приводит к такому же ощу- щению величины изменения независимо от того, в каком месте пространства оно состоя- лось [14]. Свойство линейного восприятия дает возможность цветовым пространствам лучше моделировать систему зрения человека. Как оказалось, большинство цветовых пространств, используемых в современных форматах изо- бражений, не владеют свойством линейности восприятия. Например, BMP и PNG использу- ют пространство RGB1, JPEG использует YCbCr, который является преобразованием пространства RGB, HSL2 – еще одно широко используемое пространство, базирующееся на RGB. Вместе с тем цветовые пространства на основе CIE, такие как CIELuv и CIELab – поч- ти линейные [14] и наиболее пригодны для ис- пользования в SOM, что было подтверждено экспериментально. Пространство CIE XYZ представляет собой абсолютное пространство (приборонезависимое), где каждый видимый цвет имеет неотъемлемые координаты X, Y и Z [16]. Пространство CIELab получают из CIE XYZ нелинейным преобразованием XYZ в L∗, a∗, b∗ [17]. Первичные входные данные (кадры из ви- деоряда), использованные в исследовании, применяли несжатый 24-битный формат BMP (8 бит на каждый канал), базирующийся на пространстве RGB. Для конвертирования век- торов (r, g, b) ∈ RGB в (L∗, a∗, b∗) ∈ CIELab не- обходимо применить промежуточные преобра- зования с использованием пространства CIE XYZ [17]. Превращая каждый пиксел ориги- нального изображения в пространстве RGB, формируем изображение в пространстве CIE- Lab, которое и используем для дальнейшей об- работки. Заметим, что при использовании SOM часто употребляют евклидово расстояние для вычисления отличия между элементами вход- ного пространства3, необходимого для поиска нейронов наилучшего приближения [13]. Вме- сте с тем именно евклидово расстояние ис- пользуют в просторные CIELab для вычисле- ния отличия между элементами пространства, которыми являются пикселы изображения [16]. Забегая вперед, рассмотрим рис. 1, иллюстри- рующий важность выбора цветового простран- 1 BMP-файлы без компрессии и многие другие фай- ловые форматы используют 1, 4, 8, 16, 24 или 32 бита для сохранения пикселов изображения. 2 Имеет альтернативные названия HSI, HSV, HCI, HVC, TSD и т.д. [14]. 3 Выбор способа вычисления расстояния между эле- ментами входного пространства обусловлен свойствами этого пространства, и использование евклидова рас- стояния не обязательно. 82 УСиМ, 2009, № 1 ства для предложенного подхода, где видно, что именно использование пространства CIE- Lab обеспечивает наилучший из приведенных результатов кластеризации изображения. Для уменьшения объема данных, исполь- зуемых для обучения SOM, предложено разде- лить изображение на сегменты размером nn× пикселов. Для каждого образованного сегмента ищем два наиболее отдаленные пиксела, кото- рые и будут формировать учебное множество. Поиск наиболее отдаленных пикселов в сег- ментах должен использовать формулу рас- стояния, соответствующего выбранному цве- товому пространству. Далее приведен пример изображения A размером 44× пиксела, представленного в просторные CIELab и раз- деленного на четыре сегмента 22× пиксела каждый. 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 3 3 3 4 4 4 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 2 2 2 3 3 3 4 4 4 3 3 3 3 3 3 3 3 3 3 3 3 1 1 1 2 2 2 3 3 3 4 4 4 4 4 4 4 4 4 1 1 1 2 2 2 ( , , ) ( , , ) ( , , ) ( , , ) ( , , ) ( , , ) ( , , ) ( , , )= ( , , ) ( , , ) ( , , ) ( , , ) ( , , ) ( , , ) ( T T T T T T T T T T T T T T L a b L a b L a b L a b L a b L a b L a b L a bA L a b L a b L a b L a b L a b L a b L4 4 4 4 4 4 3 3 3 4 4 4, , ) ( , , )T Ta b L a b ⎛ ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎝ ⎠ . a б в г Рис. 1. Примеры кластеризации изображения, предложенным ме- тодом с использованием разных цветовых пространств: а – оригинал; б – RGB; в – HSL; г – CIELab Алгоритм 1 реализует рассмотренный под- ход. Отметим, что чрезмерное сокращение дан- ных может привести к удалению важных пик- селов, и как результат – к неуспешному обуче- нию и кластеризации. На данном этапе иссле- дования еще не сформулированы правила для определения оптимального размера сегментов. Для получения рассмотренных в статье ре- зультатов параметры сегментации были най- дены эмпирически. Вместе с тем даже при- менение разбивки на сегменты 22× пиксела к изображению размером 600800× пикселов уменьшило учебное множество с 460000 до 240000 элементов. Уменьшение учебного множества, в частности, дает возможность ис- пользовать нейронную решетку меньших раз- меров, что автоматически существенно умень- шает время, необходимое для обучения SOM. Пусть n – размер сегмента для разделения изображения, T – учебное множество, форми- руемое в процессе работы алгоритма. Обозна- чим j-и пиксел в сегменте iS как )( jSi . Даль- ше в тексте оба термина пиксел и вектор упо- требляются в одном смысле. Алгоритм 1: Формирование учебного множе- ства Инициализация. Разделим изображение на сег- менты размером n × n пикселов; N > 0 – коли- чество полученных сегментов; T ← ∅; i ← 1. 1. Находим два наиболее отдаленных пик- села ip S′∈ и ip S′′∈ , используя евклидово расстояние: a) max ← – ∞ , j ← 1 b) k ← j + 1 c) вычисляем расстояние между пиксела- ми ( )iS j и ( ) ( ) ( ): disti i iS k S j S k← − d) если dist >max, то ( )ip S j′ ← ( )ip S k′′ ← и max dist← e) если <k n n× , то 1k k← + , и возвра- щаемся к шагу с) f) если < 1j n n× − , то 1j j← + , и воз- вращаемся к шагу b) 2. Добавляем ip S′∈ и ip S′′∈ к учебно- му множеству: { , }T T p p′ ′′← ∪ 3. Осуществляем переход к следующему сегменту 1i i← + . Если i N≤ , то переходим к шагу 1, иначе – остановка. УСиМ, 2009, № 1 83 Интерпретация кластеров Для организации учебного процесса SOM были использованы рекомендации из работ [13] и [4]. В проведенных экспериментах вы- бор двумерной решетки с сотовидной формой соседства между нейронами обеспечил луч- шую результативность сравнительно с альтер- нативными структурами (одномерная решетка, прямоугольное соседство и т.д.). Более деталь- но с выбором параметров обучения SOM можно ознакомиться в работе [4]. Обучение сконструи- рованной SOM проводилось на учебном множе- стве T, сформированном с использованием алго- ритма 1. Обученная SOM использована для ор- ганизации процесса сегментации. Свойство сохранения топологии, обученной нейросетью SOM, фундаментально для пред- ложенного подхода кластеризации изображе- ния, базирующегося на таких принципах: • Пикселы изображения, которые распозна- ются топологично близкими нейронами (в смысле взаимного расположения нейронов в решетке), должны принадлежать одному и то- му же кластеру. • Происхождение меток для обозначения нейронов, принадлежащих к одному кластеру, не существенно, если алгоритм присвоения меток обеспечивает их уникальность для каж- дого кластера. Эти два принципа указывают на то, что по- зиции нейронов в решетке, а не значения их ве- совых векторов, могут быть использованы для присваивания меток. При этом весовые векторы сыграют роль собственно указателей из дву- мерного пространства нейронов в трехмерное цветовое пространство, а позиции нейронов от- вечают распределению цветов на изображении. В результате эмпирического исследования были получены формулы для вычисления зна- чений меток в форме оттенков серого цвета в пространстве RGB: λ,j j j j jR x y G x← + × ← + λ, λj j j jy B x y+ × ← + × . Значения jx и jy – координаты нейронов Mj 1,= в решетке, где M – общее количество нейронов в SOM. Кон- станта λ должна быть большей или равной диагонали решетки для обеспечения уникаль- ности метки каждого нейрона. Учитывая уникальность меток каждого ней- рона возникает потребность в методе объеди- нения нейронов на основе присвоенных меток у группы, отвечающим сегментам на изобра- жении. На данном этапе исследования пред- ложено несколько подходов для автоматиче- ского определения нейронов SOM, принадле- жащих одному кластеру [18]. Представленные в этой статье результаты получены разбивками нейронов на две группы путем наложения по- рогового значения на присвоенные нейронам метки. Алгоритм 2 описывает этот подход. Алгоритм 2: Кластеризация изображения 1. Инициализация. = ( , , )j j j jp R G B – пиксел j; = 1,j K ; K > 0 – общее количество пикселов на изображении, пронумерованных в опреде- ленном порядке; 1j ← ; ( ) = ( , , )j i i i i p R G B∗ ∗ ∗ ∗ – весовой вектор нейрона наилучшего прибли- жения BMU (Best Matching Unit) для входного вектора jp ; ( , ) i i x y∗ ∗ – координаты нейрона i; устанавливаем соответствующее значение константы λ. 2. Находим BMU для вектора jp в обучен- ной SOM, используя ту же формулу расстоя- ния, что и при обучении (евклидова расстоя- ния для пространства CIELab). 3. Вычисляем значение маркера для пиксела jp : λj i i R x y∗ ∗← + × , j jG R← , j jB R← . 4. Переходим к следующему пикселу: 1j j← + . 5. Если j K≤ , то переходим к шагу 1, ина- че – останов. Результаты экспериментов В этом разделе продемонстрированы ре- зультаты применения предложенного подхода к кластеризации изображений на примере за- дачи выделения сегмента, соответствующего 84 УСиМ, 2009, № 1 изображению руки на кадрах видеоряда. Осо- бенность данной задачи в том, что обучение SOM и определение порогового значения про- исходило лишь на первом кадре видеоряда с применением к следующим кадрам без всяких изменений. Такой подход дает возможность осуществлять кластеризацию видеоряда в ре- жиме реального времени. На рис. 2 показан ряд оригинальных и кла- стеризованных изображений, соответствующих кадрам видеоролика ладони, которая сжимает- ся в кулак и расправляется. Видео было запи- сано обычной веб-камерой с возможностью записи 30 кадров в секунду и размером кадров 600800× пикселов. Сложность данного видео для задачи кластеризации заключается в неод- нородности фона. Изображения на рис. 2 со- ответствуют кадрам с 25-го по 60-й с шагом 5 и 10. Главный аспект рассмотренных результатов заключается в том, что использование предло- женного подхода кластеризации требует обу- чения SOM лишь на одном кадре видеоряда. Визуально легко убедиться, что все кадры бы- ли успешно кластеризированы с четким выде- лением пикселов, принадлежащих изображе- нию руки, от неоднородного фона в отдельный кластер, хотя некоторые незначительные эле- менты фона были распознаны как часть того же кластера. Заключение. Разработка предложенного подхода к сегментации изображений в нашем случае заключается в упрощении задачи распознавания дактилей. Получен- ные результаты экспериментов свидетельствуют о том, что данный подход применим не только для выделения изображения руки, но и других объектов. Основной недостаток на данном этапе исследования – отсутствие полностью автомати- зированной процедуры опреде- ления порогового значения для группирования нейронов. За- метим, что ведется активная работа в этом направлении. В частности, в работе [18] обсу- ждается подход возможности автоматического образования кластеров из нейронов обучен- ной SOM. Одно из важных направле- ний дальнейших исследований – повышение качества сегмен- тации с использованием ие- рархической кластеризации, основная идея которой состоит в обучении SOM на вариациях изображения с разным уровнем детализации (начиная с наиме- нее детальной версии). 1. Давидов М.В., Нікольсь- кий Ю.В. Автоматична іденти- фікація елементів жестової мови за методом еталону // Вісн. Нац. ун-ту «Львівська політех- ніка». Сер. Інформаційні сис- теми та мережі. – 2007. – № 589. – С. 174–198. а б в г д е Рис. 2. Оригинальные и сегментированые видеокадры: а – 25; б – 30; в – 35; г – 40; д – 50; е – 60 УСиМ, 2009, № 1 85 2. Давидов М.В., Нікольський Ю.В., Пасічник В.В. Вибір ефективного методу опрацювання зобра- жень на основі еталону для ідентифікації елементів жестової мови // Вісн. Харківського нац. ун-ту ра- діоелектроніки. Сер. «АСУ і прилади автоматики». – 2008. – № 139. – С. 59–68. 3. Годич О.В., Нікольський Ю.В, Щербина Ю.М. За- стосування штучної нейронної мережі типу SOM для розв'язування задачі діагностування // Вісн. Нац. ун-ту «Львівська політехніка». – 2002. – № 464. – С. 31–43. 4. Дослідження ефективності алгоритмів навчання ме- реж Кохонена / В.В. Пасічник, О.В. Годич, Ю.В. Ні- кольський та ін. // УСиМ. – 2006. – № 2. – C. 63–80. 5. Jander Moreira, Luciano Da Fontoura Costa Neural- based color image segmentation and classification us- ing self-organizing maps, 1996. – http://mirror.impa.br/ sibgrapi96/trabs/pdf/a19.pdf 6. Campbell N.W., Thomas B.T., Troscianko T. Neural Networks for the Segmentation of Outdoor Images, In- ternational Conference on Engineering Applications of Neural Networks. – 1996. – P. 343–346. 7. Campbell N.W., Thomas B.T., Troscianko T. Segmen- tation of Natural Images Using Self-Organising Fea- ture Maps, University of Bristol, 1996. – P. 223–232. 8. Brown D., Craw I., Lewthwaite J. A SOM Based Ap- proach to Skin Detection with Application in Real Time Systems, University of Aberdeen, 2001. – http://www. bmva.ac.uk/bmvc/2001/papers/33/accepted_33.pdf 9. Akgul C.B. Cascaded self-organizing networks for color image segmentation, 2004. – http://www.tsi.enst. fr/:akgul/oldprojects/CascadedSOM_cba.pdf 10. Jiang Y., Chen K.-J., Zhou Z.-H. SOM Based Image Segmentation, Lecture Notes in Artificial Intelligence 2639, Springer, 2003. – P. 640–643. 11. Reyes-Aldasoro C.C. Image Segmentation with Koho- nen Neural Network Self-Organising Maps, 2004. – http://www.cs.jhu.edu/:cis/cista/446/papers/Segmenta tionWithSOM.pdf 12. Wu Y., Liu Q, Huang T.S. An Adaptive Self-Organi- zing Color Segmentation Algorithm with Application to Robust Real-time Human Hand Localization // Proc. Asian Conf. on Computer Vision, Taiwan, 2000. 13. Kohonen T. Self-Organizing Maps. – Springer, 2001. – 501 p. 14. Ford A., Roberts A. Colour Space Conversions, 1998. – http://www.poynton.com/PDFs/coloureq.pdf 15. Hunt R.W.G. Measuring Colour Fountain Pr Ltd, 1998. – 336 p. 16. Hoffmann G. CIELab Color Space, 2003. – http://www. fho-emden.de/:hoffmann/cielab03022003.pdf 17. Hoffmann G. CIE Color Space, 2000. – http://www. fho-emden.de/:hoffmann/ciexyz29082000.pdf 18. Highdimensional data structure analysis using Self- Organising Maps / O. Hodych, Y. Shcherbyna, Y. Nikol- skyi. et. al. // CADSM 9th Intern. Conf., 19–24 Feb. 2007. – P. 218–221. Окончание статьи В.И. Литвиненко 2. Философский энциклопедический словарь / Гл. ре- дакция: Л.Ф. Ильичева, П.Н. Федосеев, С.М. Кова- лев и др. – М.: Сов. Энциклопедия, 1983. – 840 с. 3. Ивахненко А.Г. Самообучающиеся системы распо- знавания и автоматического управления. – Киев: Техника, 1969. – 392 с. 4. Ивахненко А.Г., Степашко В.С. Помехоустойчи- вость моделирования. – К.: Наук. думка, 1985. – 216 с. 5. Ивахненко А.Г., Зайченко Ю.П., Димитров В.Д. При- нятие решений на основе самоорганизации. – М.: Сов. радио,1976. – 280 с. 6. Tarakanov A.O., Skormin V.A., Sokolova S.P. Immu- nocomputing: principles and applications New York: Springer-Verlag, 2003. – 193 p. 7. de Castro, L.N., Von Zuben, F.J. aiNet: An artificial Immune Network for Data Analysis // Data Mining: A Heuristic Approach / Eds. H.A. Abbass, R.A. Saker, C.S. Newton, Idea Group Publ., USA, Chapter XII. – 2001. – P. 231–259. 8. Timmis J., Neal M. A resource Limited Artificial Im- mune System for Data Analysis. Knowledge Based Syst. – 2001. – 14(3–4)– P. 121–130. 9. Thomas Knight, Jon Timmis. AINE: An Immunological Approach to Data Mining. ICDM 2001. – P. 297–304. 10. Wierzchoс S.T. Artificial Immune Systems. Theory and Appl. Akademicka Oficyna Wydawnicza EXIT. – (Polish) Warszawa, 2001. – 282 p. 11. Ultsch A. U-Matrix: a Tool to Visualize Clusters in High Dimensional Data // Technical Report N 36, De- partment of Mathematics and Computer Science Philipps-University Marburg, 2003. – P. 290–303. 12. Adaptive radius immune algorithm for data clustering / G.B. Bezerra, T.V. Barra, L.N. de Castro et al. // Proc. of 4th Intern. Conf. on Artificial Immune Systems – ICARIS. 3627 of Lecture Notes in Comp. Sci. – New York: Springer-Verlag, 2005. – P. 290–303. © О.В. Годыч, К.Н. Гущин, Ю.В. Никольский, В.В Пасичник, Ю.Н. Щербина, 2009 © В.И. Литвиненко, 2009

Динамическая сегментация изображений для учебного симулятора языка жестов

Репозитарії

Схожі ресурси