Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови

У статті розглядається підхід до показу дактилем української дактильної жестової мови за допомогою просторової моделі. Розглядаються математична модель скелета руки людини, алгоритми анімації руки за допомогою скелетної моделі, алгоритми переходу між дактилемами у процесі показу слова, алгоритми під...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2010
1. Verfasser:	Троценко, Б.А.
Format:	Artikel
Sprache:	Ukrainian
Veröffentlicht:	Інститут проблем штучного інтелекту МОН України та НАН України 2010
Schriftenreihe:	Штучний інтелект
Schlagworte:	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
Online Zugang:	http://dspace.nbuv.gov.ua/handle/123456789/58365
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Zitieren:	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови / Б.А. Троценко // Штучний інтелект. — 2010. — № 4. — С. 118-124. — Бібліогр.: 7 назв. — укр.

Institution

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-58365
record_format	dspace
spelling	irk-123456789-583652014-03-23T03:01:54Z Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови Троценко, Б.А. Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск У статті розглядається підхід до показу дактилем української дактильної жестової мови за допомогою просторової моделі. Розглядаються математична модель скелета руки людини, алгоритми анімації руки за допомогою скелетної моделі, алгоритми переходу між дактилемами у процесі показу слова, алгоритми підготовки поверхні руки (скінінгу), алгоритм розпаралелення обчислень у підзадачі підготовки кадрів для анімації показу. В статье рассматривается подход представления дактилей украинского дактильно жестового языка с помощью пространственной модели. Рассматривается математическая модель скелета руки человека, алгоритмы анимации руки с помощью скелетной модели, алгоритмы перехода между дактилемами в процессе представления слова, алгоритмы подготовки поверхности руки (скининг), алгоритм параллельных вычислений в подзадачах подготовки кадров для анимации показа. One of the approaches to visualize a hand during the fingerspelling process is proposed in the paper. Appropriate mathematical skeleton-based model of a hand is suggested. Algorithms for hand animation using the model are explored. Skinning algorithms are researched and compared. An algorithm for proper transition of hand states during the fingerspelling of a word is suggested. The parallel algorithm of computing frames for the animation is considered. 2010 Article Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови / Б.А. Троценко // Штучний інтелект. — 2010. — № 4. — С. 118-124. — Бібліогр.: 7 назв. — укр. 1561-5359 http://dspace.nbuv.gov.ua/handle/123456789/58365 004.921, 004.928 uk Штучний інтелект Інститут проблем штучного інтелекту МОН України та НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Ukrainian
topic	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
spellingShingle	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск Троценко, Б.А. Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови Штучний інтелект
description	У статті розглядається підхід до показу дактилем української дактильної жестової мови за допомогою просторової моделі. Розглядаються математична модель скелета руки людини, алгоритми анімації руки за допомогою скелетної моделі, алгоритми переходу між дактилемами у процесі показу слова, алгоритми підготовки поверхні руки (скінінгу), алгоритм розпаралелення обчислень у підзадачі підготовки кадрів для анімації показу.
format	Article
author	Троценко, Б.А.
author_facet	Троценко, Б.А.
author_sort	Троценко, Б.А.
title	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови
title_short	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови
title_full	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови
title_fullStr	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови
title_full_unstemmed	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови
title_sort	дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови
publisher	Інститут проблем штучного інтелекту МОН України та НАН України
publishDate	2010
topic_facet	Интеллектуальные речевые технологии. Компьютерная обработка естественно-языковых текстов и семантический поиск
url	http://dspace.nbuv.gov.ua/handle/123456789/58365
citation_txt	Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови / Б.А. Троценко // Штучний інтелект. — 2010. — № 4. — С. 118-124. — Бібліогр.: 7 назв. — укр.
series	Штучний інтелект
work_keys_str_mv	AT trocenkoba doslídžennâínformacíjnihprocesívdlâefektivnogovídtvorennâdaktilʹnoížestovoímovi
first_indexed	2025-07-05T09:33:54Z
last_indexed	2025-07-05T09:33:54Z
_version_	1836799004576317440
fulltext	«Искусственный интеллект» 4’2010 118 3Т УДК 004.921, 004.928 Б.А. Троценко Київський національний університет імені Тараса Шевченка, м. Київ, Україна modosansreves@gmail.com Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови У статті розглядається підхід до показу дактилем української дактильної жестової мови за допомогою просторової моделі. Розглядаються математична модель скелета руки людини, алгоритми анімації руки за допомогою скелетної моделі, алгоритми переходу між дактилемами у процесі показу слова, алгоритми підготовки поверхні руки (скінінгу), алгоритм розпаралелення обчислень у підзадачі підготовки кадрів для анімації показу. Вступ і постановка задачі Зі створенням незалежної української держави та визнанням на державному рівні жестової мови як засобу міжособистісного спілкування, так і засобу навчання нечуючих осіб виникла нагальна потреба у вивченні національної жестової мови та створенні сучасних словників і засобів навчання цій мові. Як і властиво мові, жестова мова має діалекти. На відміну від усного мовлення, яке використовується на телеканалах, радіо, а через буквений запис – у газетах та кни- гах, жестова мова не має писемного еквівалента, рідко використовується на телебаченні. Як результат, жестова мова має діалектичні відмінності навіть у межах області. Наяв- ність певного «еталона» жестових одиниць (дактилем) у запису дозволить полегшити проблему діалектів. Наразі жестову мову можна вивчати за допомогою вчителя, книги або відеозапису. Але кожен вчитель має «свою» дактильну жестову мову, його аудиторія навчання обмежена, вчитель як «медіаносій» не копіюється, не можна повторити/побачити жест поза навчанням. Стосовно навчання за допомогою книги [1]: двовимірне зображення не передає динаміки та деталей жестових одиниць, книга не є інтерактивним медіаносієм. Навіть більш сучасний спосіб подання жесту за допомогою відеозображення [2] – це: великий об’єм даних, жест не можна розглянути з різних сторін, із окремих записаних жестів не можна скомпонувати речення, яке б виглядало природно, відео не є інтер- активним медіаносієм. Сучасний розвиток комп’ютерної техніки спонукає запропонувати більш ефектив- ний підхід (медіазасіб зображення) до навчання жестовій мові, зокрема дактильній жесто- кій мові, що розглядається у даній роботі. Використання комп’ютерної технології сприя- тиме спорідненню діалектів, легкість копіювання програм та можливість використати мережу Інтернет [3] для віддаленого показу дактилем на комп’ютерах різної потужності сприятимуть поширенню знань і навичок володіння дактильною жестовою мовою. Постановка задачі. Запропонувати алгоритм та реалізацію оптимального за часом розрахунку стану просторової моделі за умови її високої розмірності, наяв- ності скелета, близького до скелета руки людини, та звичайних мультимедійних вимог до апаратної частини комп’ютера, розглянути алгоритми розрахунку поверхні моделі з метою виявлення найефективнішого, запропонувати метод показу дактильованого слова на основі окремих дактилем, для обчислень використати усі ядра процесора. Під оптимальним за часом розрахунком мається на увазі час, що відповідає частоті зміни кадрів 30 за секунду і більше. Дослідження інформаційних процесів для ефективного відтворення... «Штучний інтелект» 4’2010 119 3Т Математична модель Для вирішення задачі використаємо скелетну модель руки. Скелет руки мате- матично зобразимо у вигляді дерева ),( EV , де V – множина вершин, E – множина з’єднань. Кожна вершина відповідає деякому зчленуванню кісток (ланок скелета). Кожен елемент VeeEee jiji ∈∈ ,:),( відповідає за зв’язок між ланками, при цьому ланку ie називатимемо старшою по відношенню до ланки je , а ланку je – дочірньою по відно- шенню до ie . Кожна ланка може мати не більше однієї старшої і довільну кількість до- чірніх ланок. Ланку, що не має відповідної їй старшої, називатимемо основною. За )(eP будемо позначати старшу по відношенню до e ланку, якщо така існує, і 0 – в іншому випадку. Для кожної ланки Ve ∈ поставимо у відповідність впорядковану двійку ),()( θxeh = , де 3Rx ∈ – положення зчленувань ланки зі старшою у системі координат, пов’язаній з )(eP . Параметр θ задає порядок застосування кутів повороту для перетворення системи координат, що пов’язана з ланкою, )(Vh задає початкове положення руки для матема- тичної моделі ),( EV . Для кожної ланки Ve ∈ поставимо у відповідність вектор 3)( Rer ∈ , що скла- дається з кутів повороту навколо осей OX, OY, OZ. Таким чином, сукупність )(Vr задає положення руки, дану сукупність також називатимемо параметрами моделі. За наявності відношення порядку між елементами множини вершин (V), наприклад, за індексом, )(Vr можна єдиним чином представити у вигляді матриці розмірності 3 V× , де i-й стовпець є вектором 1),( +≤ iii eeer . Дану матрицю називатимемо матрицею параметрів моделі. Основною операцією у даній математичній моделі є отримання, на основі па- раметрів моделі, положень точок з’єднань ланок і матриць переходу систем коор- динат відносно системи координат, що відповідає основній ланці. Матриці переходу систем координат визначаються формулами:    = ≠⋅ = 0)(, 0)(),,,,())(()( )()()( ePI ePMMMfePMeM er Z er Y er Xθ , де )(er XM – матриця повороту системи координат навколо осі OX на кут, що записаний у першому рядку вектора )(er , )(er YM – матриця повороту системи координат навколо осі OY на кут, що записаний у другому рядку вектора )(er , )(er ZM – матриця повороту системи координат навколо осі OZ на кут, що записаний у третьому рядку вектора )(er , I – одинична матриця розмірності 3x3, ),,,( 321 MMMf θ – добуток матриць 321 ,, MMM у порядку, визначеному θ . Положення ланки у глобальній системі координат визначається за формулою: )()()( eMexep ⋅=′ , де )(ep′ – положення ланки у глобальній системі координат для стану системи M . На основі даної математичної моделі побудуємо інформаційну модель руки, що складатиметься з математичної моделі, матриці точок у просторі для моделі у початково- му положенні, текстури поверхні руки, матриці текстурних координат, матриці нормалей. Отримання візуального зображення руки у заданому положенні у певний момент часу відбувається за допомогою процедури скінінгу (розрахунку точок поверхні шкіри) на основі положень ланок у глобальній системі координат. Кожна точка має відповідно одну або більше ланок, що впливають на розташування точки з певним коефіцієнтом. Троценко Б.А. «Искусственный интеллект» 4’2010 120 3Т Сума коефіцієнтів залежності для кожної точки складає 1. Цей підхід дозволяє уникнути візуально неприродних частин у місцях, близьких до зчленувань ланок, наприклад, у фалангах пальців. Без використання подібного згладжування за допомогою коефіцієнтів у практичному застосуванні можливо спостерігати «розриви» видимої моделі, вид зсередини на частини ланок, що оперуються скелетною моделлю. Для отримання матриць параметрів моделі було використано технологію Motion Capture (захоплення руху). Дана технологія передбачає використання оцифрованих даних про рух, що записано з людини-носія жестової мови. Для цього існує спеціальна рука- виця, що має яскраві зони в областях, близьких до з’єднань кісток. На кілька відеокамер записується «промовляння» усієї абетки дактильною жестовою мовою. За допомогою спеціального програмного забезпечення, Motion Builder, отримується динаміка зміни положень у просторі виділених зон, а на основі цих даних – інформація про зміну кутів. Таким чином, за рахунок використання даних такої природи немає необхідності у введенні обмежень на множину допустимих кутів у математичній моделі. Дані, отри- мані за допомогою технології Motion Capture, більш реалістично відтворюють оригіналь- ну динаміку «промовляння» дактилеми, ніж дані, отримані за допомогою дизайнерсь- кого програмного забезпечення. Алгоритми розрахунку точок поверхні руки (скінінг) Поверхня моделі руки є множина точок, положення яких залежне від положень ланок. Кожній точці зіставлено множину )},{( ii we , де ie – ланка, що впливає на точку, ]1,0[∈iw – коефіцієнт залежності, 1=Σ iiw . Відповідно положення точки у просторі ви- значається формулою iii wep ⋅′Σ )( . Алгоритм розрахунку даної формули для усіх точок ін- формаційної моделі та підготовка відповідних структур даних називаються скінінгом [4]. Для ефективної візуалізації моделі на практиці було запропоновано декілька алгоритмів скінінгу з метою подальшої апробації. Усі алгоритми використовують масив вхідних даних точок у початковому положенні, записують результат у масив точок для результуючого положення. Типово, що масив результату ініціалізується точками з ко- ординатами (0, 0, 0), у процесі роботи алгоритму до відповідних елементів додаються складові частини; таким чином, лише наприкінці роботи алгоритму результуючий масив містить правильні положення точок. Послідовний алгоритм скінінгу використовує подання залежностей у вигляді списків (ланка; масив коефіцієнтів залежностей, кожен елемент якого відповідає елементу з маси- ву координат точок у початковому положенні). Він описується наступним псевдокодом: для кожної ланки i: для кожної вершини j: отримати координату вершини j у початковому положенні, домножити на матрицю переходу у систему координат, що пов’язана ланкою і, домножити на коефіцієнт залежності, додати координату до елементу масиву результатів. Алгоритм розраховано на те, що локальні частини масивів координат початкового положення, коефіцієнтів залежностей, результуючих координат на практиці перебува- тимуть у кеш-пам’яті процесора, що дозволить швидку обробку даних з відносно малою кількістю операцій обміну даними з оперативною пам’яттю. Послідовний алгоритм скінінгу з міні-макс оптимізацією є покращеним варіантом алгоритму послідовного алгоритму скінінгу, де на етапі передобробки для кожної ланки обчислюються мінімальний та максимальний індекси вершин, на які дана ланка впли- ває. Це орієнтовано на те, що залежні точки займають у масиві координат приблизно сусідні індекси, що дозволить зменшити кількість операцій над вершинами, коефіцієнт залежностей яких є 0. Дослідження інформаційних процесів для ефективного відтворення... «Штучний інтелект» 4’2010 121 3Т Сегментаційний алгоритм скінінгу є покращеним варіантом алгоритму послідов- ного алгоритму, використовує подання у вигляді списків (ланка; список пар (початковий індекс, масив коефіцієнтів залежностей)). Подання вибирається таким чином, що довжи- на масиву коефіцієнтів залежностей не перевищує задану, наприклад 256. Кожен елемент з індексом і з масиву коефіцієнтів залежностей відповідає елементу і + початковий індекс. Розрахований на оптимальне використання кеш-пам’яті процесора у практичному використанні. Він описується наступним псевдокодом: для кожної ланки i: для кожної пари зі списку (початковий індекс, масив коефіцієнтів залежностей), що відповідає ланці і: для кожного коефіцієнта залежностей з масиву з індексом k: отримати координату вершини у початковому положенні з індексом (k + початковий індекс), домножити на матрицю переходу у систему координат, що пов’язана ланкою і, домножити на коефіцієнт залежності, додати координату до елементу масиву результатів з індексом (k + початковий індекс) Прямий алгоритм використовує подання залежностей у вигляді списків пар (лан- ка; масив пар (індекс вершини; коефіцієнт залежності)). Він використовує рекурсивну процедуру обходу вершини, що описується наступним псевдокодом. Сам алгоритм поля- гає у виконанні процедури обходу старшої вершини. процедура Обхід вершини (ланка і) для кожної пари з масиву, що відповідає ланці і: отримати координату вершини у початковому положенні за індексом, домножити на матрицю переходу у систему координат, що пов’язана ланкою і, домножити на коефіцієнт залежності, додати координату до елементу масиву результатів для кожної ланки j, що є дочірньою до ланки і: виконати обхід вершини j Прямий алгоритм на практиці виконує мінімальну кількість операцій серед наве- дених. У випадку, коли сума об’ємів пам’яті, що займають точки моделі, масив координат початкових положень, масив координат результуючих положень, додаткові структури даних менше, ніж об’єм кеш-пам’яті процесора, даний алгоритм показує найвищу ефек- тивність. В іншому випадку рекомендується використовувати сегментаційний алгоритм. Дані алгоритми було імплементовано, проведено порівняльні тести на ефективність. Під ефективністю алгоритму вважається швидкість розрахунку окремого кадру, час на під- готовку структур даних ігнорується. Тестування проводилось на скелетній моделі, що має 84 460 точок на комп’ютері з процесором Intel Core2 Duo E8200 (2,66 ГГц), 2 Гб оператив- ної пам’яті. Розрахунок проводився в один потік. Результати тестування наведено на рис. 1. Рисунок 1 – Результати тестування алгоритмів скінінгу 13 439 404 22 0 50 100 150 200 250 300 350 400 450 500 Прямий Послідовний Послідовний з міні‐макс Сегментаційний Троценко Б.А. «Искусственный интеллект» 4’2010 122 3Т Алгоритм дактилювання слова як конкатенація окремих дактилем Важливою перевагою даної системи є можливість дактилювати довільні слова, що складаються з окремих дактилем («літер»). За наявності інформації про окремі дакти- леми важливо мати спосіб їх візуальної конкатенації. З використанням моделі руки як основи подання графічної інформації це є алгоритмічно можливим, на відміну від даних у відеоформаті. Було створено базу даних, що містить послідовності станів моделі для кожної літери. Кожна така послідовність починається і закінчується у деякому «нейтральному» стані. Для правильної конкатенації потрібним є підхід для визначення граничних станів кожної дактилеми, де закінчується інформація, що важлива для передачі змісту дак- тилеми, та алгоритм створення проміжних станів для переходу між дактилемами. Зважаючи на природу отриманих даних, граничні стани були встановлені експе- риментально. Генерування проміжних станів може бути або алгоритмічним (на основі станів, що конкатенуються), або наперед визначеним. Алгоритмічний підхід є більш зруч- ним, оскільки зменшує кількість необхідної інформації, що потрібно підготувати дизай- неру. Для більшості пар дактилем можна алгоритмічно згенерувати проміжні слайди, наприклад, лінійною апроксимацією на основі граничних станів у суміжних літерах. Є послідовності, наприклад, «Н» – «Г» [1], де потрібно спершу зігнути пальці, а потім повертати долоню, для яких не підходить алгоритмічний підхід. Для цього ви- падку передбачається використання окремої послідовності станів переходу. Розпаралелення обчислень у задачі підготовки кадру Більшість сучасних процесорів, що випускаються, оснащено двома або більше ядрами. Подальший розвиток орієнтований саме на збільшення кількості ядер, ніж на нарощування потужності окремого ядра [5]. Для підзадачі підготовки кадру в задачі показу тривимірної анімації дактильної абетки жестової мови було розглянуто алгоритм розпаралелювання обчислень, оскільки за своєю суттю підготовка одного кадру є функцією від моделі руки і параметрів моделі, тобто не залежить від результату обчислень інших кадрів і від моменту обчислення. Такий підхід має місце, коли обчислення нового кадру є ресурсномісткою задачею, наприклад, проведення скінінгу на процесорі. Для цього був розроблений алгоритм, що складається з 2 + n потоків, де n – кількість ядер процесора: основний потік, потік анімації, n потоків обчислення кадрів. Використовується факт, що обчислення різних кадрів є рівносильною задачею в термінах процесорного часу незалежно від параметрів моделі. Тому обчислення k кадрів можна розбити на n потоків максимально рівномірно таким способом: кожен i-й потік обробляє кадри з тим номером, залишок від ділення якого на n дорівнює i. Основний потік (потік інтерфейсу користувача) ініціює створення n потоків обчислень і потоку анімації. Потік анімації показує із заданим проміжком підготовлені кадри, звільняє пам’ять після їх показу. Оскільки на момент початку анімації повинна бути впевненість, що кожен кадр буде готовим перед його показом, то потік інформації запускається призупиненим, а його запуск делегується на один з потоків обчислення кадрів, зокрема на потік з індексом 0. Надалі цей потік називатимемо ведучим. Кожен потік обчислення кадрів на початку отримує залишок від ділення і починає цикл обчислень. Також проводиться оновлення лічильника обчислених кадрів. Ведучий потік також фіксує момент часу початку обчислень. Після того, як було обчислено 5 кадрів, він апроксимує момент часу закінчення обчислень усіх кадрів. Ос- кільки тривалість анімації відома спочатку, то можливо визначити, чи буде підготовка Дослідження інформаційних процесів для ефективного відтворення... «Штучний інтелект» 4’2010 123 3Т кадрів виконана вчасно для безперебійного показу анімації. Коли апроксимований час до кінця закінчення обчислень стає меншим за тривалість анімації, ведучий потік за- пускає потік анімації і припиняє прогнозування закінчення. Задача розподілення потоків на кожне ядро виконується операційною системою. Але часто бувають ситуації, коли ядра зайняті сторонніми процесами. Це призвело б до того, що потоки передобробки отримали різні кванти процесорного часу, а як наслідок, кадри обчислювались нерівномірно. Наприклад, можливою була б така ситуація (у прикладі використовується двоядер- ний процесор): Таблиця 1 № кадру 0 1 2 3 4 5 6 7 ... Стан + + + – + – + – ... Де стан «+» означає, що кадр підготовлено, «–» – не підготовлено. Використано підхід вирішення даної проблеми за допомогою семафорів [6], [7]: кожен потік проасоційовано з одним семафором, який ініціалізовано одиницею. На початку обчислення кадру потік зменшує свій семафор, після завершення кадру він збільшує семафор наступного потоку на одиницю (останній потік збільшує семафор нульового потоку). Таким чином, обчислення кадрів одного потоку не випереджає решту більше, ніж на одиницю. За своїм призначенням, значення семафора не може змінюватись менше за нуль. Це є об’єкт ядра операційної системи, який відповідає за сумісний доступ кількох потоків до спільного ресурсу. У цього об’єкта дві операції – збільшити (на одиницю), зменшити. Якщо значення семафора – нуль, а потік виконує операцію «зменшити», виконання його призупиняється операційною системою. А отже, стає доступним додатковий процесор- ний час. Операційна система веде облік усіх потоків, що були призупинені внаслідок спроби зменшити семафор. Коли деякий інший робить операцію «збільшити», то інший потік зі списку призупинених продовжує виконання. Практично такий підхід означає наступне: кожен потік анімації на початку ро- боти алгоритму «може» обчислити 1 кадр, за що відповідає значення його семафора. Після обчислення свого кадру він дозволить обчислення іншому потокові і буде при- зупиненим, аж поки його семафор не збільшить потік. Таким чином, ядра процесора максимально навантажені, а кадри обчислюються поступово. Використання технології передачі даних через мережу Інтернет Для поширення програмного додатка, який дозволяє дактилювати окремі літери та слова, використано узагальнений засіб оптимальної передачі динамічно створеного зображення в мережі Інтернет з можливістю керування ним [4]. Оскільки обчислювальні можливості комп’ютерів широкого кола користувачів значно різняться, так само як і значно різняться можливості їх каналів зв’язку, даний аспект було враховано при про- думуванні способу масового обслуговування, для передачі даних через мережу Internet. Наявні технології або не мають інтерактивності, або для її досягнення потрібно вико- ристовувати спеціальні плагіни, які необхідно інсталювати на комп’ютер клієнта. Технологія передачі даних містить трирівневу інформаційну модель комунікації між серверною та клієнтськими частинами: на першому (найвищому) логічному рівні відеоінформація передається зі серверної сторони на сторону клієнта. На наступному, другому, логічному рівні сервер закодовує відеоінформацію фрейм за фреймом, а також може передбачати певну ініціалізацію клієнта, клієнт, проводить ініціалізацію, а також відтворює картинку на основі команд. На цьому логічному рівні програміст (інженер, Троценко Б.А. «Искусственный интеллект» 4’2010 124 3Т розробник) може враховувати специфіку задачі і структуру медіаданих, тобто надати власну пару компресора-декомпресора даних. На цьому рівні окремий потік відповідає за обслуговування іменних каналів та передачу команд компресору. Рекомендований рівень компресії виходить з розрахунку, що 10 відсотків часу канал повинен або про- стоювати, або резервуватися на непередбачену ситуацію, наприклад, передачу даних ін- шим програмним додаткам на стороні клієнта. На наступному, третьому, логічному рівні команди серіалізуються на стороні сервера і десеріалізуються на стороні клієнта. Це є ос- танній логічний рівень даної технології. Інформація на даному рівні передається ви- користанням HTTP (Silverlight/Asp.net). Висновки У даній статті вперше для відтворення дактильної української жестової мови використано анімацію тривимірної моделі руки, розглянуто алгоритми розрахунку поверхні руки за допомогою тривимірної моделі, що базується на скелетній моделі, виконано реалізацію цих алгоритмів та практичну апробацію, розглянуто алгоритм анімації дактилювання слова на основі даних про окремі дактилеми, удосконалено алгоритми підготовки кадру для відтворення процесу скелетної анімації дактильної жестової мови за рахунок підтримки багатоядерних процесорів. Дані алгоритми та мето- ди є сумісними з технологією відображення інформації інтернет-засобами для відтворен- ня процесу анімації дактильної жестової мови, що дозволить створити відповідний програмний додаток. Подальші дослідження будуть направлені на підвищення якості відображення руки, покращення алгоритмів показу з метою підтримки використання програми на комп’ютерах з меншою потужністю. Література 1. Кульбіда С.В. Українська дактилологія / Кульбіда С.В. – К. : Педагогічна думка, 2007. – 255 c. 2. Воскресенский А.Л. От звучащей речи к жестовой / А.Л. Воскресенский, Г.К. Халагин // Речевые технологии. – 2009. – № 1. – С. 99-106. 3. Бармак О.В. Технологія оптимізованої передачі жестової мови в мережі Інтернет / О.В. Бармак, Ю.В. Крак, Б.А. Троценко // Проблеми програмування. – 2009. – № 3. – C. 73-80. 4. Domine S. Mesh Skinning / S. Domine [Електронний ресурс]. – Режим доступу : http://developer.nvidia.com/ attach/6662. – Назва з екрану 5. Merritt R. CPU designers debate multi-core future / R. Merritt [Електронний ресурс]. – Режим доступу : http://www.eetimes.com/showArticle.jhtml?articleID=206105179. – Назва з екрана. 6. Agarwal A. Partitioning Strategies for Concurrent Programming / Anant Agarwal, Srinivas Devadas, Henry Hoffmann // Technical Report MIT-CSAIL-TR-2009-026. – 2009. [Електронний ресурс]. – Режим доступу: http://dspace.mit.edu/bitstream/handle/1721.1/45567/MIT-CSAIL-TR-2009-026.pdf. – Назва з екрана. 7. Massingill B. Patterns for parallel programming / Massingill B., Mattson T., Sanders B. – Reading, Massachusetts : Addison-Wesley Professional, 2004. – 384 p. Б.А. Троценко Исследование информационных процессов для эффективного отображения дактильной жестовой речи В статье рассматривается подход представления дактилей украинского дактильно-жестового языка с помощью пространственной модели. Рассматривается математическая модель скелета руки человека, алгоритмы анимации руки с помощью скелетной модели, алгоритмы перехода между дактилемами в процессе представления слова, алгоритмы подготовки поверхности руки (скининг), алгоритм параллельных вычислений в подзадачах подготовки кадров для анимации показа. B.A. Trotsenko An Investigation Information Processes for Effective Visualization of Fingerspelling One of the approaches to visualize a hand during the fingerspelling process is proposed in the paper. Appropriate mathematical skeleton-based model of a hand is suggested. Algorithms for hand animation using the model are explored. Skinning algorithms are researched and compared. An algorithm for proper transition of hand states during the fingerspelling of a word is suggested. The parallel algorithm of computing frames for the animation is considered. Стаття надійшла до редакції 13.07.2010.

Дослідження інформаційних процесів для ефективного відтворення дактильної жестової мови

Institution

Ähnliche Einträge