Комп’ютерне моделювання української жестової мови
Запропоновано математичну модель та її комп’ютерну реалізацію для отримання та відтворення жестової мови за допомогою трьохвимірних моделей людей. Запропоновано технологію, яка досить реалістично відтворює рухи на трьохвимірній моделі, що отримані з відеозображення конкретної людини — носія жестової...
Gespeichert in:
| Datum: | 2011 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2011
|
| Schriftenreihe: | Системні дослідження та інформаційні технології |
| Schlagworte: | |
| Online Zugang: | http://dspace.nbuv.gov.ua/handle/123456789/50127 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Комп’ютерне моделювання української жестової мови / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак // Систем. дослідж. та інформ. технології. — 2011. — № 4. — С. 48-60. — Бібліогр.: 6 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-50127 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-501272013-10-06T03:06:13Z Комп’ютерне моделювання української жестової мови Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Запропоновано математичну модель та її комп’ютерну реалізацію для отримання та відтворення жестової мови за допомогою трьохвимірних моделей людей. Запропоновано технологію, яка досить реалістично відтворює рухи на трьохвимірній моделі, що отримані з відеозображення конкретної людини — носія жестової мови. Предложена математическая модель и ее компьютерная реализация для получения и воспроизведения жестового языка с помощью трехмерных моделей людей. Предложена технология достаточно реалистически воспроизводить на трехмерной модели движения, полученные из видеоизображения конкретного человека — носителя жестового языка. A mathematical model and its software implementation for sign language speech obtaining and reproduction using 3d human model has been suggested. The technology of enough realistically reproduction of 3d model of the traffic received from the motion picture of the particular person — the bearer of the sigh language, — is proposed. 2011 Article Комп’ютерне моделювання української жестової мови / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак // Систем. дослідж. та інформ. технології. — 2011. — № 4. — С. 48-60. — Бібліогр.: 6 назв. — укр. 1681–6048 http://dspace.nbuv.gov.ua/handle/123456789/50127 004.946 uk Системні дослідження та інформаційні технології Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| topic |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| spellingShingle |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. Комп’ютерне моделювання української жестової мови Системні дослідження та інформаційні технології |
| description |
Запропоновано математичну модель та її комп’ютерну реалізацію для отримання та відтворення жестової мови за допомогою трьохвимірних моделей людей. Запропоновано технологію, яка досить реалістично відтворює рухи на трьохвимірній моделі, що отримані з відеозображення конкретної людини — носія жестової мови. |
| format |
Article |
| author |
Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. |
| author_facet |
Кривонос, Ю.Г. Крак, Ю.В. Бармак, О.В. |
| author_sort |
Кривонос, Ю.Г. |
| title |
Комп’ютерне моделювання української жестової мови |
| title_short |
Комп’ютерне моделювання української жестової мови |
| title_full |
Комп’ютерне моделювання української жестової мови |
| title_fullStr |
Комп’ютерне моделювання української жестової мови |
| title_full_unstemmed |
Комп’ютерне моделювання української жестової мови |
| title_sort |
комп’ютерне моделювання української жестової мови |
| publisher |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| publishDate |
2011 |
| topic_facet |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/50127 |
| citation_txt |
Комп’ютерне моделювання української жестової мови / Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак // Систем. дослідж. та інформ. технології. — 2011. — № 4. — С. 48-60. — Бібліогр.: 6 назв. — укр. |
| series |
Системні дослідження та інформаційні технології |
| work_keys_str_mv |
AT krivonosûg kompûternemodelûvannâukraínsʹkoížestovoímovi AT krakûv kompûternemodelûvannâukraínsʹkoížestovoímovi AT barmakov kompûternemodelûvannâukraínsʹkoížestovoímovi |
| first_indexed |
2025-07-04T11:36:47Z |
| last_indexed |
2025-07-04T11:36:47Z |
| _version_ |
1836716139524128768 |
| fulltext |
© Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак, 2011
48 ISSN 1681–6048 System Research & Information Technologies, 2011, № 4
TIДC
ПРОБЛЕМИ ПРИЙНЯТТЯ РІШЕНЬ І
УПРАВЛІННЯ В ЕКОНОМІЧНИХ, ТЕХНІЧНИХ,
ЕКОЛОГІЧНИХ І СОЦІАЛЬНИХ СИСТЕМАХ
УДК 004.946
КОМП’ЮТЕРНЕ МОДЕЛЮВАННЯ УКРАЇНСЬКОЇ
ЖЕСТОВОЇ МОВИ
Ю.Г. КРИВОНОС, Ю.В. КРАК, О.В. БАРМАК
Запропоновано математичну модель та її комп’ютерну реалізацію для отри-
мання та відтворення жестової мови за допомогою трьохвимірних моделей
людей. Запропоновано технологію, яка досить реалістично відтворює рухи на
трьохвимірній моделі, що отримані з відеозображення конкретної людини —
носія жестової мови.
ВСТУП
Дослідження закономірностей і анімації рухів є актуальною задачею.
Розв’язок цієї проблеми у формі інноваційних технологій може суттєво
вплинути на такі сфери людської діяльності як медицина, робототехніка,
комп’ютерна графіка та системи віртуальної реальності.
В Україні більше півмільйона дітей з вадами слуху, а кількість глухих
людей, для яких потрібно розробляти сучасні засоби навчання та спілкуван-
ня — становить багато сотень тисяч. Розвиток сучасної науки, комп’юте-
ризація суспільства, використання мультимедійних та Інтернет-технологій
створили достатні умови для розробки комп’ютерних систем комунікації
цих людей у формах і образах близьких і зрозумілих для них і для оточую-
чого середовища.
Люди з вадами слуху для спілкування між собою використовують жес-
тову мову. Основними візуальними засобами, які відтворюють цю мову є
фотографічні та відеозображення жестів. Створювати за допомогою цих за-
собів сучасні навчальні та комунікаційні комп’ютерні системи досить
проблематично. Фотографічне зображення не відтворює потрібної динаміки
жестів, а відеозображення досить громіздке і в ньому відсутня потрібна ін-
терактивність (не можливо подивитися на людину, яка відтворює жест з ін-
ших ракурсів, крім того, в якому проведений відеозапис).
Ці суттєві обмеження існуючих засобів відтворення жестової мови спо-
нукають до розробки більш гнучких технологій, за допомогою яких можна
було б створювати нові комп’ютерні системи навчання та комунікації для
людей із вадами слуху. Для розвитку цього запропоновано концепцію [1, 2]
інформаційної технології невербального спілкування людей з вадами слуху.
Комплексна інформаційна технологія включає в себе і функціональність по
Комп’ютерне моделювання української жестової мови
Системні дослідження та інформаційні технології, 2011, № 4 49
синтезу рухів жестової мови глухих та дактильної абетки на тривимірній
моделі людини.
ПОСТАНОВКА ЗАДАЧІ
Реалізація можливості генерації анімації процесу мовлення за допомогою
жестової мови з використанням віртуальних моделей людей потребує роз-
робки відповідних інформаційних та математичних моделей. Виходячи з
цього, сформульована така постановка задачі:
• розробити інформаційну та математичну модель для фіксації мор-
фем (мінімально значимих одиниць) жестової мови;
• у межах цієї моделі потрібно розробити технологію та відповідне
програмне забезпечення для отримання, збереження та відтворення жестів;
• запропонувати алгоритмічне рішення для розрахунку людиноподіб-
них траєкторій руху при переходах від жесту до жесту.
МОДЕЛЬ ДЛЯ ФІКСАЦІЇ МОРФЕМ МОВИ ЖЕСТІВ
Процес відтворення жесту трьохвимірною моделлю людини можна вважати
анімацією з відповідною частотою різних станів скелетної моделі людини.
Скелетна модель людини спрощено відтворює скелет живої людини. Її
можна формалізувати як ієрархічну структуру, яка складається з поєднаних
кінематичних пар, які відтворюють основні кістки скелета людини. Сучасні
пакети трьохвимірного моделювання (Poser, 3D Studio Max) можуть генеру-
вати анімацію за допомогою віртуальної статичної моделі та інформації про
зміну відповідних кутів скелета. Отже, для формального опису процесу фік-
сації жесту можна використовувати множину, що відображає спрощений
скелет людини та зміни значення кутів Ейлера і порядок їх застосування для
відповідних кісток цього скелета з плином часу (дискретно, з відповідною
частотою — 1/30 с тощо):
{ }{ }MMdkHHH iiii ∈== ,,: , (1)
де iH — i-та кістка скелета ( 1,,0 −= Ni , N — кількість кісток у скеле-
ті); k — індекс кістки-предка; T
iiii zyxd ],,[= — координати точки — кін-
ця кістки в системі координат, яка пов’язана з початком цієї кістки;
{ }},{: j
iiii orderMMM θ== , (2)
де iM — для i-ї кістки значення кутів Ейлера та порядок застосувань обер-
тань для кістки з плином часу; { }6,,1∈iorder — порядок застосування
обертання навколо відповідних координатних вісей для i-ї кістки (1–XYZ,
2–XZY, 3–YXZ, 4–YZX, 5–ZXY, 6–ZYX); ),( jθθ = == j
i
j
i
j θθθ :{
}},,{ Z
j
iY
j
iX
j
i ϕϕϕ= — множина зміни кутів Ейлера для i-ї кістки з плином
часу ( 1,,0 −= Kj … , K — кількість кадрів відтворення руху із заданою
частотою).
Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 4 50
ТЕХНОЛОГІЯ ДЛЯ ОТРИМАННЯ ТА ЗБЕРЕЖЕННЯ ЖЕСТІВ
Історія трьохвимірної анімації нараховує вже не одне десятиліття, і прогрес
у цій області очевидний. У цій роботі, для отримання та збереження жесто-
вих одиниць, використовується Motion Capture — технологія захвату рухів.
Типова система Motion Capture є набором пристроїв-покажчиків, які прикрі-
плені до тіла людини (або інтегровані в костюм). Інформація з пристроїв
надходить до комп’ютера та опрацьовується відповідним програмним за-
безпеченням, завдяки чому відтворюється математичний опис руху актора,
який, у свою чергу, використовується для керування віртуальною моделлю-
актором. Основним недоліком існуючих Motion Capture-систем є досить ве-
лика вартість як самого обладнання, так і відповідних послуг з відцифровки
рухів. Авторами запропоновано простішу реалізацію цієї технології.
Для отримання множини кутів, які характеризують зміни положення кі-
сток від початкового стану скелета запропоновано таку технологічну схему.
1. За допомогою трьох камер проводимо зйомку людини, яка відтворює
певний жест. Камери встановлено на однаковій фокусній відстані )(L від
об’єкта зйомки та фіксують проекції — фронтальну, ліву та праву. Стани
скелета характеризують N кадрів зйомки (із заданою частотою кадрів на
секунду).
2. Для фіксації i-го стану )1( Ni …= скелета відтворимо відповідні
кадри зйомки у вигляді відображення на трьох дзеркальних поверхнях типу
«трюмо», які розташуємо на задньому плані трьохвимірної сцени (рис. 1).
Скелет розташуємо перед цими дзеркалами і спроектуємо на них ті кістки,
Рис. 1. Сцена для фіксації змін кутів у скелета
Комп’ютерне моделювання української жестової мови
Системні дослідження та інформаційні технології, 2011, № 4 51
кути зміни для яких потрібно визначити (рис. 1). Співставимо точки проек-
цій кісток скелета з відповідним їм зображенням реальної людини (для
фронтального, лівого та правого кадрів), тобто отримаємо нові координати.
3. Для j-го ( Nj …1= ) кадру на парі зображень (фронтальне і ліве, або
фронтальне і праве) вказуємо точки зчленувань кісток, які змінили положення
),(( front
new,
front
new, ii yx та )),( rightorleft
new,
rightorleft
new, ii yx та визначаємо їх трьохвимірні ко-
ординати (у системі координат, пов’язаній з кореневою точкою скелета).
Далі, маючи трьохвимірні координати нового положення точок зчлену-
вання кісток визначимо значення кутів Ейлера, повороти на які переводять
кожну кістку з попереднього стану до поточного. Маємо систему координат
XYZ і в ній два одиничних вектори: ),,( 1111 zyxr = та ),,( 2222 zyxr = . По-
трібно знайти кути Ейлера zyx ϕϕϕ ,, обертання навколо відповідних вісей
ZYX ,, такі, що переводять вектор 1r у вектор 2r . Для цього:
1. Знайдемо два кути такі, щоб вектор ),,( 1111 zyxr = сумістився з віс-
сю .oX Вектор 1r є одиничним вектором, отже, 12
1
2
1
2
1 =++ zyx . Проведемо
відрізок від початку координат у точку ),,( 111 zyx . Цей відрізок має оди-
ничну довжину та орієнтований у напрямку вектора 1r . Опустимо перпен-
дикуляри із точки ),,( 111 zyx на кожну координатну вісь. Три направляючих
кути — zyx φφφ ,, — це кути між вектором 1r та координатними вісями.
Між направляючими косинусами і компонентами 1r існує співвідношен-
ня: 111 )(cos,)(cos,)(cos zyx zyx === φφφ . У силу виконання рівності
1)(cos)(cos)(cos 222 =++ zyx φφφ , незалежні тільки два кути. Знаючи зна-
чення направляючих косинусів, можна визначити і кути:
⇒
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛ −
=
⎟
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎜
⎝
⎛ −
=
100
0
0
100
0)(cos)(sin
0)(sin)(cos
)( 11
11
11
11
1
11
11
1 dxdy
dydx
R rr
rr
r
z ϕϕ
ϕϕ
ϕ
πϕ
ϕ
ϕ
n
x
y
d
y
d
x
r
r
r
+⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
=⇒
⎪
⎪
⎭
⎪⎪
⎬
⎫
=
=
⇒
1
1
1
1
1
1
1
arctg
)(sin
)(cos
1
1
1
;
⇒
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
−⎟⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎝
⎛
−
=
dz
zd
R
rr
rr
r
y
0
010
0
)(cos0)(sin
010
)(sin0)(cos
)(
1
1
22
22
2
11
11
1
ϕϕ
ϕϕ
ϕ
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
+
=⇒
⎪⎭
⎪
⎬
⎫
−=−
=
⇒
2
1
2
1
1
2
12
2 arctg
)(sin
)(cos 1
1
1
yx
z
z
d r
r
r
ϕ
ϕ
ϕ .
Знаходимо базисні вектори для системи координат 111 rrr ZYX :
Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 4 52
),,(),,(: 1111111
11111 zyxjjjjoX zyxrr == ,
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
++
−===
2
1
2
1
11
2
1
2
1
1
1122222 ,,)0,1,0()()(),,(: 1111111
yx
zy
yx
x
yRRjjjjoY Tr
z
r
y
zyxrr ϕϕ ,
⎟
⎠
⎞⎜
⎝
⎛ +=== 2
1
2
11123333 ,0,)1,0,0()()(),,(: 1111111 yxzRRjjjjoZ Tr
z
r
y
zyxrr ϕϕ .
2. Аналогічно знаходимо кут 2
1
rϕ обертання навколо вісі Z і кут 2
2
rϕ
обертання навколо вісі Y такі, що переводять систему координат XYZ
у систему координат 222 rrr ZYX , в якій вісь 2roX співпадає з вектором 2r та
базисні вектори для цієї системи:
),,(),,(: 2221111
22222 zyxjjjjoX zyxrr == ,
( )
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
++
−==
2
2
2
2
22
2
2
2
2
2
22222 ,,,,: 22222
yx
zy
yx
x
yjjjjoY zyxrr ,
( ) T
zyxrr yxzjjjjoZ ⎟
⎠
⎞⎜
⎝
⎛ +== 2
2
2
223333 ,0,,,: 22222 .
3. Будуємо матрицю повороту T , що переводить вектори 1r у 2r :
21 Trr = , де
⎟⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎝
⎛
=
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
=
)(cos)(cos)(cos
)(cos)(cos)(cos
)(cos)(cos)(cos
212121
212121
212121
333231
232221
131211
rrrrrr
rrrrrr
rrrrrr
ZZYZXZ
ZYYYXY
ZXYXXX
ttt
ttt
ttt
T
ααα
ααα
ααα
,
де, беручи до уваги, що вектори одиничні:
21212111111111
212121 zzyyxxjjjjjjt zzyyxx ++=++= ,
2
1
2
1
211
2
1
2
1
21
2112121221
212121
yx
zzy
yx
yx
xyjjjjjjt zzyyxx
+
+
+
+−=++= ,
2
1
2
122113131331
212121 yxzxzjjjjjjt zzyyxx ++=++= ,
2
2
2
2
221
2
2
2
2
21
2121212112
212121
yx
zyz
yx
xy
yxjjjjjjt zzyyxx
+
+
+
+−=++= ,
=++= 212121
22222222
zzyyxx jjjjjjt
2
2
2
2
2
1
2
1
2211
2
2
2
2
2
1
2
1
21
21
yxyx
zyzy
yxyx
xx
yy
++
+
++
+= ,
2
2
2
2
2
1
2
122
2123232332
212121
yx
yxzy
yzjjjjjjt zzyyxx
+
+
+−=++= ,
2
2
2
212131313113
212121 yxzzxjjjjjjt zzyyxx ++=++= ,
Комп’ютерне моделювання української жестової мови
Системні дослідження та інформаційні технології, 2011, № 4 53
2
1
2
1
2
2
2
211
2132323223
212121
yx
yxzy
zyjjjjjjt zzyyxx
+
+
+−=++= ,
2
2
2
2
2
1
2
12133333333
212121 yxyxzzjjjjjjt zzyyxx +++=++= .
4. Далі визначимо кути Ейлера zyx ϕϕϕ ,, . Слід звернути увагу на те,
що множення матриць не комутативне, тому потрібно розглянути шість ви-
падків, які характеризують порядок обертання навколо вісей. Тобто, потріб-
но визначити кути для наступних порядків обертання навколо вісей: ZYX,
YXZ, YZX, XYZ, XZY, ZXY.
4.1. Порядок обертання: ZYX ( ()sin()(),cos() == sc ):
=
⎟
⎟
⎟
⎠
⎞
⎜
⎜
⎜
⎝
⎛
333231
232221
131211
ttt
ttt
ttt
( )
⎟⎟
⎟
⎟
⎠
⎞
⎜⎜
⎜
⎜
⎝
⎛
−
+−+
+−
=
)()()()()(
)()()()()()()()()()()(
)()()()()()()()()()()()(
yxxyz
zyxxzzyxzxzy
zxyzxzxyxzxy
ccscs
sscscsssccsc
sssccscssccc
ϕϕϕϕϕ
ϕϕϕϕϕϕϕϕϕϕϕϕ
ϕϕϕϕϕϕϕϕϕϕϕϕ
.
Звідси визначимо кути Ейлера шляхом вирішення таких систем:
πϕ
ϕ
ϕ
ϕϕ
ϕϕ
n
t
t
t
t
t
t
z
z
z
zy
zy +⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
=⇒=⇒
⎭
⎬
⎫
=
=
11
21
11
21
21
11 arctg
)(cos
)(sin
)(sin)(cos
)(cos)(cos
,
πϕ
ϕ
ϕϕ
ϕϕ
n
tt
t
t
t
t
y
y
zy
zy
+
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
+
−
=⇒
⎪
⎭
⎪
⎬
⎫
−=
=
=
2
21
2
11
31
31
21
11
arctg
)(sin
)(sin)(cos
)(cos)(cos
,
πϕ
ϕϕ
ϕϕ
n
t
t
t
t
x
yx
xy +⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
=⇒
⎭
⎬
⎫
=
=
33
32
33
32 arctg
)(cos)(cos
)(sin)(cos
.
4.2. Для інших порядків обертання кути визначаються аналогічно.
СИНТЕЗ ПРОЦЕСУ АНІМАЦІЇ ЖЕСТОВОЇ МОВИ
Для синтезу процесу анімації жестів та міміки трьохвимірною моделлю лю-
дини запропоновано такий формальний опис, який використовує відповідні
множини параметрів та алгоритми роботи з ними. Трьохвимірна модель лю-
дини, на якій реалізуватиметься процес анімації жестів та міміки, має такі
атрибути:
• { }},,{: zyxvvV ii == — множина вершин трикутників для тріангу-
ляції поверхні трьохвимірної моделі людини;
• { }},,{: zyxnnN ii == — множина нормалей до вершин;
• { }},{: stttT ii == — множина текстурних координат до вершин;
Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 4 54
• { }},,{: 321
indindind kkkVVV ii == — множина індексів, які вказують
порядок побудови трикутників з множини вершин;
• { }}{: imgIII ii == — множина фотографічних зображень елементів
моделі — текстури.
Для моделювання скелетної анімації потрібно вміти розраховувати нові
значення вершин трикутників (V ). Для цього пропонується використовува-
ти механізм скінінга. Скінінг можна означити як алгоритм прив’язки мно-
жини вершин трикутників, які означують поверхню моделі до значень кутів
скелета. Тоді модель скелетної анімації можна формалізувати таким чином:
{ }{ }iiimii OrderGlbdllkHMMHMH ,,},,{,: 1== — опис спрощеного ске-
лета людини (ієрархія кісток) для реалізації скелетної анімації, де iMH —
i-та кістка скелета ( 1,,0 −= Ni , N — кількість кісток у скелеті); k —
індекс кістки-предка; }{ 1 mll — множина індексів нащадків кістки;
T
iiii zyxd ],,[= — координати точки — кінця кістки в системі координат,
яка пов’язана з початком цієї кістки; Glb — вектор для визначення коорди-
нат кістки в глобальній системі координат; iOrder — порядок застосування
обертання. { }}),,{(: 11 WeightxIndexVerteSkinSkinSkin ii == — множини
вершин, які впливають на поточну вершину при зміні кутів.
Скінінг розраховується для кожної вершини V таким чином:
∑
=
=′
N
i
HHHjj iii
JWJMIBMvv
0
}*)**{( ,
де n — кількість кісток, пов’язаних із вершиною v;
iHIBM — інверсна
bind-pose матриця для кістки iH ;
iHJM — матриця переміщення для кіски
iH ;
iHJW — ваговий коефіцієнт для застосування впливу точок кістки iH
на вершину v .
Для моделювання анімації промовляння та емоційного забарвлення за-
пропоновано використовувати механізм морфінгу. Морфінг можна означити
як алгоритм плавного переходу від одного стану об’єкта до іншого. Під час
використання морфінгу використовуються лише опорні стани, за допомогою
яких розраховуються проміжні стани і моделюється процес анімації. Модель
морфінгу міміки промовляння можна формалізувати таким чином.
Відображення або побудова міміки на обличчі трьохвимірної моделі
досягається шляхом застосування відносного (сегментного) морфінгу до
моделі голови та мімічного процесу. Формула відносного морфінгу для М
морфів у формалізмі моделі матиме такий вигляд:
∑
=
+=′
M
m
mmTMwVV
1
,
де mw — вагові коефіцієнти, V — меш базової моделі без морфінгу, mTM
— вхідний меш (морф) для блендінгу (blending). Результатом операції є лі-
нійна комбінація мешів моделі та мімік.
Комп’ютерне моделювання української жестової мови
Системні дослідження та інформаційні технології, 2011, № 4 55
Метод сегментного морфінгу дає змогу: формувати декілька виразів
обличчя на основі невеликої кількості морфів та змінювати стан обличчя
при анімації промовляння. Додатковою перевагою сегментного морфінгу
є те, що можна анімувати щелепу незалежно від губ та очей (кліпання), не-
залежно від емоційного прояву на обличчі.
СИНТЕЗ ПРОМІЖНИХ ТРАЄКТОРІЙ-ПЕРЕХОДІВ МІЖ ЖЕСТАМИ
Лексичною одиницею у звичайній мові є слово, стале словосполучення або
інша конструкція, що спроможна означати предмети, явища, їх ознаки тощо.
У жестовій мові такою лексичною одиницею є жест. Він має вигляд знака
або завершеного руху. У запропонованій моделі жесту-знака буде відповіда-
ти один стан спрощеного скелета людини H із відносно сталим значенням
кутів M , а жесту-руху — послідовна зміна значення кутів та порядка засто-
сувань обертань для кожної кістки з плином часу.
Суттєвою відмінністю жестового мовлення є його аморфність. Мовле-
нєвий жест містить поняття, але не виражає форму числа, рід, відмінок, час
тощо. Тобто, із досить обмеженої кількості жестів утворюються їх прості
поєднання шляхом аглютинації (склеювання) у відомому порядку:
• дійова особа, предмет – дія ([Я] – [ПРАЦЮВАТИ]),
• дія – заперечення ([ХОТІТИ] – [НІ]),
• предмет – якість,
• стан ([ДИТИНА] – [ХВОРА] [ТЯЖКО]) тощо.
Беручи до уваги, що однією з важливих ознак жестової одиниці є лока-
лізація (місце виконання жесту) виникає проблема розрахунку траєкторій-
переходів від одного жесту до іншого, що подібні до рухів людей. У моделі
жести отримуються шляхом оцифровування жестів реальних людей — носі-
їв жестової мови. Як екстенсивний, можна запропонувати підхід для отри-
мання траєкторій-переходів шляхом фіксації та оцифрування всіх можливих
траєкторій між областями-локалізаціями жестів. При такому підході зали-
шиться задача зглажування стиків між жестом і початком траєкторії перехо-
ду. Це пов’язано з тим, що локалізація жеста досить відносне поняття — для
групи жестів з однією локалізацією не можливо точно зафіксувати стан
спрощеного скелета.
Виходячи з цього, сформульована така постановка задачі: потрібно,
в межах запропонованої моделі, розв’язати задачу розрахунку траєкторій-
переходів між двома довільними жестами.
У загальному випадку, задача планування рухів маніпуляційної систе-
ми в області з обмеженнями є досить складною проблемою. Розв’язок обер-
неної задачі (з відомого значеня трьохвимірних координат точки-цілі визна-
чити значення узагальнених координат маніпуляційної системи) є задачею
мінімізації функціонала в просторі з обмеженнями (оскільки таких значень
узагальнених координат — множина та потрібно знайти оптимальне значен-
ня) і вона не має загального аналітичного розв’язку [3]. Існуючі чисельні
підходи [4] пропонують оптимальний пошук траєкторії із множини можли-
вих. У межах моделі, яка використовується, потрібно знайти функціональ-
ний перехід від кінцевого стану спрощеного скелета (вектор узагальнених
координат — значення кутів обертання навколо відповідних вісей при кож-
Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 4 56
ній ланці (кістці)) одного жесту до початкового стану (інший вектор уза-
гальнених координат) іншого жесту. При цьому цей функціональний пере-
хід має породжувати таку траєкторію, яка візуально близька до траєкторії
людини при аналогічному переході.
Скористаємося тим, що можна організувати планування траєкторій ма-
ніпуляційної системи як аналога процедур навчання й прийняття рішень ви-
конання маніпуляцій і локомоцій вищих організмів [5]. Можна сказати, що
вищі організми для переміщення використовують таке керування, для здійс-
нення якого потрібно зробити найменшу роботу, тобто найменшу кількість
рухів. У нашому випадку найменшою кількістю рухів буде лінійна зміна
кутів для переводу одного стану скелета в інший. Для формалізації жесту,
а також з метою подальшого використання механізму аглютинації (для
створення жестових конструкцій типу речень) використаємо таку множину:
{ }},,,,{: endbegendbeg
iiiiiii SSffGGG θ== , (3)
де iG — конкретний жест ( ∞= ,,0i ), який відповідає послідовності зміни
станів спрощеного скелета з дискретним (з відповідною частотою) плином
часу (1)–(2); beg
if — номер стану, що відповідає початку жесту; end
if —
номер стану, що відповідає кінцю жесту; )},,{(beg zyxSi = — координати
кінців кісток спрощеного скелета для стану beg
if (у системі координат,
пов’язаній з корневою кісткою спрощеного скелета); end
iS — аналогічно для
стану end
if ; iθ — множина змін кутів Ейлера (із (2)).
Для розрахунку траєкторії )(θ між жестами lG та mG пропонується
розрахувати значення узагальнених координат таким чином:
),(end0 lGθθ =
( ) 1,,1,)()( endbeg1 −=−+= − kikGG lmii θθθθ , (4)
де )(end lGθ — значення узагальнених координат для останнього стану
( end
if ) жесту lG ; )(beg mGθ — значення узагальнених координат для першо-
го стану ( beg
if ) жесту mG ; k — кількість станів між цими двома жестами.
Кількість станів між двома жестами є фактично часом, за який потрібно
перейти з кінцевого положення одного стану до початкового положення ін-
шого. Для автоматичного визначення кількості станів пропонується обраху-
вати коефіцієнт, який є відношенням кількості станів переходу між двома
жестами до відстані, на яку зроблено при цьому переміщення деякої точки
скелета, тобто:
L
Kkoef = , (5)
де K — кількість станів між двома положеннями (отриманими з людини-
носія жестової мови при фіксованій швидкості показування жесту); L —
відстань, на яку перемістилась деяка точка скелета.
Комп’ютерне моделювання української жестової мови
Системні дослідження та інформаційні технології, 2011, № 4 57
Виходячи з того, що оцифрування жестів G проводилось в одному (се-
редньому) темпі, розрахувавши коефіцієнт (5) для різних жестів, можливо
отримати його середнє значення та використати його для розрахунку кіль-
кості перехідних станів )(K між двома жестами.
Маючи коефіцієнт ,koef та знаючи для кожного жесту координати по-
чатку кісток спрощеного скелета beg
iS для стану beg
if та end
iS для стану
end
if можливо визначити кількість станів переходу від одного жесту до ін-
шого (К):
maxLkoefK = , (6)
де
⎭⎬
⎫
⎩⎨
⎧ −= 2begend
max ))()((max mili GSGSL — максимальна відстань між
двома відповідними точками-кінцями кожної кістки скелета ( 1,,0 −= Ni ,
N — кількість кісток у скелеті) між станами end
if (для жесту lG ) та beg
mf
(для жесту mG ).
Беручи до уваги те, що існують деякі доволі складні жести (що відтво-
рюють двома руками складні асоціації з реального життя) можливі ситуації,
коли отримана означеним чином траєкторія (4) приведе до колізії при від-
творенні просторовою моделлю (неприродні перетини рук, занурення однієї
руки в іншу тощо). Для подолання таких ситуацій пропонується обрахову-
вати траєкторії з використанням проміжних станів. Тобто, для таких склад-
них рухів вводитимуться додаткові проміжні стани, розрахунок траєкторії
через які не приводитиме до колізій.
ТЕХНОЛОГІЯ ДЛЯ ВІДТВОРЕННЯ ПРОЦЕСУ АНІМАЦІЇ
Для відтворення процесу анімації жестів та міміки трьохвимірною моделлю
людини створено комплекс програм, який реалізує скелетну (для відтворен-
ня жесту) та морфемну (для відтворення міміки промовляння та емоцій)
анімацію. Реалізована відповідна програмна функціональність, яка, викори-
стовуючи трьохвимірне API OpenGL, відтворює по означеним атрибутам
модель людини (рис. 2), та з використанням алгоритмів скінінгу та морфінгу
відтворює анімацію (рис. 3).
Для реалізації української жестової мови було створено програму
(рис. 4), яка відтворює методику викладання жестової мови в спеціальних
Рис. 2. Відтворення трьохвимірної моделі людини
Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 4 58
загальноосвітніх школах для нечуючих дітей. За основу було взято ре-
комендовану Міністерством освіти програму [6] для початкових класів.
Функціонально програма складається з трьох інформаційних блоків
«Теми», «Слова» та «Речення» і блока відтворення жесту віртуальною мо-
деллю. Основним блоком є блок «Теми». У ньому сконцентровано основні
методичні відомості, які розглядаються на уроці: що потрібно у цій темі
сформувати в учнів; які навички потрібно засвоїти, які особливості морфо-
логії жестової мови та, які види синтаксичних конструкцій містить матеріал.
Наведено список нових жестів з теми, що розглядається, та речення з цими
словами, які містять граматичні та синтаксичні конструкції (рис. 5).
Блоки «Слова» та «Речення» (рис. 6, 7) мають допоміжну функцію.
У них сконцентровано всі жести та приклади речень (які використовують
розглянуті жести).
Блок відтворення жесту віртуальною моделлю у цій реалізації виконує
особливу функцію. Саме за допомогою нього можливо демонструвати
в навчальному процесі динаміку жесту. Беручи до уваги, що жести оцифро-
вуються носіями жестової мови, вони, по суті, стають стандартами відтво-
рення жесту. Реалізована у блоці можливість покадрового показу жесту слу-
гує засобом, за допомогою якого стане можливим вивчення жесту без
особливостей показу конкретним викладачем. Це стане основою того, що
вивчені дітьми жести будуть однаковими для різних шкіл, регіонів. Фактич-
но, жестова мова (в основній своїй множині) стане стандартом на території
України.
Рис. 3. Кадри анімації жесту «Ти»
Рис. 4. Програма «Українська жестова мова»
Комп’ютерне моделювання української жестової мови
Системні дослідження та інформаційні технології, 2011, № 4 59
ВИСНОВКИ
Використовуючи модель для фіксації рухів, які відтворюють українську
жестову мову було оцифровано множину з 50 жестів. Відтворення жестів із
цієї множини (за допомогою моделі для відтворення анімації) показало
спроможність запропонованої технології досить реалістично відтворювати
на трьохвимірній моделі рухи, що отримані з відеозображення конкретної
людини — носія жестової мови.
Було реалізовано програмне забезпечення, яке відтворює декілька уро-
ків української жестової мови. Було взято уроки із програми спеціальних
загальноосвітніх шкіл для нечуючих дітей [6].
Розроблене програмне забезпечення є основою для розробки та реалі-
зації певних стандартів жестової мови. Це дає можливість вирішити
проблему відмінностей для одних і тих самих жестів, яка виникає через їх
інтерпретацію конкретним викладачем.
Подальші дослідження мають бути спрямовані на вдосконалення за-
пропонованої технології:
• наповнення бази даних жестів основною множиною жестів українсь-
кої жестової мови — створення стандарту жестової мови;
• створення засобу для семантичного зв’язування речень українською
мовою з реченнями на жестовій мові.
Відзначимо, що реалізація всього словника української жестової мови,
використовуючи розроблений підхід і створену комп’ютерну технологію,
займе невеликий проміжок часу (рік–два) і дозволить зробити впровадження
такої системи в межах усієї держави.
ЛІТЕРАТУРА
1. Кривонос Ю.Г., Крак Ю.В., Бармак О.В. та ін. Інформаційна технологія
невербального спілкування людей з вадами слуху // Штучний інтелект. —
2008. — № 3. — С. 325–331.
Рис. 5. Блок «Теми»,
тема «Знайомство»
Рис. 6. Блок «Слова» Рис. 7. Блок «Речення»
Ю.Г. Кривонос, Ю.В. Крак, О.В. Бармак
ISSN 1681–6048 System Research & Information Technologies, 2011, № 4 60
2. Кривонос Ю.Г., Крак Ю.В., Бармак О.В. та ін. Інформаційна технологія для
моделювання української мови жестів // Штучний інтелект. — 2009. — № 3.
— С. 186–198.
3. Кириченко М.Ф., Крак Ю.В., Сорока Р.О. Оптимізація маніпуляційних роботів.
— Київ: Либідь, 1990. — 144 с.
4. Бармак А.В. Информационная компьютерная технология для моделирования и
управления манипуляционными и виртуальными системами // Проблемы
управления и информатики. — 2003. — № 5. — С. 143–154.
5. Бернштейн Н.А. Очерки по физиологии движений и физиологии активности.
— М.: Медицина, 1966. — 350 c.
6. Грищенко Є.С., Стьопкін В.В. Українська жестова мова 1–4 класи. — Київ:
Богдана, 2004. — 100 с.
Надійшла 07.06.2010
|