Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором

Наведено результати виконання проекту «Розробка пристрою обробки відеоданих для автоматичного супроводження об’єкта, визначеного у зображенні оператором» (шифр ВК 200.18.14). Проаналізовані функції, які повинен виконувати пристрій, та вимоги до нього. Розроблено алгоритмічне, програмне та технічне...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2016
Автори:	Боюн, В.П., Сабельніков, П.Ю., Сабельніков, Ю.А.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Видавничий дім "Академперіодика" НАН України 2016
Назва видання:	Наука та інновації
Теми:	Науково-технічні інноваційні проекти Національної академії наук України
Онлайн доступ:	http://dspace.nbuv.gov.ua/handle/123456789/116878
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором / В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков // Наука та інновації. — 2016. — Т. 12, № 2. — С. 29—39. — Бібліогр.: 15 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-116878
record_format	dspace
spelling	irk-123456789-1168782017-05-18T03:02:23Z Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором Боюн, В.П. Сабельніков, П.Ю. Сабельніков, Ю.А. Науково-технічні інноваційні проекти Національної академії наук України Наведено результати виконання проекту «Розробка пристрою обробки відеоданих для автоматичного супроводження об’єкта, визначеного у зображенні оператором» (шифр ВК 200.18.14). Проаналізовані функції, які повинен виконувати пристрій, та вимоги до нього. Розроблено алгоритмічне, програмне та технічне забезпечення пристрою для автоматичного супроводження об’єкта, визначеного у зображенні оператором. Представлены результаты выполнения проекта «Разработка устройства обработки видеоданных для автоматического сопровождения объекта, определенного на изображении оператором» (шифр ВК 200.18.14). Проанализированы функции, которые должно выполнять устройство и требования к нему. Разработано алгоритмическое, программное и техническое обеспечение устройства для автоматического сопровождения объекта, определенного на изображении оператором. Results of the research project «Developing video processing device for automatic object tracking defined in the image by operator» (code VC 200.18.14) are presented. The functions the device should fulfil and requirements to it are analyzed. Algorithms, software and hardware for automatic tracking of the object specified in the image by the operator are developed. 2016 Article Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором / В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков // Наука та інновації. — 2016. — Т. 12, № 2. — С. 29—39. — Бібліогр.: 15 назв. — укр. 1815-2066 DOI: doi.org/10.15407/scin12.02.029 http://dspace.nbuv.gov.ua/handle/123456789/116878 uk Наука та інновації Видавничий дім "Академперіодика" НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Ukrainian
topic	Науково-технічні інноваційні проекти Національної академії наук України Науково-технічні інноваційні проекти Національної академії наук України
spellingShingle	Науково-технічні інноваційні проекти Національної академії наук України Науково-технічні інноваційні проекти Національної академії наук України Боюн, В.П. Сабельніков, П.Ю. Сабельніков, Ю.А. Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором Наука та інновації
description	Наведено результати виконання проекту «Розробка пристрою обробки відеоданих для автоматичного супроводження об’єкта, визначеного у зображенні оператором» (шифр ВК 200.18.14). Проаналізовані функції, які повинен виконувати пристрій, та вимоги до нього. Розроблено алгоритмічне, програмне та технічне забезпечення пристрою для автоматичного супроводження об’єкта, визначеного у зображенні оператором.
format	Article
author	Боюн, В.П. Сабельніков, П.Ю. Сабельніков, Ю.А.
author_facet	Боюн, В.П. Сабельніков, П.Ю. Сабельніков, Ю.А.
author_sort	Боюн, В.П.
title	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором
title_short	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором
title_full	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором
title_fullStr	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором
title_full_unstemmed	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором
title_sort	пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором
publisher	Видавничий дім "Академперіодика" НАН України
publishDate	2016
topic_facet	Науково-технічні інноваційні проекти Національної академії наук України
url	http://dspace.nbuv.gov.ua/handle/123456789/116878
citation_txt	Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором / В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков // Наука та інновації. — 2016. — Т. 12, № 2. — С. 29—39. — Бібліогр.: 15 назв. — укр.
series	Наука та інновації
work_keys_str_mv	AT boûnvp pristríjobrobkivídeodanihdlâavtomatičnogosuprovodžennâobêktaviznačennogouzobraženníoperatorom AT sabelʹníkovpû pristríjobrobkivídeodanihdlâavtomatičnogosuprovodžennâobêktaviznačennogouzobraženníoperatorom AT sabelʹníkovûa pristríjobrobkivídeodanihdlâavtomatičnogosuprovodžennâobêktaviznačennogouzobraženníoperatorom
first_indexed	2025-07-08T11:15:00Z
last_indexed	2025-07-08T11:15:00Z
_version_	1837077157262655488
fulltext	29 ISSN 1815-2066. Nauka innov. 2016, 12(2): 29—39 doi: http://dx.doi.org/10.15407/scin12.02.029 Наведено результати виконання проекту «Розробка пристрою обробки відеоданих для автоматичного супровод- ження об’єкта, визначеного у зображенні оператором» (шифр ВК 200.18.14). Проаналізовані функції, які повинен виконувати пристрій, та вимоги до нього. Розроблено алгоритмічне, програмне та технічне забезпечення пристрою для автоматичного супроводження об’єкта, визначеного у зображенні оператором. К л ю ч о в і с л о в а: зображення, фільтрація, порівняння об’єктів, супроводження об’єктів, системи реального часу. © В.П. БОЮН, П.Ю. САБЕЛЬНІКОВ, Ю.А. САБЕЛЬНІКОВ, 2016 В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков Інститут кібернетики ім. В.М. Глушкова НАН України, Київ ПРИСТРІЙ ОБРОБКИ ВІДЕОДАНИХ ДЛЯ АВТОМАТИЧНОГО СУПРОВОДЖЕННЯ ОБ’ЄКТА, ВИЗНАЧЕННОГО У ЗОБРАЖЕННІ ОПЕРАТОРОМ Сучасна військова техніка неможлива без ефек тивних автоматизованих систем спостере- ження і супроводження цілей. Одними із засо- бів, що суттєво підвищать боєздатність сучас- ної спецтехніки, є якісні відеокамери денного та нічного відеоспостереження і пристрої, які дозволяють автоматично супроводжувати візу- ально вибрану ціль, суттєво полегшуючи робо- ту оператора та підвищуючи її ефективність. Метою НДР, виконаної в Інституті кіберне- тики ім. В.М. Глушкова НАН України, було під- вищення ефективності відеосистем спеціаль- ного призначення, зокрема для бронетанкової техніки, за рахунок розробки алгоритмів та при- строю обробки відеоданих для автоматичного супроводження об’єкта, визначеного у зобра- женні оператором. Останнім часом розроблено багато методів об робки зображень, зокрема цифрових фільт- рів, які дозволяють суттєво зменшити вплив шу- мів, розмитості та покращити контрастність зо- браження і, завдяки цьому, підвищити виявну здатність телевізійного та тепловізійного кана- лів спостереження, а також методів розпізнаван- ня та слідкування за об’єктами відеопослідов- ностей. Однак виникає безліч питань при впро- вадженні цих методів, при побудові конкретних алгоритмів для їх реалізації та пристроїв, в яких передбачено ці алгоритми використовувати. Ця робота є продовженням попереднього про- екту, виконаного у 2013 р. за темою ВК-200.16.13 «Розробка алгоритмів та програмних моделей для аналізу телевізійних та тепловізійних зобра- жень» [1] і стосується прикладних аспектів роз- робки і оснащення спецтехніки (зокрема броне- танкової техніки) пристроями обробки відеода- них для автоматичного супроводження об’єкта, визначеного у зображенні оператором. У роботі були розглянуті та розроблені мето- ди і алгоритми, що стали базою при розробці на- бору програмних засобів пристрою автоматич- ного супроводження цілі, з яких оператор може вибрати найбільш придатний для вирішення ос- новних завдань у конкретній обстановці. Фільтрація, підвищення різкості та контраст- ності дають змогу покращувати зображення. Ал- горитми виділення контурів та порівняння за ними або за їх окремими ділянками, дозволяють 30 ISSN 1815-2066. Nauka innov. 2016, 12(2) В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков розпізнавати об’єкти за формою незалежно від афінних перетворень (зсуву, повороту, масшта- бу) та в умовах завад різної природи. Алгорит- ми відстеження дають можливість автоматич- но відслідковувати на зображенні об’єкти, вка- зані оператором, та видавати координати об’єк- тів на виконавчі пристрої. Проведений аналіз сучасних сигнальних про- цесорів і процесорів на базі ядра ARM дозво- лив здійснити вибір комплектуючих для побудо- ви пристрою обробки відеоданих з мінімальною кількістю компонентів. Були розроблені струк- турна і функціональна схеми пристрою обробки відеоданих та програми для перевірки запропо- нованих алгоритмів, зокрема оновлена комп- лексна програма для відпрацювання алгорит- мів геометричного порівняння контурів об’єк тів відеозображень в умовах афінних перетворень і завад різної природи та комплексна програма для слідкування за окремими точками об’єктів відеопослідовностей, що включає також про- грами первинної обробки відеоданих. При розробці і відпрацюванні алгоритмів вра- ховувалась їхня реалізація у пристрої обробки відеоданих, побудованому на вибраному проце- сорі з використанням тільки внутрішньої швид- кої пам’яті. Нижче надані також про позиції що- до напрямків підвищення продуктивності при- строїв обробки відеоінформації для реалізації трудомістких алгоритмів в реальному часі. АЛГОРИТМІЧНЕ ЗАБЕЗПЕЧЕННЯ ПРИСТРОЮ ОБРОБКИ ВІДЕОЗОБРАЖЕНЬ Для більшості задач систем слідкування ана- ліз зображень — це такий процес, при якому про- водиться обробка зображень з виділенням або заданням окремих точок об’єктів, обчислюються їх характеристики, і за цими характеристиками шукаються ці об’єкти чи точки на наступних кадрах відеопослідовності. Рішення задачі, як правило, розбивається на декілька етапів: фільтрація, покращення якості та, можливо, пірамідальне подання зображень з наступ- ною поетапною обробкою окремих зобра- жень піраміди; видобування ознак об’єктів або їх особли- вих ділянок (контурні лінії, області зобра- ження чи особливі точки); перетворення в інші представлення цих оз- нак та обчислення їх характеристик; пошук за обчисленими характеристиками най більш подібних об’єктів або точок на на- ступних кадрах відеопослідовності і обчис- лення їх координат; видача сигналів, що відповідають зміщенню координат, на виконавчі пристрої. З урахуванням проведеного аналізу задач, які повинен виконувати пристрій, та вимог до нього пропонується на першому етапі включи- ти до складу алгоритмічно-програмного за без- печення такі методи і алгоритми: методи і алгоритми попередньої обробки зоб- ражень (фільтрація від завад, підвишення контрастності та різкості зображень, підкрес- лення контурів об’єкта, нелінійного сприй- нят тя яскравості); алгоритми слідкування за об’єктом; способи задання початкових координат об- раного об’єкта та видача координат об’єкта на виконавчі пристрої системи. СЛІДУКУВАННЯ ЗА ОБ’ЄКТАМИ ЗОБРАЖЕНЬ Постановка задачі слідкування за об’єктами зображення можлива в декількох варіантах: об’єкт спостереження рухається, спостері- гач з відеокамерою нерухомий; об’єкт спостереження нерухомий, спостері- гач з відеокамерою рухається; об’єкт спостереження рухається, спостері- гач з відеокамерою теж рухається. Необхідно отримувати координати об’єкта спо стереження відносно розташування і орієн- тації спостерігача або напрямок на об’єкт від- носно орієнтації спостерігача і відповідно ви- значати, в якому напрямку і з якою швидкістю рухаються визначені об’єкти уваги. У цілому задача комплексно вирішується шляхом роз- пізнавання об’єкта спостереження на отрима- них зображеннях відеопослідовності за най- більш поширеними «візуальними ознаками» у 31ISSN 1815-2066. Nauka innov. 2016, 12(2) Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором відстеженні об’єктів, такими, як рух, форма, колір та інтенсивність випромінювання. Для аналізу було обрано такі найбільш час- то використовувані алгоритми для захоплен- ня і відстеження об’єктів: алгоритм шаблонів руху (Motion Templa- tes) — заснований на пошуку меж об’єктів у кожному кадрі відеопотоку [2]. Зсув границі на новому кадрі щодо попереднього визна чає вектор руху об’єкта. Даний алгоритм найбільш ефективний при русі великих об’єк тів і часто використовується для розпізнавання динаміч- них жестів в людино-машинних інтерфейсах; алгоритм зсуву середнього (Mean-Shift) — за- снований на математичній моделі, яка поля- гає в тому, що обчислюється локальний екс- тремум щільності розподілу набору характер- них точок, тобто алгоритм відстежує зміщен- ня центра мас точок, що визначають об’єкт стеження, отримуючи на виході вектор руху об’єкта [3]. Висока ефективність досягається при відмінності яскравостей об’єкта і фону; алгоритм безперервно адаптуючого зсуву (CamShift) — заснований на алгоритмі зсу- ву середнього, але відрізняється тим, що ав- томатично підлаштовує границі і розмір ві- кна, в межах якого розташовані характерні точки [4]. Таким чином проводиться більш точне відстеження об’єкта, що змінюється в розмірах; алгоритм Лукаса—Канаде (Lucas—Kanade) — заснований на диференційному обчисленні оптичного потоку за допомогою аналізу пік- селів (передбачається, що оптичний потік од- наковий для пікселів, що лежать в околі цент- ра вікна стеження), при цьому зміщення пік- селів між сусідніми кадрами має бути неве- ликим [5]. Даний алгоритм більше двадцяти років активно використовується в додатках комп’ютерного зору і вже довів свою високу ефективність для широкого кола застосувань; алгоритм Віоли—Джонса (Viola—Jones) — за- снований на виявленні в кадрі наборів піксе- лів, що збігаються зі заздалегідь підібраними шаблонами, які складаються з білих і чорних прямокутників [6, 7]. Для розпізнавання різ- них об’єктів потрібний свій унікаль ний набір шаблонів, який створюється шляхом навчання алгоритму на конкретному об’ єк ті. Правильно навчений алгоритм працює з високою ефек- тивністю, проте сам процес навчання досить тру домісткий, вимагає від розробника-до слід- ника спеціальних знань про даний алгоритм і добре організованої навчальної вибірки. Для початку роботи будь-якого алгоритму відстеження потрібно якимось чином ініціалі- зувати первісну область стеження або масив характерних точок. Існують алгоритми, які са- мостійно виявляють шуканий об’єкт в кадрі при його появі, а для решти об’єкт вказується вручну. Крім того, деякі алгоритми вимагають навчання перед їх використанням. Для реалізації було вибрано метод Лукаса— Канаде з урахуванням того, що згідно з завдан- нями роботи точку на об’єкті слідкування за- дає оператор. Алгоритм Лукаса—Канаде використовуєть- ся досить широко в задачах оцінки руху об’єк- та. Він відноситься до локальних методів об- числення оптичного потоку, тому що обробляє пікселі в околі певної точки. Даний алгоритм припускає, що: a) зсув точок на поточному і попередньому зображеннях незначний; б) зсув точок в околі деякої точки однаковий; в) значення інтенсивностей пікселей не змі- нюються в часі: I (x, y, t)–I (x + δx, y + δy, t + δt) = 0, (1) де I (x, y, t) — функція інтенсивності пікселя з координатами (x, y) в кадрі t і (δx, δy) — зміщен- ня пікселя між послідовними кадрами t і t+δt. Припустимо, що D = {q 1, q2, ..., qn} — набір точок в околі точки P. Враховуючи мале зміщення при лінійному розкладанні функції для кожної з точок в ряд Тейлора, отримуємо систему рівнянь, яка роз в’я- зується методом зважених найменших квад ратів [5]. Для визначення вагових коефіцієнтів для пікселів на зображенні використовується функ- 32 ISSN 1815-2066. Nauka innov. 2016, 12(2) В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков ція W (x, y). Згідно з цим методом для зна ход жен- ня розв’язку необхідно мінімізувати по милку: ε(υ) = ∑ x, y ∈ D W(x, y) · [I(x, y, t)–I(x+δx, y+ +δy, t+δt)]2 = ∑ x, y ∈ D W(x, y) · (∂I ∂xυx+ ∂I ∂yυy+ ∂I ∂t ) 2 , (2) де υ = (υx,υy) — швидкість зсуву за відповідни- ми координатами. Для знаходження мінімуму помилки необ- хідно прирівняти до нуля ∂ε(υ) , ∂ε(υ) . У результаті отримуємо рівняння: ∑ x, y ∈ D W(x, y) · [(∂I ∂x )2 · υx+ ∂I ∂x · ∂I ∂y · υy + ∂I ∂x · ∂I ∂t ] = 0 (3) ∑ x, y ∈ D W(x, y) · [ ∂I ∂x · ∂I ∂y · υx (∂I ∂y )2 · υy + ∂I ∂y · ∂I ∂t ] = 0. Ці рівняння можуть бути представлені в ма- тричній формі A · ν + B = 0, де ∑ x, y ∈ D W(x, y) · (∂I ∂x )2 ∑ x, y ∈ D W(x, y) · (∂I ∂y ∂I ∂x ) A = [ ], ∑ x, y ∈ D W(x, y) · (∂I ∂x ∂I ∂y ) ∑ x, y ∈ D W(x, y) · (∂I ∂y )2 ∑ x, y ∈ D W(x, y) · (∂I ∂x ∂I ∂t ) ν = [υx υy ], B = [ ]. (4) ∑ x, y ∈ D W(x, y) · (∂I ∂y ∂I ∂t ) Отже, ν = –A–1·B. Даний алгоритм є простим і швидким, тому у багатьох випадках досить ефективним. Се- ред недоліків алгоритму слід зазначити, що його можна використовувати тільки при неве- ликих зсувах об’єкта між кадрами. Для усу- нення цього недоліку на практиці використо- вується пірамідальний метод Лукаса—Канаде. За базовий взято алгоритм слідкування, роз- гля нутий вище. Означимо цю процедуру в подаль- шому просто терміном «слідкування», а ал го ритм слідкування з пірамідальним представ лен ням зо- бражень — терміном «пірамідальне слідкування». Отже, на вході процедури «слідкування» має- мо поточний і попередній кадри відеопослідов- ності, а також координати точки на попередньо- му кадрі, за якою слідкуємо. На виході отримує- мо координати цієї точки на поточному кадрі або не отримуємо, якщо слідкування зірвано. Представимо алгоритм «пірамідального» слід- кування крупними блоками: 1) організовуємо цикл для послідовного от- римання кадрів відеопослідовності; 2) отримуємо черговий кадр відеопослідов- ності; 3) будуємо з отриманого кадру чергову пі- раміду зображення з заданою кількістю рівнів k шляхом гауссової фільтрації і прорідження зображення по горизонталі і вертикалі для кожного з рівнів піраміди; 4) перевіряємо наявність координат точки (x, y), за якою потрібно слідкувати (якщо вона відсутня — переходимо до кроку 8, якщо вона є — продовжуємо дії далі); 5) обчислюємо координати точки для k-ого рівня піраміди (x = x/2k , y = y/2k); 6) цикл за рівнями піраміди (n = k, поки n ≥ 0, n = n–1); 7) процедура «слідкування» (вхід: зображен- ня n-ого рівня поточної і попередньої пірамі- ди, координати (x, y); вихід: координати (x, y); x = x2, y = y2;}; 8) попередня піраміда = поточна піраміда; 9) перехід до кроку 2. Пірамідальний алгоритм дозволяє слідкува- ти за точками при їх більш значному зміщенні кадр від кадру, тобто слідкувати за точкою об’єк- та, що рухається з більшою швидкістю. На даному етапі робіт була розроблена комп- лексна програма слідкування для відпрацю- ван ня окремих блоків і в цілому алгоритму слідкування за окремими точками об’єктів ві- деопо слідовності, визначених оператором. Обо- лон ку комплексної програми слідкування пред- ставлено на рис. 1. Згідно з Технічним завданням розроблені і ре- алізовані: інтерфейс користувача; загальна обо- лонка комплексної програми та блоки вводу ві- ∂υ x ∂υx { 33ISSN 1815-2066. Nauka innov. 2016, 12(2) Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором деозображень з відеопослідовності (відеофайл) і виводу на екран (можливий вивід кольорового або перетвореного сірого зображення, задається опцією «Вивід»); блоки попередньої обробки ві- деозображень (різноманітні фільтри, задаються опцією «Фільтрація»); програмний блок задан- ня оператором точки на зображенні, за якою по- трібно слідкувати; основна процедура слідку- вання за заданою оператором точкою. На рис. 1 також наведено один з кадрів віде- опослідовності при роботі програми «Слідку- вання» за точкою, вказаною оператором (хрес- тик на зображенні танка). Оператор задає точ- ку наведенням на потрібне місце курсора та натисканням лівої клавіші миші. МЕТОД ГЕОМЕТРИЧНОГО ПОРІВНЯННЯ КОНТУРІВ ОБ’ЄКТІВ ЗОБРАЖЕННЯ З ВИКОРИСТАННЯМ МОМЕНТІВ ВІДРІЗКІВ КОНТУРНИХ ЛІНІЙ У рамках даної роботи для задачі пошуку об’єкта при зриві слідкування пропонується ме тод і алгоритм [8], що дозволяють порівню- вати поточні, розірвані ділянки контурів об’єк- тів, які спостерігаються, з еталонами об’єкта, отриманими при стійкому супроводженні. Для скорочення кількості прямих геометричних по- рівнянь контурів попередньо розраховують мо- менти відрізків контурних ліній як суму мо- ментів ліній, що з’єднують сусідні пікселі по горизонталі, вертикалі та діагоналі, та порівню- ють їх моментні інваріанти. При цьому врахо- вується можливе масштабне відхилення. Формула обчислення моментів контурних ліній до k-ого порядку: M j,k–j = Σ N–1 BS · x j i yi k–j, j = (0, k), (5) де Mj,k–j — моменти контурних ліній; Bi — зна- чення, які дорівнюють 1 для міжпіксельних лі ній по горизонталі і вертикалі та √2 для між- піксельних ліній по діагоналі; xi , yi — коорди- нати середини міжпіксельних ліній; N — кіль- кість пікселів контурної лінії (кількість між- піксельних ліній на одиницю менше). Рис. 1. Оболонка комплексної програми слідкування i=1 34 ISSN 1815-2066. Nauka innov. 2016, 12(2) В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков Розрахунок моментів відрізків контурних лі- ній буде простим і більш швидким, якщо при обході і векторизації контурних ліній для кож- ної з них буде обчислено вектор моментів роз- міром N — 1 (кількість міжпіксельних ліній). Кожен компонент вектора дорівнює моменту відрізка від його початку до відповідної точки контурної лінії. Таким чином, момент М(Б-С) від точки Б до точки С буде дорівнювати (дивись рис. 2): М(Б — С) = М(А — С) — М(А — Б), (6) де А — початок контурної лінії; М(А — С) — момент відрізка між А і С; М(А — Б) — момент відрізка між А і Б. Детальний опис методу і алгоритму надано в [8]. ТЕХНІЧНА РЕАЛІЗАЦІЯ ПРИСТРОЮ Згідно з умовами застосування і передба- ченими функціями роботи пристрій повинен включати такі блоки: процесор з КЕШ-пам’яттю; оперативний запам’ятовуючий пристрій (ОЗП); постійний запам’ятовуючий пристрій (ПЗП); шинний комутатор; засоби аналогового відеовводу, відеодеко дер та контролер прямого доступу до пам’я ті для вводу відеоданих одночасно з обчисленнями; двоканальний цифро-аналоговий перетво- рювач (ЦАП) для видачі аналогових сигна- лів управління виконавчим пристроям; блок вводу—виводу цифрових сигналів для прийому сигналів управління та видачі сиг- налів стану пристрою; блок зв’язку з персональним комп’ютером (ПК) USB або UART для налаштування при- строю; блок енергоживлення для перетворення бор- тової напруги 27 В у необхідні стабільні на- пруги для живлення всіх блоків пристрою. Сьогодні багато фірм, що виробляють цифро- ві сигнальні процесори (DSP), орієнтують їх на конкретні застосування. Сучасні DSP можна по- ділити на три категорії: 1) недорогі з фіксова- ною точкою; 2) високопродуктивні з фіксова- ною точкою і 3) процесори із плаваючою точ- кою. Це дуже приблизна класифікація, оскільки багато процесорів можна розмістити в двох ка- тегоріях. Для відеозастосуваннь в основному про понується використовувати високопродук- тивні процесори з фіксованою точкою. За оцін- кою експертів Berkeley Design Technology, Inc (BDTI) основними виробниками таких сі мейств DSP-процесорів на ринку є Analog Devices (ADI), Freescale та Texas Instruments (TI). Також існує безліч компаній-початківців, що пропонують ви- сокопродуктивні DSP-процесори з фіксованою точкою. Це багатоядерні пристрої, що мають ар- хітектуру з масовим паралелізмом. Вибір процесорної платформи при проекту- ванні відеопристроїв — досить складне завдан- ня. Для того щоб він був правильним, необхід- но проаналізувати ряд питань: оцінка продуктивності процесора; оцінка необхідної смуги пропускання системи; аналіз пристроїв вводу/виводу процесора; вибір арифметики процесора; врахування технічних характеристик; аналіз засобів розробки програмного забез- печення. Згідно із зазначеними критеріями для побу- дови пристрою обробки відеоданих вибрано гіб- ридний кристал фірми Freescale. Цей кристал об’єднує в собі практично всі основні компо- ненти пристрою обробки відеоданих, такі, як: два процесори на базі ядер ARM-Cortex™-A5 (500 MHz) і Cortex™-M4 (167 MHz) cores; оперативна пам’ять, достатньо великого роз- міру — 1,5 Мб; Рис. 2. Контурна лінія, розбита на відрізки 35ISSN 1815-2066. Nauka innov. 2016, 12(2) Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором засоби для аналогового та цифрового вводу відеозображень з відеокамер; цифро-аналогові перетворювачі для виводу управляючих сигналів в аналоговій формі; швидкісні канали прямого доступу до па м’я ті. На рис. 3 наведена функціональна схема при- строю обробки відеоданих. Пристрій включає такі блоки: процесор сімейства Vybrid MVF61NS151CMK50 з процесорни- ми ядрами Cortex — A5 (500 Мгц) і Cortex — A4 (167 Мгц) та широким набором перифе- рії (можлива заміна на кристали MVF61NNS151CMK50, MVF60NS151CMK50, MVF60NN151CMK50); постійний запам’ятовуючий пристрій (ПЗП), підключений до інтерфейсу QSPI; імпульсний блок енергоживлення для пере- творення напруги з 5 у 3,3 В та інші напруги, необхідні для живлення процесора та ПЗП; імпульсний блок енергоживлення для пере- творення напруги з 27 В у 5 В. Робота пристрою здійснюється в двох ре- жимах: 1. Занесення в ПЗП програми після виго- товлення пристрою. У цьому режимі пристрій підключається до персонального комп’ютера (інтерфейс USB) та за рахунок спеціальної про грами здійснюється занесення програми в ПЗП. Вхід блоку живлення перемикається на 5В від USB. 2. Робота в штатному режимі у складі системи відеоспостереження для слідкування за об’єк- том, визначеним оператором. Оператор наво- дить лінію візування відеокамери (центр зобра- ження) на небхідну точку об’єкта та подає сиг- нал пристрою. Після цього виконується слід- кування за вказаною точкою та видаються на виконавчі пристрої аналогові сигнали, що від- повідають зміні координат об’єкта, та звукові або візуальні сигнали, що сповіщають операто- ра про стан пристрою (невпевнене стеження або зрив стеження). Крім того, за рахунок цифро- вих входів, підключених до органів керування оператор може задати режим попередньої об- робки зображень згідно з зовнішніми умовами. НАПРЯМКИ ПІДВИЩЕННЯ ПРОДУКТИВНОСТІ ПРИСТРОЇВ ОБРОБКИ ЗОБРАЖЕНЬ Колосальним резервом для прискорення про- цесів обробки зображень є розробка і викорис- тання засобів паралельної обробки інформації. Ще від 1970-х років існує велика кількість ро- біт, присвячених цим питанням (напр., [9, 10]). Але тільки сьогодні технологічний рівень елек- тронної промисловості дозволив реалізувати елементну базу для ефективної побудови пара- лельних обчислювачів і систем. До таких засо- бів відносяться процесори, що реалізують сис- тему команд SIMD (Cortex-A5 NEON MPE роз- ширює функціональність Cortex-A5 для забез- печення підтримки множини команд ARM v7 Advanced SIMD v2), програмовані логічні інте- гральні схеми (наприклад, ПЛІС фірми Xilinx [11]) або спроектовані заказні великі інтеграль- ні схеми, на яких можна реалізувати обчислю- ва чі, що дозволять в одному чіпі зберігати міль- йони та паралельно обробляти сотні, навіть ти- сячі пікселів відеозображень. Для пояснення принципу паралельної оброб- ки інформації типу «один потік команд, декіль- ка потоків даних» на рис. 4 наведено варіант структурної схеми універсального мультипро- цесора, побудованого на ПЛІС сімейства FPGA фірми Xilinx. Представлений мультипроцесор може бути побудований на одному чіпі ПЛІС і включає: управляючий RISC-процесор «PowerPC 405»; цифрові сигнальні процесори (ЦСП) «DSP 48 Slices»; двохпортові секції запам’ятовуючого прист- рою (СЗП) «RAM». Для приведеної структури мультипроцесора при реалізації алгоритму КІХ-фільтра для об- робки зображень з розміром nk × отримаємо підвищення швидкості обчислень приблизно в k раз, прийнявши час виконання векторних опе- рацій над рядком відеоданих (читання даних із СЗП, множення і накопичення, зсув) за 1 такт. 36 ISSN 1815-2066. Nauka innov. 2016, 12(2) В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков Рис. 3. Функціональна схема пристрою обробки відеоданих Рис. 4. Структурна схема універсального мультипроцесора 37ISSN 1815-2066. Nauka innov. 2016, 12(2) Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором Традиційно визначення місцеположення, па- ра метрів та моментів інерції об’єкта слідкуван- ня здійснюється шляхом послідовного зчитуван- ня в комп’ютері значень яскравості пікселів з ві- деосенсора для послідуючої обробки зображен- ня, що приводить до зниження частоти кадрів, та унеможливлює слідкування за рухом високоди- намічних об’єктів. Тому для підвищення швид- кодії пристроїв обробку відеоінформації сумі- щають з її сприйняттям відеосенсором, розмі- щуючи пристрій обробки безпосередньо на сен- сорі [12, 13]. Це дозволяє розпаралелити процес обробки та сприяє значному підвищенню час- тоти відеозйомки. У рамках даної роботи були розроблені: сенсорний пристрій для визначення місцеположення і параметрів об’єкта [14] та сен- сорна матриця з обробкою зображень [15]. ВИСНОВКИ У результаті виконання НДР були отримані такі основні науково-практичні результати: розроблені алгоритми функціонування при- строю для автоматичного супроводження точ- ки об’єкта, визначеної на зображенні опера- тором, зокрема алгоритми лінійної та нелі- нійної фільтрації зображення від завад, під- вищення контрасту та різкості зображень, ви ділення контурного зображення та обчис- лення статичних характеристик об’єктів, по- шуку і розпізнавання об’єктів з частково спо- твореною формою, слідкування за окреми- ми точками рухомих об’єктів; розроблені структурна, функціональна та елек трична схеми пристрою обробки відеода- них для автоматичного супроводження об’єк- та, визначеного у зображенні оператором; надані для впровадження алгоритми та схе- ми пристрою, розроблені з врахуванням ви- користання їх у діючій системі управління реального об’єкта оборонного призначення, що дозволить розширити функціональні мож- ливості та підвищити ефективність системи управління; вказані напрямки підвищення продуктив- ності пристроїв обробки відеоданих, які до- зволять проводити більш складну обробку зображень у реальному часі. Отримані результати роботи, зокрема метод і алгоритми пошуку і розпізнавання об’єктів з частково спотвореною формою, послужать ба- зою для подальших теоретичних і прикладних досліджень з метою розширення кола засто- сувань та підвищення їх ефективності при ро- боті в реальному часі (наприклад, для систем контролю форми, розмірів і якості продукції в промисловості). Результати роботи будуть використані при розробці відеоприладів і систем спостереження спеціального призначення, що серійно вироб ля- ються на Державному підприємстві НВК «Фо- топрилад» для оснащення бронетанкової та ін- шої військової техніки, на що отримано відпо- відний акт використання результатів роботи. За результатами НДР опубліковано 2 статті, отримано 2 патенти. Роботу виконано за підтримки Програми нау- ково-технічних проектів (розпорядження Пре- зидії НАН України від 05.03.2014 №142) відпо- відно до теми «Розробка пристрою обробки ві- деоданих для автоматичного супроводження об’єкта, визначеного у зображенні оператором» (шифр ВК 200.18.14). Партнером виступало Дер- жавне підприємство «Науково-виробничий комп- лекс "Фотоприлад"» м. Черкаси. ЛІТЕРАТУРА 1. Боюн В.П., Сабельніков П.Ю., Сабельніков Ю.А. Ал- горитми аналізу телевізійних і тепловізійних зоб- ражень у відеопристроях та системах спецпризна- чення // Наука та інновації. — 2014. — Т.10, № 6. — С. 19—25. 2. Müller M., Röder T. Motion templates for automatic cla- ssification and retrieval of motion capture data // In Proc. ACM SIGGRAPH Symposium on Computer Animation (SCA). Vienna, Austria, 2006. — P. 137—146. 3. Comaniciu D., Meer P. Mean Shift: A Robust Approach Toward Feature Space Analysis // IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). — 2002. — V. 24, №5. — P. 603—619. 4. Wang Z., Yang X., Xu Y., Yu S. CamShift guided particle filter for visual tracking // Pattern Recognition Letters (PRL). — 2009. — V. 30, №4. — P. 407—413. 38 ISSN 1815-2066. Nauka innov. 2016, 12(2) В.П. Боюн, П.Ю. Сабельніков, Ю.А. Сабельніков 5. Baker S., Matthews I. Lucas—Kanade 20 Years On: A Unifying Framework // International Journal of Com- puter Vision (IJCV). — 2004. — V. 56, №3. P. 221—255. 6. Алфимцев А.Н., Лычков И.И. Метод обнаружения объ- екта в видеопотоке в реальном времени // Вестник Там бовского государственного технического универ- ситета. —2011. — Т. 17, № 1. — С. 44—55. 7. Kasinski A., Schmidt A. The architecture and perfor man- ce of the face and eyes detection system based on the Haar cascade classifiers // Pattern Analysis and Ap pli- cations (PAA). —2010. V. 13, №2. — P. 197—211. 8. Sabelnikov P.Y. Algorithm geometric comparison of cont- out images of objects // J. of Qafqaz University. Ma the- matics and Computer Science. (Baku). — 2014. — V. 2, № 2. — С. 166—175. 9. Головкин Б.А. Параллельные вычислительные сис те- мы. — М.: Наука, 1980. — 520 с. 10. Фет Я.И. Параллельные процессоры для управ ля- ющих систем. — М.: Энергоиздат, 1981. — 160 с. 11. Палагин А.В. Проектирование реконфигурируемых цифровых систем: монография / А.В. Палагин, А.А. Баркалов, В.Н. Опанасенко, Л.А.Титаренко. — Лу- ганск: Изд-во ВНУ им. В. Даля, 2011. — 432 с. 12. Боюн В.П. Сприйняття і обробка зображень в систе- мах реального часу // Штучний інтелект (До нецьк). — 2013. — №3(61). — С. 114—125. 13. Боюн В.П. Інтелектуальні відеосистеми реального ча- су // Матеріали п’ятої Міжнародної науково-прак- тичної конференції «Інформаційні технології та ком- п’ютерна інженерія» (ІТКІ—2015), 27—29 травня 2015, Івано-Франківськ. — Вінниця: Прикарпатський на- ціо нальний університет. — С. 112—114. 14. Пат. України на винахід №106301, БВ №15. Сенсор- ний пристрій для визначення місцеположення та мо- ментів інерції об’єкта / Боюн В.П. Опубл. 11.08.2014. 15. Пат. України на винахід №109335, БВ №15. Сен- сорна матриця з обробкою зображень / Боюн В.П. Опубл. 10.08.2015. REFERENCES 1. Bojun V.P., Sabel’nikov P.Ju., Sabel’nikov Ju.A. Algo ryt- my analizu televizijnyh i teplovizijnyh zobrazhen’ u vi- deoprystrojah ta systemah specpryznachennja. Nauka innov. 2014. 10(6): 19—25 [in Ukrainian]. 2. Müller M., Röder T. Motion templates for automatic clas- sification and retrieval of motion capture data. In Proc. ACM SIGGRAPH Symposium on Computer Ani mation (SCA). Vienna, Austria, 2006: 137—146. 3. Comaniciu D., Meer P. Mean Shift: A Robust Approach Toward Feature Space Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI). 2002. 24(5): 603—619. 4. Wang Z., Yang X., Xu Y., Yu S. CamShift guided particle filter for visual tracking. Pattern Recognition Letters (PRL). 2009. 30(4): 407—413. 5. Baker S., Matthews I. Lucas—Kanade 20 Years On: A Unifying Framework. International Journal of Computer Vision (IJCV). 2004. 56(3): 221—255. 6. Alfimcev A.N., Lychkov I.I. Metod obnaruzhenija obek- ta v videopotoke v real’nom vremeni. Vestnik Tambov- skogo gosudarstvennogo tehnicheskogo universiteta. 2011. 17(1): 44—55 [in Russian]. 7. Kasinski A., Schmidt A. The architecture and per for- man ce of the face and eyes detection system based on the Haar cascade classifiers. Pattern Analysis and Ap pli- cations (PAA). 2010. 13(2): 197—211. 8. Sabelnikov P.Y. Algorithm geometric comparison of cont- out images of objects. J. of Qafqaz University. Mathema- tics and Computer Science. (Baku). 2014. 2(2): 166—175. 9. Golovkin B.A. Parallel’nye vychislitel’nye sistemy. Mosk- va: Nauka, 1980 [in Russian]. 10. Fet Ja.I. Parallel’nye processory dlja upravljajushhih sis- tem. Moskva: Jenergoizdat, 1981 [in Russian]. 11. Palagin A.V. Proektirovanie rekonfiguriruemyh cifrovyh sis tem: monografija. A.V. Palagin, A.A. Barkalov, V.N. Opa- nasenko, L.A.Titarenko. Lugansk: Izd-vo VNU im. V. Da- lja, 2011 [in Russian]. 12. Bojun V.P. Spryjnjattja i obrobka zobrazhen’ v systemah real’nogo chasu. Shtuchnyj intelekt. 2013. No 3(61): 114— 125 [in Ukrainian]. 13. Bojun V.P. Intelektual’ni videosystemy real’nogo chasu. Materialy p’jatoi’ Mizhnarodnoi’ naukovo-praktychnoi’ kon- ferencii’ «Informacijni tehnologii’ ta komp’juterna in zhe- nerija» (ITKI—2015), 27—29 travnja 2015, Ivano-Fran- kivs’k. Vinnycja: Prykarpats’kyj nacional’nyj univer sy- tet, 2015: 112—114 [in Ukrainian]. 14. Pat. Ukrai’ny na vynahid №106301, BV №15. Sensornyj prystrij dlja vyznachennja miscepolozhennja ta mo men- tiv inercii’ ob’jekta. Bojun V.P. [in Ukrainian]. 15. Pat. Ukrai’ny na vynahid №109335, BV №15. Sensorna matrycja z obrobkoju zobrazhen’. Bojun V.P. [in Uk rai- nian]. 39ISSN 1815-2066. Nauka innov. 2016, 12(2) Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором В.П. Боюн, П.Ю. Сабельников, Ю.А. Сабельников Институт кибернетики им. В.М. Глушкова НАН Украины, Киев УСТРОЙСТВО ОБРАБОТКИ ВИДЕОДАННЫХ ДЛЯ АВТОМАТИЧЕСКОГО СОПРОВОЖДЕНИЯ ОБЪЕКТА, ОПРЕДЕЛЁННОГО НА ИЗОБРАЖЕНИИ ОПЕРАТОРОМ Представлены результаты выполнения проекта «Раз- работка устройства обработки видеоданных для авто- матического сопровождения объекта, определенного на изображении оператором» (шифр ВК 200.18.14). Про- анализированы функции, которые должно выполнять устройство и требования к нему. Разработано алгорит- мическое, программное и техническое обеспечение уст- ройства для автоматического сопровождения объекта, определенного на изображении оператором. Ключевые слова: изображение, фильтрация, сравне- ние объектов, сопровождение объектов, системы реаль- ного времени. V. Boyun, P. Sabelnikov, Yu. Sabelnikov V.M. Glushkov Institute of Cybernetics, the NAS of Ukraine, Kyiv VIDEO PROCESSING DEVICE FOR AUTOMATIC OBJECT TRACKING DEFINED IN THE IMAGE BY OPERATOR Results of the research project «Developing video processing device for automatic object tracking defined in the image by operator» (code VC 200.18.14) are pre- sented. The functions the device should fulfil and requirements to it are analyzed. Algorithms, software and hardware for automatic tracking of the object specified in the image by the operator are developed. Keywords: image, filtration, object comparing, object tracking, real-time systems. Стаття надійшла до редакції 12.06.15

Пристрій обробки відеоданих для автоматичного супроводження об’єкта, визначенного у зображенні оператором

Репозитарії

Схожі ресурси