Machine vision systems for detection of fast-moving objects in low visibility conditions

Machine vision systems for detection of fast-moving objects in low visibility conditions

Machine vision technology for the detection of fast moving objects in low visibility conditions requires a more careful approach to the optical system, image processing tools, cameras based on a silicon and indium gallium arsenide focal plane matrix in the infrared range, which take into account the...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2024
Автори: Tovstenko, L.M., Kosovets, М.A., Tovstenko, O.A.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Інститут програмних систем НАН України 2024
Теми:
bandwidth
terahertz range
hardware accelerators
spectrum
convolutional neural network
distributed information processing
tensor processing
embedded system tests
deep learning
UDC 517.9:621.325.5:621.382.049.77
Онлайн доступ:https://pp.isofts.kiev.ua/index.php/ojs1/article/view/638
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Problems in programming

Репозитарії

Problems in programming
id pp_isofts_kiev_ua-article-638
record_format ojs
resource_txt_mv ppisoftskievua/be/8329cfb56b16bd100eedcc79b08204be.pdf
spelling pp_isofts_kiev_ua-article-6382025-02-15T12:26:10Z Machine vision systems for detection of fast-moving objects in low visibility conditions Системи машинного зору для виявлення швидкоплинних рухомих об'єктів в умовах низької видимості Tovstenko, L.M. Kosovets, М.A. Tovstenko, O.A. bandwidth; terahertz range; hardware accelerators; spectrum; convolutional neural network; distributed information processing; tensor processing; embedded system tests; deep learning UDC 517.9:621.325.5:621.382.049.77 пропускна здатність; терагерцовий діапазон; апаратні прискорювачі; спектр; загорткова нейронна мережа; розподілена обробка інформації; тензорна обробка; вбудовані системні тести; глибоке навчання УДК 517.9:621.325.5:621.382.049.77 Machine vision technology for the detection of fast moving objects in low visibility conditions requires a more careful approach to the optical system, image processing tools, cameras based on a silicon and indium gallium arsenide focal plane matrix in the infrared range, which take into account the magnitude and variation of atmospheric brightness, ground illumination and evaluation of sensitivity and cameras in the terahertz range. Since the main focus is on aerial objects that have low visibility, especially in the dark, the use of infrared cameras has become the standard. The movement of the object, the shortcomings of the optical system create additional difficulties when processing the effects of interference, thermal noise of cameras, respectively, the volume and time of calculations increases, which play a key role in real-time systems for detecting and tracking moving targets. In order to take into account the spectral characteristics of cameras and the influence of external factors, neural networks with deep learning are applied with the maximum use of image processing packages.Prombles in programming 2024; 2-3: 207-214 Технологія машинного зору для виявлення швидкісних рухомих об'єктів в умовах низької видимості вимагає більш ретельного підходу до оптичної системи, засобів обробки зображень, камер на основі матриці фокальної площини з кремнію та арсеніду індію-галію в інфрачервоному діапазоні, які враховують величину та зміну яскравості атмосфери, освітлення землі і оцінку чутливості та камер терагерцевого діапазону. Оскільки основну увагу зосереджено на повітряних об’єктах, які мають низьку помітність, особливо в темряві, використання камер інфрачервоного та терагерцевого діапазонів стало стандартом. Рух об’єкта, недоліки оптичної системи створюють додаткові складності під час обробки впливу завад, теплового шуму камер, відповідно збільшується обсяг і час обчислень, які грають ключову роль в системах реального часу в процесі виявлення і супроводу рухомих цілей. Для врахування спектральних характеристик камер та впливу зовнішніх чинників застосовано нейронні мережі із глибоким навчанням та максимальним використанням пакетів обробки зображень.Prombles in programming 2024; 2-3: 207-214  Інститут програмних систем НАН України 2024-12-17 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/638 10.15407/pp2024.02-03.207 PROBLEMS IN PROGRAMMING; No 2-3 (2024); 207-214 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 2-3 (2024); 207-214 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 2-3 (2024); 207-214 1727-4907 10.15407/pp2024.02-03 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/638/690 Copyright (c) 2024 PROBLEMS IN PROGRAMMING
institution Problems in programming
baseUrl_str https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date 2025-02-15T12:26:10Z
collection OJS
language Ukrainian
topic bandwidth
terahertz range
hardware accelerators
spectrum
convolutional neural network
distributed information processing
tensor processing
embedded system tests
deep learning
UDC 517.9:621.325.5:621.382.049.77
spellingShingle bandwidth
terahertz range
hardware accelerators
spectrum
convolutional neural network
distributed information processing
tensor processing
embedded system tests
deep learning
UDC 517.9:621.325.5:621.382.049.77
Tovstenko, L.M.
Kosovets, М.A.
Tovstenko, O.A.
Machine vision systems for detection of fast-moving objects in low visibility conditions
topic_facet bandwidth
terahertz range
hardware accelerators
spectrum
convolutional neural network
distributed information processing
tensor processing
embedded system tests
deep learning
UDC 517.9:621.325.5:621.382.049.77
пропускна здатність
терагерцовий діапазон
апаратні прискорювачі
спектр
загорткова нейронна мережа
розподілена обробка інформації
тензорна обробка
вбудовані системні тести
глибоке навчання
УДК 517.9:621.325.5:621.382.049.77
format Article
author Tovstenko, L.M.
Kosovets, М.A.
Tovstenko, O.A.
author_facet Tovstenko, L.M.
Kosovets, М.A.
Tovstenko, O.A.
author_sort Tovstenko, L.M.
title Machine vision systems for detection of fast-moving objects in low visibility conditions
title_short Machine vision systems for detection of fast-moving objects in low visibility conditions
title_full Machine vision systems for detection of fast-moving objects in low visibility conditions
title_fullStr Machine vision systems for detection of fast-moving objects in low visibility conditions
title_full_unstemmed Machine vision systems for detection of fast-moving objects in low visibility conditions
title_sort machine vision systems for detection of fast-moving objects in low visibility conditions
title_alt Системи машинного зору для виявлення швидкоплинних рухомих об'єктів в умовах низької видимості
description Machine vision technology for the detection of fast moving objects in low visibility conditions requires a more careful approach to the optical system, image processing tools, cameras based on a silicon and indium gallium arsenide focal plane matrix in the infrared range, which take into account the magnitude and variation of atmospheric brightness, ground illumination and evaluation of sensitivity and cameras in the terahertz range. Since the main focus is on aerial objects that have low visibility, especially in the dark, the use of infrared cameras has become the standard. The movement of the object, the shortcomings of the optical system create additional difficulties when processing the effects of interference, thermal noise of cameras, respectively, the volume and time of calculations increases, which play a key role in real-time systems for detecting and tracking moving targets. In order to take into account the spectral characteristics of cameras and the influence of external factors, neural networks with deep learning are applied with the maximum use of image processing packages.Prombles in programming 2024; 2-3: 207-214
publisher Інститут програмних систем НАН України
publishDate 2024
url https://pp.isofts.kiev.ua/index.php/ojs1/article/view/638
work_keys_str_mv AT tovstenkolm machinevisionsystemsfordetectionoffastmovingobjectsinlowvisibilityconditions
AT kosovetsma machinevisionsystemsfordetectionoffastmovingobjectsinlowvisibilityconditions
AT tovstenkooa machinevisionsystemsfordetectionoffastmovingobjectsinlowvisibilityconditions
AT tovstenkolm sistemimašinnogozorudlâviâvlennâšvidkoplinnihruhomihobêktívvumovahnizʹkoívidimostí
AT kosovetsma sistemimašinnogozorudlâviâvlennâšvidkoplinnihruhomihobêktívvumovahnizʹkoívidimostí
AT tovstenkooa sistemimašinnogozorudlâviâvlennâšvidkoplinnihruhomihobêktívvumovahnizʹkoívidimostí
first_indexed 2025-07-17T09:42:09Z
last_indexed 2025-07-17T09:42:09Z
_version_ 1838409163096457216
fulltext 207 Інформаційні системи УДК 517.9:621.325.5:621.382.049.77 http://doi.org/10.15407/pp2024.02-03.207 Л.М. Товстенко, М.А. Косовець, О.А. Товстенко СИСТЕМИ МАШИННОГО ЗОРУ ДЛЯ ВИЯВЛЕННЯ ШВИДКІСНИХ РУХОМИХ ОБ'ЄКТІВ В УМОВАХ НИЗЬКОЇ ВИДИМОСТІ Технологія машинного зору для виявлення швидкісних рухомих об'єктів в умовах низької видимості ви- магає більш ретельного підходу до оптичної системи, засобів обробки зображень, камер на основі мат- риці фокальної площини з кремнію та арсеніду індію-галію в інфрачервоному діапазоні, які враховують величину та зміну яскравості атмосфери, освітлення землі і оцінку чутливості та камер терагерцевого діапазону. Оскільки основну увагу зосереджено на повітряних об’єктах, які мають низьку помітність, особливо в темряві, використання камер інфрачервоного та терагерцевого діапазонів стало стандартом. Рух об’єкта, недоліки оптичної системи створюють додаткові складності під час обробки впливу завад, теплового шуму камер, відповідно збільшується обсяг і час обчислень, які грають ключову роль в систе- мах реального часу в процесі виявлення і супроводу рухомих цілей. Для врахування спектральних хара- ктеристик камер та впливу зовнішніх чинників застосовано нейронні мережі із глибоким навчанням та максимальним використанням пакетів обробки зображень. Ключові слова: пропускна здатність, терагерцовий діапазон, апаратні прискорювачі, спектр, загорткова нейронна мережа, розподілена обробка інформації, тензорна обробка, вбудовані системні тести, глибоке навчання. L.Tovstenko, М. Kosovets, A. Tovstenko MACHINE VISION SYSTEMS FOR DETECTION OF FAST-MOVING OBJECTS IN LOW VISIBILITY CONDITIONS Machine vision technology for the detection of fast moving objects in low visibility conditions requires a more careful approach to the optical system, image processing tools, cameras based on a silicon and indium gallium arsenide focal plane matrix in the infrared range, which take into account the magnitude and variation of atmos- pheric brightness, ground illumination and evaluation of sensitivity and cameras in the terahertz range. Since the main focus is on aerial objects that have low visibility, especially in the dark, the use of infrared cameras has become the standard. The movement of the object, the shortcomings of the optical system create additional difficulties when processing the effects of interference, thermal noise of cameras, respectively, the volume and time of calculations increases, which play a key role in real-time systems for detecting and tracking moving targets. In order to take into account the spectral characteristics of cameras and the influence of external factors, neural networks with deep learning are applied with the maximum use of image processing packages. Keywords: bandwidth, terahertz range, hardware accelerators, spectrum, convolutional neural network, distrib- uted information processing, tensor processing, embedded system tests, deep learning. Вступ Індустрія систем машинного зору для виявлення швидкоплинних рухомих об’єктів в умовах низької видимості пере- живає стрімкий сплеск зростання. В умовах поганої видимості (темрява, туман, дощ, сніг, задимленність) камери видимого діа- пазону стають безпорадними. Їм на заміну прийшли камери інфрачервоного та тера- герцового діапазонів. Їх використання має свої особливості, потребує більш складної обробки зображень, спираючись на компле- кти розробки програмного забезпечення (SDK - software development kit) — та вико- ристання переваг програмам розширеного GPU (graphics processing unit) графічного процесора. © Л.М.Товстенко, М.А.Косовець, О.А.Товстенко, 2024 ISSN 1727-4907. Проблеми програмування. 2024. №2-3 208 Інформаційні системи Спектральна складова об’єкта та до- вкілля визначають вибір інфрачервоної ка- мери для машинного зору. Якість зображення залежить від чут- ливості камери, роздільної здатності та оп- тичної складової - об'єктива, оптичної сили, максимальної апертури та фокусної відс- тані. Для детекції повітряних цілей голо- вними критеріями є швидкість сканування камери (виражена в fps - кадр в секунду), роздільна здатність (виражена в мегапіксе- лях), чутливість (виражена в ISO) та тепло- вий шум. 1. Огляд тепловізійних камер Принцип побудови камер інфрачервоного діапазону – мікроболометричний. Легкі за ва- гою мікроболометри мають низьке споживання енергії та надзвичайно швидку передачу да- них. Основні три параметри, які необхідно враховувати під час визначення оптималь- ної відстані до об’єкта: поле зору FOV ( field of view); найменший видимий об’єкт IFOVgeo; найменший вимірюваний об’єкт/вимірювана точка IFOVmeas. Матричні тепловізори (рис.1) мають матрицю FPA (focal plane array) у фокальній площині. Основна перевага датчиків FPA полягає в їхній високій чутливості, стабіль- ності робочих характеристик, винятковій якості зображення за різних несприятливих робочих умов, таких як повна темрява, гус- тий туман, сильний дощ, сніг, піщана буря тощо. Потрібна роздільна здатність визнача- ється рівнем якості зображень і залежить від числа пікселів матриці. Теплова чутли- вість пікселя є другим за важливістю пара- метром, що впливає на якість зображення. Рис. 1. Сучасна схема інфрачервоного датчика без охолодження. Порівняно з діапазоном 3-5 мкм камери у діапазоні 8,0-14,0 мкм ефективно функці- онують під час поганої погоди і запиленості атмосфери, дощу, туману і навіть густого диму. Гнучкіше реагують на природні не- стабільності атмосфери, менш чутливі до відбитого сонячного та інших видів випро- мінювання [9-11]. Короткохвильове інфра- червоне випромінювання (SWIR) визнача- ється в діапазоні довжин хвиль 0.9–1.7 мкм, але його також можна класифікувати від 0.7–2.5 мкм. Оскільки кремнієві датчики мають верхню межу приблизно на рівні 1.0 мкм, SWIR-зображення вимагає унікальних оптичних та електронних компонентів, зда- тних працювати в певному діапазоні SWIR. Сенсори з арсеніду індію-галію (InGaAs) є основними датчиками, які викори-стову- ються для SWIR-зображення [9–10]. При отриманні зображень у SWIR діапазоні во- дяна пара, туман і деякі матеріали, як-от, кремній є прозорими. Ближній інфрачерво- ний (NIR) і короткохвильовий інфрачерво- ний діапазони (SWIR) тепловізорів розпі- знають відбите світло, що полегшує отри- мання зображень для інтерпретації, а також зменшує схильність до впливу дифракції [10]. Світіння повітря є основним джерелом природного освітлення у ясні безмісячні ночі [11–13]. Крім того, астрономи надали інформацію про спектральний склад сві- тіння повітря, і ці спектри були об'єднані для створення моделі освітлення землі. Емісія світіння повітря на довжинах хвиль від 0,5 до 2,7 мікрометра (µk) [14-15]. Енергія розподіляється за спектром NIR та SWIR. Смуги NIR та SWIR залишаються практично постійними [15–16]. Значення цього полягає в тому, що як NIR, так і SWIR-сканери однаково схильні до впливу великих змін інтенсивності світіння пові- тря. Однак опромінення землі залежить від інтеграції випромінювання світіння повітря на відкритому повітрі. Це світіння повітря має постійний широкосмуговий спектр. 2. Огляд терагерцових камер Терагерцові хвилі мають спрямова- ність, подібну до лазерного світла і створю- ють зображення з роздільною здатністю, 209 Інформаційні системи подібною до зображень у видимому світлі. Так плазмонна фотопровідна терагерцова решітка фокальної площини (THz-FPA) ви- рішує давню проблему швидкості зобра- ження та забезпечує насичене високоякісне терагерцеве зображення. В лабораторії Квантор (Київ) розроб- лено терагерцову камеру 3D-радара. Пока- зано, що на точність вимірювань впливають ширина діаграми спрямованості, кількість циклів вимірювання в одній точці, точність позиціонування та переміщення антени під час вимірювань, інтервал часу між калібру- ваннями. Рис.2. Пристрій тестування терагерцо- вого радару зображення. (за згодою НВП «Квантор») У реалізації 3D-сканування малих об’єктів використовується FMCW радар на робочій частоті 100 ГГц і 600 ГГц та смузі частот близько 10-70 ГГц. Одною великою перешкодою, яка заважає масштабувати звичайні терагерцові фотопровідні антени у двовимірні (2D) масиви, є їхній низький ко- ефіцієнт оптичного заповнення, який без- посередньо впливає на ефективність вияв- лення терагерцових сигналів [1-3]. Для вирішення цієї проблеми, зверне- мося до THz-FPA камери з розподіленою архітектурою плазмонних наноантен із на- багато вищим оптичним коефіцієнтом для отримання терагерцових піксельних зобра- жень із надвисокою роздільною здатністю. 3. Апаратно-програмні засоби Розглянемо піксель I(x,y,t), який руха- ється зі швидкістю (dx,dy) за відрізок часу dt. Оскільки пікселі однакові, тобто інтен- сивність не змінилася, то I (x, y, t) = I (x + dx, y + dt, t + dt), (1) Якщо розкласти в ряд Тейлора праву частину та спростити, то отримаємо рів- няння оптичного потоку: 𝑓𝑓𝑥𝑥𝑢𝑢 – 𝑓𝑓𝑦𝑦𝑢𝑢 = 𝑓𝑓𝑡𝑡 =0, (2) де 𝑓𝑓𝑥𝑥 = 𝑑𝑑𝑑𝑑 𝑑𝑑𝑥𝑥 ; 𝑓𝑓𝑦𝑦 = 𝑑𝑑𝑑𝑑 𝑑𝑑𝑦𝑦 ; u = 𝑑𝑑𝑥𝑥 𝑑𝑑𝑡𝑡 ; 𝑣𝑣 = 𝑑𝑑𝑦𝑦 𝑑𝑑𝑡𝑡 ; Частинні похідні є градієнтами зобра- ження, (u, v) – невідомі. Є доволі багато ал- горитмів та методів визначення оптичного потоку за послідовністю зображень. Зі всіх існуючих алгоритмів виділимо два – метод Лукаса – Канаде (розріджений), та метод Фарнебека (щільний). Метод Лукаса – Ка- наде є широко вживаним диференціальним методом оцінювання оптичного потоку. Він спирається на припущення, що зміщення вмісту зображення між двома сусідніми моментами (кадрами) є малим і більш-менш сталим у межах околу точки p, яку розглядають. Розв’язання методом найменших квад- ратів надає однакової важливості всім n пі- кселям околу точки p. На практиці зазвичай краще надавати більшої ваги пікселям, бли- жчим до центрального пікселя. Для цього використовують зважену версію рівняння найменших квадратів: 𝐴𝐴𝑇𝑇𝑊𝑊𝐴𝐴𝑣𝑣 = 𝐴𝐴𝑇𝑇𝑊𝑊𝑏𝑏 Тут W – це діагональна матриця, що містить ваги 𝑊𝑊𝑖𝑖𝑖𝑖=𝑤𝑤𝑖𝑖. Даний метод спира- ється на невиродженість матриці 𝐴𝐴𝑇𝑇𝐴𝐴. Це означає, що точка перебуває на ребрі, тому доцільно застосовувати метод Лукаса – Ка- наде на кутах зображення, наприклад визначених методом Сі – Томазі. Видалення фону є важливим етапом попередньої обробки на основі машинного зору, коли камера отримує інформацію про повітряні цілі. В усіх цих випадках перш за все потрібно виділити окремо повітряні цілі і завади. Технічно відділяємо рухомий пе- редній план від статичного фону. Для розв’язання цієї задачі використо- вуємо декілька алгоритмів. Алгоритм сег- ментації переднього/ фонового плану на ос- нові суміші гаусівських розподілів, запро- понований у статті авторів P. Kadew та R. Bowden. Алгоритм використовує метод мо- делювання кожного пікселя фону за допо- могою суміші k гаусівських розподілів (k = 3-5). Ваги суміші пропорційні часу перебу- вання кольорів фону на сцені. Ймовірними 210 Інформаційні системи кольорами фону є ті, які залишаються на екрані довше та більш статичні. Розробка методів машинного навчання для взаємодії в реальному часі з просторо- вими обчислювальними системами вимагає поєднання програмних і апаратних техно- логій. Було використано бібліотеку Keras як ключовий механізм побудови та тре- нування моделей нейронної мережі в сере- довищі розробки Google Colab з викорис- танням бібліотек Python, таких як Keras та OpenCV. Keras – це одна з популярних бібліотек глибокого навчання, яка надає простий та інтуїтивно зрозумілий інтерфейс для ство- рення та навчання глибоких нейронних ме- реж [17]. Keras створено на основі TensorFlow, потужного фреймворку ма- шинного навчання, розробленого Google, і надає високорівневий API для створення складних моделей лише за допомогою кіль- кох рядків коду. Keras також містить широ- кий спектр попередньо створених шарів і моделей, які можна використовувати як будівельні блоки для користувацьких моде- лей, а також інструменти для попередньої обробки даних і візуалізації. Крім того, Keras підтримує кілька серверних модулів, включаючи TensorFlow, Microsoft Cognitive Toolkit і Theano, що дозволило вибрати структуру, яка найкраще відповідає нашим потребам. Загалом Keras є потужним ін- струментом для створення моделей машин- ного навчання для різноманітних додатків технічного зору повітряних об’єктів та про- сторових обчислювачів для системи роїв дронів. Для обробки послідовних даних вико- ристано рекурентні нейронні мережі (Recurrent Neural Networks, RNN) для дете- кції та трекінгу повітряних цілей. RNN ма- ють перевагу в тому, що узагальнюють послідовності, а не вивчають окремі шаб- лони. Вони роблять це, фіксуючи динаміку послідовності через з’єднання циклів і спільні параметри. RNN також не обмежені фіксованим розміром послідовності і теоре- тично можуть враховувати всі попередні кроки послідовності. Це робить їх дуже придатними для аналізу траєкторії повітря- ної цілі. Технічно RNN можна розглядати як ланцюг із кількох копій однієї статичної мережі A, причому кожна копія працює на одному часовому кроці вхідної послідов- ності. Копії мережі підключаються через їхні приховані стани. Це означає, що кожна з мережевих копій має кілька входів: по- точне значення x(t) та приховані стани ℎ(t − 1) як результат попередньої копії. Архітектура нейронної мережі описує загальну структуру мережі, яка складається з різних шарів різних типів, розташованих у певному порядку. Правильно розроблена архітектура значно підвищує продук- тивність нейронної мережі під час вико- нання певного завдання. Для навчання ви- користали рекурентну нейронну мережу, яка складається з комбінації щільних шарів та шарів довгої короткочасної пам’яті. Вона показала гарні результати для задачі класифікації послідовностей даних дво- вимірних позицій. Наша модель скла- дається з чотирьох шарів – два щільних шари та два LSTM шари. Перший щільний шар слугує початковим екстрактором ознак для послідовностей даних. Далі йдуть два LSTM шари, які виводять один результую- чий вектор. Процес тренування нейронної мережі є ключовим етапом у розробленні моделі ма- шинного навчання детекції повітряних ці- лей. Процес тренування нейронної мережі починається з випадкової ініціалізації ваг та зсувів нейронів. Після цього відбу- вається пряме поширення даних через ме- режу, під час якого вихідні значення об- числюються для кожного шару нейронів. Потім обчислюється значення функції вит- рат, яка оцінює різницю між прогнозова- ними та фактичними значеннями вихідних даних. Далі відбувається зворотнє поши- рення помилки (backpropagation), під час якого похідні функції витрат обчислю- ються за вагами та зсувами мережі. Зна- чення похідних використовуються для ко- ригування ваг та зсувів таким чином, щоб мінімізувати значення функції витрат. Цей процес повторюється доти, доки значення функції витрат не буде мінімізовано. Розподілена обробка інформації реалі- зується через просторовий нейромереже- вий мультипроцесор із глибоким навчан- 211 Інформаційні системи ням. Центральні процесори є ядром обчис- лювальної платформи, які відповідають за виконання програмних інструкцій, роботу операційної системи та керування систем- ними вводами та виходами (I/O). Крім того, процесори з двома різними типами ядер на одному пристрої стають до- ступнішими. Перевага цих ядер продуктив- ності (P-ядра) та ядер ефективності (E-ядра) полягає в тому, що робоче навантаження розподіляється на основі потреб у ресурсах. Наприклад, фонові та легші завдання обро- бки призначаються E-core, які є меншими, ефективнішими та придатними для базових завдань. P-ядра, з іншого боку, схожі на традиційні ядра та орієнтовані на продукти- вність. Вони використовуються за потреби для виконання інтенсивних завдань обро- бки зображень. Тоді, як центральний процесор є голов- ним процесором, графічний процесор пере- творився на технологію переходу до графі- чної та обчислювальної обробки. Сучасні пристрої графічного процесора містять ти- сячі ядер, здатних виконувати кілька проце- сів паралельно, й ідеально підходять для виконання багатьох невеликих завдань од- ночасно. Як і центральні процесори, техно- логія графічних процесорів розвивається одночасно в двох напрямках — із більшими та потужнішими пристроями в центрі обро- бки даних, системами редагування відео та навчанням моделей штучного інтелекту, а також із меншими й ефективнішими прист- роями, які дозволяють розгортати потужну обробку на периферійних пристроях та в мобільних системах. Враховуючи, що детекція і супровід по- вітряних цілей потребує глибокого нав- чання, виникла потреба в застосуванні тен- зорного процесора (TPU). Вони спеціально розроблені та адаптовані для виконання те- нзорних операцій для підтримки обчислень нейронної мережі. TPU ефективніші за GPU, і завдяки їх спеціальному дизайну мо- жуть виконувати завдання навчання та ло- гічного висновку швидше, ніж їхні аналоги GPU. Крім того, TPU інтегровані в струк- туру машинного навчання TensorFlow, що знижує бар’єри для розробників. TPU пред- ставляє собою багатообіцяючу мультипро- цесорну технологію, яка ще більше підви- щує продуктивність обчислювальної сис- теми, що використовуються в програмах ШІ для задач відеолокації. Нами використано системну шину да- них Peripheral Component Interconnect Express (PCIe) PCIe 6.0 для збору інформа- ції від зовнішніх пристроїв різної швидкодії і забезпечення обробки процесорами необ- хідної потужності. Рис.3. Jetson AGX Xavier для задач відеоло- кації. Використання бібліотеки Open eVision компанії Euresys для вбудованих систем до- зволило розгорнути обробку на етапі отри- мання зображень. Технічна реалізація виконана на модулі Jetson AGX Xavier, розробленого спеціа- льно для вбудованих додатків у важких се- редовищах, забезпечуючи захист від ударів 50G і вібрації 340G, а також робочу темпе- ратуру від -40 до 85°C. (Компоненти вклю- чають 512-ядерний графічний процесор NVIDIA Volta з 64 тензорними ядрами, два прискорювачі глибокого навчання NVIDIA, восьмиядерний процесор NVIDIA Carmel Arm, а також кодер і декодер). Ме- ханізм кластера безпеки (SGE) включає по- двійний Arm Cortex-процесори R5 для ме- ханізмів виявлення неполадок і вбудованих системних тестів. Рис.4. Вбудований комп'ютер Edge AI. Також використали продукт Estone Technology одноплатний комп'ютер EMB- 212 Інформаційні системи 2239 лінійки комп'ютерів Pico-ITX, орієн- тований для використання у програмах ма- шинного зору, Edge AI, людино-машинного інтерфейсу (HMI), розширених програмах для роботи з відео та машинного навчання. Плата оснащена виділеним блоком нейрон- ної обробки (NPU), гігабітним Ethernet-по- ртом з підтримкою PoE, двома інтерфей- сами MIPI CSI та двома процесорами сиг- налів зображення (ISP), які підтримують дві камери з роздільною здатністю до 12 Мп та можуть підтримувати модуль NXP eIQ для навчання розробці програмного за- безпечення. Він оснащений двоядерним апаратним інтелектуальним кодеком DSP, вбудованими роз'ємами FPC з двоканаль- ним LVDS, 4-смуговим MIPI DSI та вбудо- ваною сенсорною панеллю I2C. Має 40-ко- нтактний роз'єм розширення, який може підтримувати PCIe, GPIO, I2C, USB, послі- довний зв'язок та до двох додаткових пор- тів Gigabit Ethernet. Підтримка BSP вклю- чає Yocto Embedded Linux, Android, Qt, Wayland, Amazon AVS, Device SDK, Sensory Truly Handsfree Wake Word Engine, NXP eIQ Toolkit. Прогресу технологій виявлення швид- кісних малопомітних рухомих цілей в умо- вах недостатньої видимості посприяв також розвиток GPU 3D-графіки та вбудованих датчиків камер і штучного інтелекту. Вико- ристано відкриті стандарти API, такі як OpenGL і Vulkan, які забезпечують перене- сення програмного коду між багатьма поко- ліннями апаратного забезпечення графіч- них процесорів від різних постачальників. OpenGL надає абстрактну модель графіч- ного конвеєра та API для доступу до будь- якого графічного процесора, який надає драйвер, котрий відображає цей API на власну апаратну архітектуру. Новий стандарт API Kamaros буде впи- суватися в сімейство активних стандартів Khronos, забезпечуючи програмування вбу- дованого апаратного процесу обробки декі- лькох етапів. Це включає в себе OpenGL і OpenVX для прискорення бачення та опера- цій аналізу, які доповнюють запропоновану Kamaros функціональність, розроблену для забезпечення портативного доступу до ка- мер, датчиків і прискорення ISP. Стандарти API для доступу до апарат- них прискорювачів або графічних проце- сорів на ринку вбудованих пристроїв мо- жуть забезпечити численні переваги, зо- крема: • Міжплатформенна переносність про- грамного забезпечення; • Відокремлене розроблення програм- ного та апаратного забезпечення для по- легшення розгортання та інтеграції нових компонентів; • Можливість модернізації на місцях. Прикладний API Kamaros, призначений для користувачів. Підтримується різномані- тними операційними системами і базовими апаратними архітектурами, а також для ви- користання програмами, фреймворками та бібліотеками. Kamaros працює з мовами про- грамування C, C++ і Python. Як і інші сучасні API Khronos, Kamaros використовуватиме систему відправки команд через завантажу- вані рівні, щоб дозволити розробникам ви- користовувати встановлені рівні для переві- рки, профілювання та налагодження. Очіку- ється також, що Kamaros використовува- тиме керування ресурсами, синхронізацію та черги команд у стилі Vulkan, зосереджую- чись на мінімалізмі та ефективності, щоб відповідати вимогам високочутливої затри- мки та пропускної здатності робочих наван- тажень вбудованого бачення. Kamaros API дозволить додаткам ідентифікувати та ви- бирати доступні камери в системі, відкри- вати властивості камери та налаштовувати конвеєри обробки та параметри за допомо- гою шаблонів конвеєрів, які дозволяють до- даткам повною мірою використовувати апа- ратні можливості, включаючи численні вхі- дні та вихідні потоки. Висновки В статті «Системи машинного зору для виявлення швидкісних рухомих об'єктів в умовах низької видимості» основну увагу приділено побудові постійної імовірності хибних тривог (англ. constant false alarm rate, CFAR), термін запозичений з радіоло- кації, оскільки в нашому випадку оптична система виконує функції оптичного радара. Тому радарні напрацювання з врахуванням іншого діапазону хвиль (видимий, інфраче- рвоний, терагерцовий) можна переносити 213 Інформаційні системи на оптичний радар (звичайно не копію- вання). Саме поняття CFAR свідомо не викори- стовувалось для зосередження уваги на причини, які спотворюють сигнал, відби- тий від цілі: зовнішнє середовище, вплив направлених перешкод, теплові шуми, не- доліки конструювання камер, вибір спект- рального діапазону, інтерференції, розмаї- ття та швидкість цілей і інші. CFAR – це адаптивний алгоритм, який використовуємо для детекції (виявлення) цілі. Реалізація алгоритму полягає у визна- ченні мінімального порогу потужності, по- над якого сигнал інтерпретується як відби- тий від цілі. У більшості реальних систем рівень перешкод змінюється, відповідно змінюється граничне значення, підтриму- ючи постійну ймовірність помилкової три- воги. При складних погодних умовах, гене- рованих завад ситуація з виявленням цілей суттєво погіршується і для формування CFAR використовується нейронна мережа з глибоким навчанням. Ми представили модель глибокого навчання для двовимірного розпізнавання швидкісного об’єкта, яка базується на фреймворку Keras. Ми описали архітектуру моделі, набір даних, який використовується для навчання та тестування, а також показ- ники оцінки, які використовуються для вимірювання її продуктивності. Ми також обговорили результати наших експери- ментів, які показали, що наша модель до- сягла високої точності в розпізнаванні різ- них видів літальних об’єктів в режимі ре- ального часу. Глибоке навчання може виконувати ба- гато з тих самих операцій, що й традиційна обробка зображень. Виявлення повідомляє нам, де міститься об'єкт на зображенні, ма- люючи рамку навколо розташування кож- ного об'єкта. Сегментація йде далі, марку- ючи кожен піксель зображення, що нале- жить об'єкту. Індустрія 3D-графіки отримала додат- кові можливості від відкритих стандартних API, таких як OpenGL і Vulkan, які дозволя- ють програмам отримувати доступ до апа- ратного прискорювача графічного проце- сора. Поява Kamaros API для вбудованих систем камер пришвидшило розроблення технологій виявлення швидкісних малопо- мітних рухомих цілей в умовах недостат- ньої видимості. Література: 1. Kosovets. Preliminary Tests Terahertz 3D Imaging Radar. Журнал «Зв'язок», №2, 2017. Березень-Квітень. 54-61стр. http://www.dut.edu.ua 2. M.Коsovets, L. Tovstenko. Smart-Handled THz 3D Radar with Cloud Intelligent technology and artificial intelligence algorithms by level of ab- straction. Х Міжнародна науково-технічна конфе-ренція: “Інформаційно-комп’ютерні технології – 2019 (ІКТ-2019)”, 18-20 квітня 2019 р.II Всеукраїнська науково-технічна конфе-ренція. М. Житомир. Стор.106-107. http://ikt.ztu.edu.ua. 3. Коsovets M., Tovstenko L. The Practical Aspect of using the Artificial intellectual Technology for Building a multidimensional Function CFAR for SMART-HANDLED LPI Radar. Журнал «Проблеми програмування». ISSN 1727-4907. 2020. №2-3. Спеціальний випуск. Матеріали тринадцятої міжнародної нау- ково-практичної конференції з ПРОГРАМУ- ВАННЯ. УкрПРОГ’2020. 16-17 вересня 2020р. Київ, Україна. Стор.202 - 2012. http://www.pp.isofts.kiev.ua 4. M. Kosovets, L. Tovstenko. Deep Learning of Convolution Neural Networks IN IoT. Тези доповідей ІІІ Всеукраїнської науково- технічної конференції «Комп’ютерні техно- логії: інновації, проблеми, рішення», м. Жи- томир, 26 – 27 листопада 2020 р. – Житомир: Житомирська полі-техніка, 2020. Стор. 63– 64. 5. Коsovets M., Tovstenko L. Specific Features of the use of Artificial Intelligence in the Develop- ment of the Architecture of Intelligent Fault- Tolerant Radar Systems. Журнал «Проблеми програмування». ISSN 1727-4907. 2021. №2-3. Спеціальний випуск. Матеріали тринадцятої міжнародної нау- ково-практичної конференції з ПРОГРАМУ- ВАННЯ. УкрПРОГ’2021. 16-17 вересня 2021р. Київ, Україна. Стор.63 – 75. http://www.pp.isofts.kiev.ua. 6. Коsovets M., Tovstenko L. The Problem of De- velopment the Architecture of modern cognitive Radar System. ISSN 1727-4907. Проблеми програмування. 2023. № 4 214 Інформаційні системи 7. Коsovets M., Tovstenko L. Neural Network Component of modern information System on Mobile Platforms: Cognitive Radar System. Cybernetics and Computer Technologies 2023. ISSN 1727-4907. Проблеми програмування 2023. № 1. 8. Коsovets M., Tovstenko L. Artificial Intelli- gence in Cloud Based Mobile Radar Computing Журнал «Кібернетика та комп'ютерні тех- нології». 2023. №1. 9. Van A. Hodgkin U.S. Army Research and Development Command Night Vision and electronic Sensors Directorate Fort Belvoir, Virginia. (2011) 10. E. Bender, “Present Image Intensifier Tube Structures,” Chapter 5 in Electro-Optical Imaging: System Performance and Modeling, Lucien (2002). 11. X. C. Liu et al., “CCD/CMOS hybrid FPA for low light level imaging,” Proc. SPIE 5881, 58810C (2005). 12. B. M. Onat et al., “Ultra-low dark current In GaAs technology for focal plane arrays for low- light level visible-shortwave infrared imaging,” Proc. SPIE 6542, 65420L (2007). 13. M. MacDougal et al., “Short-wavelength infrared imaging using low dark current InGaAs detector arrays and vertical-cavity surface-emitting laser illuminators.” Opt. Eng. 50(6), 061011 (2011). 14. C. Leinert et al., “The 1997 reference of diffuse night sky brightness,” Astron. Astrophys. Suppl. Ser. 127(1), 14–30 (1998). 15. L. Broadfoot and K. R. Kendall, “The airglow spectrum, 3100–10,000 A,” J. Geophys. Res. 73(1), 426–428 (1968). 16. C. Leinert et al., “The 1997 reference of diffuse night sky brightness,” Astron. Astrophys. Suppl. Ser. 127(1), 14–30 (1998). 17. F. a. o. Chollet, «Keras» GitHub, 27 03 2015. https://github.com/keras-team/keras Отримано: 14.03.2024 Внутрішня рецензія отримана: 08.04.2024 Зовнішня рецензія отримана: 21.04.2024 Про авторів: 1Товстенко Лілія Миколаївна, Провідний інженер-програміст ORCID (0000-0002-3348-6065) Scopus Author ID: 56439972800 2Косовець Микола Андрійович, Системний аналітик ORCID (0000-0002-3348-6065) Scopus Author ID: 56439972800 3Товстенко Олександр Миколайович, Студент Місце роботи авторів: 1Інституту кібернетики ім. В.М. Глушкова НАН України 2UNIT +38(066) 255-41-43, quantor.nik@gmail.com 3Технічний університет м.Грац, Австрія

Схожі ресурси