Застосування методів компютерного зору для виявлення займання у приміщення
Статтю присвячено розробці та застосуванню методів комп’ютерного зору для виявлення потенційних чинників пожежної небезпеки у приміщеннях та офісах і попередження пожежі. Запропоновано методику виявлення пожежі за допомогою послідовності кольорових зображень з камери відеоспостереження. Розроблено с...
Збережено в:
| Дата: | 2017 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем штучного інтелекту МОН України та НАН України
2017
|
| Назва видання: | Штучний інтелект |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/162355 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Застосування методів компютерного зору для виявлення займання у приміщеннях / В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець // Штучний інтелект. — 2017. — № 3-4. — С. 198-210. — Бібліогр.: 20 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-162355 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-1623552020-01-08T01:25:44Z Застосування методів компютерного зору для виявлення займання у приміщення Терещенко, В.М. Терещенко, Я.В. Бондарець, І.М. Прикладні інтелектуальні технології та системи Статтю присвячено розробці та застосуванню методів комп’ютерного зору для виявлення потенційних чинників пожежної небезпеки у приміщеннях та офісах і попередження пожежі. Запропоновано методику виявлення пожежі за допомогою послідовності кольорових зображень з камери відеоспостереження. Розроблено систему розпізнавання займання у приміщенні та алгоритм перевірки її на точність. Дана робота орієнтована на виявлення пожеж камерами із максимально різними характеристиками, в першу чергу, із поганими характеристиками задля зменшення вартості такої системи. The article is devoted to the development and application of computer vision methods to identify potential fire risk factors in rooms and offices and fire prevention. We offer a method for detecting a fire using a sequence of color images from a surveillance camera. The system of fire detection in the room was developed and the algorithm of checking it for accuracy. This work is aimed at detecting fires using cameras with different characteristics and, first of all, with poor performance in order to reduce the cost of such a system. 2017 Article Застосування методів компютерного зору для виявлення займання у приміщеннях / В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець // Штучний інтелект. — 2017. — № 3-4. — С. 198-210. — Бібліогр.: 20 назв. — укр. 1561-5359 http://dspace.nbuv.gov.ua/handle/123456789/162355 004.93(075.8) uk Штучний інтелект Інститут проблем штучного інтелекту МОН України та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| topic |
Прикладні інтелектуальні технології та системи Прикладні інтелектуальні технології та системи |
| spellingShingle |
Прикладні інтелектуальні технології та системи Прикладні інтелектуальні технології та системи Терещенко, В.М. Терещенко, Я.В. Бондарець, І.М. Застосування методів компютерного зору для виявлення займання у приміщення Штучний інтелект |
| description |
Статтю присвячено розробці та застосуванню методів комп’ютерного зору для виявлення потенційних чинників пожежної небезпеки у приміщеннях та офісах і попередження пожежі. Запропоновано методику виявлення пожежі за допомогою послідовності кольорових зображень з камери відеоспостереження. Розроблено систему розпізнавання займання у приміщенні та алгоритм перевірки її на точність. Дана робота орієнтована на виявлення пожеж камерами із максимально різними характеристиками, в першу чергу, із поганими характеристиками задля зменшення вартості такої системи. |
| format |
Article |
| author |
Терещенко, В.М. Терещенко, Я.В. Бондарець, І.М. |
| author_facet |
Терещенко, В.М. Терещенко, Я.В. Бондарець, І.М. |
| author_sort |
Терещенко, В.М. |
| title |
Застосування методів компютерного зору для виявлення займання у приміщення |
| title_short |
Застосування методів компютерного зору для виявлення займання у приміщення |
| title_full |
Застосування методів компютерного зору для виявлення займання у приміщення |
| title_fullStr |
Застосування методів компютерного зору для виявлення займання у приміщення |
| title_full_unstemmed |
Застосування методів компютерного зору для виявлення займання у приміщення |
| title_sort |
застосування методів компютерного зору для виявлення займання у приміщення |
| publisher |
Інститут проблем штучного інтелекту МОН України та НАН України |
| publishDate |
2017 |
| topic_facet |
Прикладні інтелектуальні технології та системи |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/162355 |
| citation_txt |
Застосування методів компютерного зору для виявлення займання у приміщеннях / В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець // Штучний інтелект. — 2017. — № 3-4. — С. 198-210. — Бібліогр.: 20 назв. — укр. |
| series |
Штучний інтелект |
| work_keys_str_mv |
AT tereŝenkovm zastosuvannâmetodívkompûternogozorudlâviâvlennâzajmannâuprimíŝennâ AT tereŝenkoâv zastosuvannâmetodívkompûternogozorudlâviâvlennâzajmannâuprimíŝennâ AT bondarecʹím zastosuvannâmetodívkompûternogozorudlâviâvlennâzajmannâuprimíŝennâ |
| first_indexed |
2025-07-14T14:55:06Z |
| last_indexed |
2025-07-14T14:55:06Z |
| _version_ |
1837634585040519168 |
| fulltext |
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
198 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
УДК 004.93(075.8)
В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
Київський національний університет імені Тараса Шевченка, Україна
вул. Володимирська, 60, м. Київ, 01033
ЗАСТОСУВАННЯ МЕТОДІВ КОМП’ЮТЕРНОГО ЗОРУ ДЛЯ
ВИЯВЛЕННЯ ЗАЙМАННЯ У ПРИМІЩЕННЯХ
V.M. Tereshchenko, Y.V. Tereshchenko, I.M. Bondarec
Taras Shevchenko National University of Kyiv, Ukraine
60, Volodymyrska st., Kyiv, 01033
APPLICATION OF COMPUTER VISION METHODS TO
DETECT FIRE IN THE PREMISES
Статтю присвячено розробці та застосуванню методів комп’ютерного зору для виявлення
потенційних чинників пожежної небезпеки у приміщеннях та офісах і попередження пожежі.
Запропоновано методику виявлення пожежі за допомогою послідовності кольорових зображень з
камери відеоспостереження. Розроблено систему розпізнавання займання у приміщенні та алгоритм
перевірки її на точність. Дана робота орієнтована на виявлення пожеж камерами із максимально
різними характеристиками, в першу чергу, із поганими характеристиками задля зменшення вартості
такої системи. Спочатку система здійснює обробку та підготовку даних, а потім, аналізуючи ці дані,
виявляє пожежу. Для зменшення витрат на конвертацію за модель кольору було обрано YСbCr. А
також, враховуючи обмеженість ресурсів, було вирішено розробити спрощений швидкий алгоритм
для розрахунку базової сцени для виявлення об'єктів, що з'явилися з лінійним часом виконання. Для
виявлення руху на зображенні було використано МНІ. Для зменшення хибних спрацювань було
вирішено використати інформацію про градієнти, оскільки полум’я має характерні контури. Як
класифікатор ми використали лінійну комбінацію hog значень по напрямках. Для підтвердження
факту займання виявленого системою відео розпізнавання використовується нейронна мережа.
Ключові слова: штучний інтелект, комп’ютерний зір, розпізнавання, пожежна небезпека,
вогнища займання.
The article is devoted to the development and application of computer vision methods to identify
potential fire risk factors in rooms and offices and fire prevention. We offer a method for detecting a fire
using a sequence of color images from a surveillance camera. The system of fire detection in the room was
developed and the algorithm of checking it for accuracy. This work is aimed at detecting fires using cameras
with different characteristics and, first of all, with poor performance in order to reduce the cost of such a
system. Initially, the system performs processing and preparation of data, and then analyzing the data, detects
fire. YCbCr was selected as a color model to reduce conversion costs. Also, given the limited resources, it
was decided to develop a simplified quick algorithm to calculate the base scene to detect objects that
appeared with the linear execution time. We use MNI for motion detection in an image. To reduce false
positives, it was decided to use the information about gradients as the flame has characteristic contours. As a
classifier, we used a linear combination of hog values in directions. We used a neural network to confirm the
fact of ignition detected by the CCTV system.
Keywords: artificial intelligence, computer vision, recognition, fire danger, fire points.
Вступ
Існують такі напрямки штучного інтелекту, які мають застосування у вузько
спеціалізованих галузях, де необхідні автоматизовані системи розпізнавання.
Прикладом таких систем є автоматизовані системи розпізнавання ситуацій, пов’язаних
з небезпекою загрози життю людини чи знищенню майна. До таких ситуацій
відноситься завчасне попередження пожежі в житлових та нежитлових приміщеннях.
Незважаючи на забезпечення приміщень автоматичними системами виявлення пожеж,
вони не спрацьовують у 8% випадків. Пил, висока температура чи сажа у виробничих
цехах чи складах можуть серйозно ускладнити роботу традиційних систем виявлення
вогню. Відсоток забезпечення традиційними системами виявлення пожеж у школах
менше 60%, в офісних будівлях менше 20%, а в деяких класах приміщень (таких як
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
© В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець 199
гаражі, житлові помешкання) – взагалі близький до нуля. Використання традиційних
засобів попередження пожежі уже не гарантує вчасну реакцію запобіганню пожежі.
Так, тепловий датчик реагує на підвищення температури до 70 градусів, що означає,
що для його спрацювання необхідно серйозне розгорання пожежі. А в деяких
випадках необхідно до десяти хвилин для розгорання пожежі до такого рівня. Що
стосується детекторів диму, то при певних обставинах, наприклад, таких, як сильний
рух повітря, вони також можуть довгий час не спрацьовувати, а якщо загорання
відкрите вони можуть взагалі не спрацювати. Тому розробка нових методів
виявлення пожеж є дуже актуальною.
Сьогодні навіть важко уявити складське чи офісне приміщення без
відеоспостереження, а в житлових приміщеннях набирають актуальності «розумні»
телевізори, які містять камеру. Використання цих камер для візуального виявлення
пожеж значно збільшить відсоток їх виявлення і зменшить кількість збитків. Таку
систему дуже просто встановити для вже існуючої системи відеоспостереження
необхідно лише становити додатковий програмний модуль для аналізу відеопотоку. У
випадку виявлення пожежі на пульті охорони можна відобразити відео із ситуацією в
приміщенні. Таким чином, оператор може точно підтвердити пожежу. І в певних
випадках загасити її ще до спрацювання традиційних датчиків. Натомість, хибне
спрацювання традиційних датчиків без камери спостереження неможливо перевірити
без особистого огляду приміщення людиною. Значно гірша ситуація у випадку
хибного спрацювання автоматичної системи пожежогасіння, коли її увімкнення може
нанести не менших збитків, ніж сама пожежа. Таким чином, відеокамера завдяки
тому, що має широкий кут огляду, захоплює перш за все підлогу, стіни та
обладнання, цінні речі, може виявити загорання швидше, ніж традиційні системи
відеоспостереження та дає можливість врятувати більше цінностей.
На даний час розробкою таких систем, через їх актуальність, займаються
багато дослідницьких груп. Також існує багато комерційних рішень. Проте дана
проблема не вирішена до кінця. Існуючі комерційні рішення вимагають
використання камер високої якості, що значно вповільнює впровадження таких
систем у широке використання через їхню вартість. Дана робота орієнтована на
виявлення пожеж камерами із максимально різними характеристиками, в першу
чергу, із поганими характеристиками задля зменшення вартості такої системи.
Постановка проблеми
Об’єктом дослідження даної роботи є характеристики займання для його ідентифікації.
Предметом дослідження є сукупність теоретико-методологічних та практичних
аспектів розпізнавання займання. Математична інтерпретація проблеми, що
досліджується, має наступний вигляд.
Постановка задачі
Нехай задана послідовність кадрів I1, I2, …, IN . Необхідно побудувати функцію
f: I1, I2, …, IN (s, Pos), де s{Не пожежа, Пожежа}, Pos – будь-яка точка на
зображенні, що належить пожежі.
Оскільки для виявлення пожежі перш за все нам необхідно її локалізувати, то
будемо використовувати метод рухомого вікна.
Під вікном розуміється функція w, яка визначає, чи належить область
(x,x+w,y,y+h) у час t області полум’я чи ні:
. (1)
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
200 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
Згідно з існуючими вимогами, мінімальна площа пожежі має бути > 16х16
пікселів, тому розмір вікна оберемо 16х16 пікселів, тобто w=h=16. Оскільки ми
повинні виявляти пожежу на початковому етапі займання, то розмір вікна змінювати
не будемо. Крок, з яким будемо рухати вікно, оберемо таким самим як розмір самого
вікна. Враховуючи, що найпоширеніший розмір кадру 320х240 пікселів, а швидкість
зміни кадрів 30 fps, то для виконання вимоги, що час роботи системи без хибного
спрацювання повинно бути більше 200 год, то ймовірність хибного спрацювання
функції f(I1, I2, …, IN) повинна бути меншою, ніж
1/([400px/16px]*[300px/16px]*30fps*60сек*60хв*200год) = 1,54*10-10.
Аналіз останніх досліджень і публікацій
На сьогоднішній день мало досліджений такий клас задач стосовно побудови
ефективної стратегії їх розв’язання. В останнє десятиліття спостерігається прогрес у
технологіях відеоспостереження та моніторингу. Значно зростає застосування
використання відеоспостереження як і в державних, так і в приватних приміщеннях.
Алгоритми обробки зображень систем автоматичного виявлення пожежі були вже
розроблені для застосування в тунелях, авіаційних ангарах, бойових кораблях тощо
[2-4]. Але жоден із представлених алгоритмів недостатньо сильний та гнучкий для
вирішення усіх проблем, що характерні для виявлення пожежі за допомогою камери
відеоспостереження. Найбільш поширені проблеми:
˗ умови освітлення (день і ніч, штучне освітлення, віддзеркалення світла, тіні);
̠ якість зображення (низька роздільна здатність камери, поганий контраст камери, погана
передача сигналу, брудний об'єктив, вандалізм, що впливають на якість зображення);
˗ складність сцени (рухомих об'єктів і людей: різні швидкості і розміри);
˗ продуктивність процесора (виявлення в режимі реального часу, швидкість
процесора і пам'ять).
Алгоритм, який необхідно розробити, повинен бути більш гнучким і надійним
для виявлення пожежі, щоб зменшити частоту помилкових тривог і зменшити час
реакції тривоги. Окрім того, алгоритми виявлення не повинні порушувати роботу
або знизити якість моніторингу [5]. На одному із перших кроків система повинна
виявити підозрілі зони по кольору. На даний час було зроблено багато досліджень
для виявлення кольору шкіри [6-9]. Усі ці методи можуть бути застосовані для
виявлення полум’я по кольору.
Мета дослідження
Метою роботи є розробка методики виявлення пожежі за допомогою
послідовності кольорових зображень з камери відеоспостереження. Завданням даної
роботи є побудова алгоритму розпізнавання займання та перевірка його на
адекватність, розробивши діючий прототип системи.
Виклад основного матеріалу
1. Опис алгоритмів розв’язання поставленої задачі
Для виявлення пожежі буде використано різні характеристики пожежі, а саме
ті, що засновані на наступних припущеннях:
- колір: полум’я характеризується високою яскравістю та специфічними
відтінками кольору; яскравість полум’я вища, ніж яскравість фону;
- рух: у зоні займання спостерігається постійний рух; полум’я виникає в певній
позиції, а потім поширюється швидше вгору, ніж вниз та в сторони;
- текстура полум’я специфічна.
На вхід алгоритму подається поточний кадр, зберігається попередній кадр.
Таким чином, система завжди працює із поточним та попереднім кадрами та на
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
© В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець 201
основі цих кадрів кожен раз буде оновлювати свій стан. Спочатку система здійснює
обробку та підготовку даних, а потім, аналізуючи ці дані, виявляє пожежу.
Розв’язання цієї задачі проходить у декілька етапів, а тому й розгляд алгоритмів
розв’язання доцільно було б зробити поетапно.
2.1. Виявлення полум'я по кольору
На першому кроці система виявляє підозрілі зони по кольору. Як уже
зазначалось, усі існуючі алгоритми виявлення кольору шкіри можуть бути
застосовані для виявлення полум’я по кольору. Більшість дослідників
використовують попіксельну класифікацію, спрямовану на те, щоб для кожного
пікселя вказати, чи він належить об’єкту чи ні. Кожен піксель вважається
індивідуальним блоком [9]. Такі моделі є одними з найкращих, які за нормальних
умов дають хороші результати.
Для побудови класифікатора потрібно зібрати базу даних пікселів, що
належать та не належать полум’ю. Для збирання позитивних прикладів було
розроблено спеціальну програму, в якій на відео можна вказати точку, що належить
полум’ю (зеленим кольором), а пікселі в околі цієї точки будуть збережені для
подальшого навчання класифікатора (рис. 1).
Рис. 1. Зовнішній вигляд програми для збору бази позитивних прикладів
Враховуючи, що більшість камер повертають зображення в форматі YСbCr, а
також для зменшення витрат на конвертацію, за модель кольору було обрано саме
YСbCr. Статистично було виявлено, що Y координата (яка відповідає за яскравість)
для полум’я має обмеження Y >160. Зрозуміло, оскільки полум’я яскраве, то одразу
ж можна відкинути темні області. Проте цього недостатньо, окрім яскравості
необхідно ще використовувати інформацію про колір. На рис. 2 показано розподіл
точок, що належать полум’ю та не належать полум’ю по Cr та Cb координатах. Як
видно з рисунку, полум’я можна відрізнити від фону з певною точністю.
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
202 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
а б
Рис. 2. Розподіл значень пікселів, що належать полум’ю
та фону по Cr та Cb координатах
Таким чином, маючи значення Cr та Cb, можна побудувати карту
приналежності пікселя полум’ю та фону (рис. 3).
Рис. 2.1.3. Карта ймовірності того, що піксель належить полум’ю за
значеннями Cr та Cb компонент
Результати роботи алгоритму представлені на рис.4.
а б в
Рис. 4. Відповідність кольору полум’я без використання базової сцени (а) та після
фільтрації фону при використанні базової сцени (в) для вхідного зображення (а)
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
© В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець 203
Розроблений алгоритм використовує O(256*256)= O(1) додаткової пам’яті для зберігання
карти ймовірності та робить O(N) операцій, де N – це кількість пікселів зображення.
2.2. Розрахунок базової сцени для виявлення об'єктів, що з'явилися
Для розділення фону від рухомих об’єктів найкращим методом сьогодні є
метод codebook [10]. У цьому методі використовується історія інтенсивності для
кожного пікселя. На основі цієї історії можна з певною точністю вказати чи
належить даний піксель об’єкту чи фону. Враховуючи обмеженність ресурсів, було
вирішено розробити спрощений швидкий алгоритм. У цьому алгоритмі
обчислюється базова сцена за формулою
, (2)
де для кожного пікселя (x,y) базового зображення Ib(x,y) та нового
одноканального зображення інтенсивності IN(x,y) оновлюється базове зображення.
Тоді для визначення належності пікселя об’єкту, використовується наступна формула
,
(3)
де, Is(x,y) – приналежність пікселя (x,y) фону чи об’єкту, підозрілому на полум’я.
У цій формулі використано припущення, що яскравість полум’я вища яскравості
фону, тому об’єкти, які темніші за фон, виділятись не будуть. Розроблений алгоритм
використовує O(N) додаткової пам’яті та робить O(N) операцій, де N – це кількість
пікселів зображення. Проте, інші існуючі методи codebook використовують O(kN)
додаткової пам’яті та роблять O(mN) операцій, де k >>2, m >> k.
2.3. Використання MHI для аналізу руху в зоні займання
Зображення MHI (Motion History Image) – зображення, яке відображає модель
руху відеопотоку [11,12]. Розглянемо рис. 5а. Це зображення відображає суть
основної моделі руху об’єкта на зображенні (помахи рук людини на відео). Там, де
відбувається рух, є MHI силует, а сам рух показано стрілками. Для збереження цієї
інформації достатньо одного MHI зображення, де в місцях, де був рух нещодавно,
область світліша, а коли рух припиняється, то інтенсивність цієї області швидко
зменшується. Такий образ «схожий» на зображення зі стрілками та зберігає
аналогічну інформацію. MHI зображення обчислюється за наступними формулами
(4)
(5)
, (6)
де d = const, = const, = const, I(x,y,t) – значення пікселя в час t з координатою (x,y).
Враховуючи припущення, що при виникненні займання яскравість у зоні займання
зростає, формула (6) була модифікована формулою (7), де додатково використовується
інформація про приналежність пікселя полум’ю по інформації по кольору.
.
(7)
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
204 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
Рис. 5. Приклади MHI зображень
Таким чином, використовуючи цю формулу, було задано вид рухомого вікна
(1) формулою
,
(8)
де Tmin = const.
Для швидкого розрахунку суми в формулі (8) використаємо інтегральне
представлення MHI зображення.
Інтегральне представлення зображення – це матриця, що співпадає з розмірами
вхідного зображення. На кожному елементі знаходиться сума всіх пікселів, що
знаходяться лівіше та вище даного елемента. Таким чином, значення елемента (x,y)
визначається наступною формулою:
,
(9)
де I(x,y) – значення пікселя вхідного зображення.
Побудова інтегральної форми здійснюється за лінійний час за допомогою
наступної рекурсивної формули:
.
(9)
Використовуючи інтегральну матрицю, можна дуже швидко визначити суму
пікселей прямокутника довільної площі. Таким чином, розрахунок wmhi потребує
O(N) додаткової пам’яті для зберігання інтегрального зображення MHI та робить
O(N) операцій для розрахунку MHI, де N – це кількість пікселів зображення.
2.4 Аналіз текстури полум'я за допомогою HOG-SVM підходу
Для зменшення хибних спрацювань було вирішено використати інформацію
про градієнти, оскільки полум’я має характерні контури. Найкращим дескриптором
у даному випадку є гістограма орієнтованих градієнтів (HOG), оскільки вона стійка
до шумів та є дуже показовою. Цей дескриптор на даний час є одним із найкращих
та широко використовується в задачах розпізнавання об’єктів [13]. Далі на основі
цієї гістограми побудуємо класифікатор. Як класифікатор будемо використовувати
лінійну комбінацію hog значень по напрямках. Цей класифікатор побудуємо за
допомогою методу опорних векторів [14]. Для побудови класифікатора за
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
© В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець 205
0
0,2
0,4
0,6
0,8
1
0
45
90
135
180
225
270
315
Для полум'я
Для хибних
спрацювань
допомогою відповідної програми було зібрано базу позитивних прикладів. Негативні
приклади було взято із негативного відео з випадкових позицій. Всього для навчання
було використано 5000 позитивних та 5000 негативних прикладів. Цей алгоритм
класифікації використовує O(1) додаткової пам’яті та робить O(N) операцій, де N –
це кількість пікселів зображення.
2.5 Трекінг зон руху для аналізу руху полум'я
Враховуючи, що було зроблено припущення, що полум’я поширюється вгору
швидше, ніж вниз та в сторони, то відповідно в момент часу t будемо знаходити
область (x(t), y(t), w(t), h(t)) із максимальним рухом навколо початкової позиції вікна
(x(t - ), y(t - )), що w(x(t - ), y(t - ), t - ) = 1.
Тобто необхідно розв’язати наступну задачу:
.
(10)
Для зменшення впливу шуму на трекінг використаємо експоненційне
згладжування. Остаточна зміна регіону визначається за формулами:
(11)
,
де x, y, w, h - знаходимо при розв’язанні задачі (10), 0 ≤ a ≤ 1, a = const.
Приклад зміни регіону із максимальним рухом зображено на рис. 6 (а).
а) б)
Рис. 6. а) Приклад трекінгу (зелений прямокутник – початкова позиція,
синій – через 30 кадрів; б) розподілення напрямків трекінгу
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
206 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
Після тестування на тестовій вибірці позитиів було отримано розподілення
напрямків трекінгу (рис. 6 (б)). Таким чином, було модифіковано формулу рухомого
вікна (1) із врахуванням напрямків трекінгу до вигляду
(12)
(13)
(14)
(15)
(16)
,
де, , , .
Цей алгоритм використовує O(1) додаткової пам’яті та робить O(dxdydhdw)
операцій для пошуку потрібної позиції в найгіршому випадку. Проте, якщо вважати
зміну інтенсивності між пікселями неперервною, то дану задачу можна розв’язати
методом дихотомії, тоді складність у середньому буде O(ln(dx)ln(dy)ln(dh)ln(dw)). Також
допустиме спрощення задачі (10), якщо вважати, що w = h. Тоді складність у середньому
буде O(ln(dx)ln(dy)ln(dw)). Якщо обрати dx = w, dy = w, dw = 2w, то складність алгоритму
при прямій реалізації O(dxdydhdw) = O(ww2w) = O(2w3), а при використанні методу
дихотомії O(ln(dx)ln(dy)ln(dw)) = O(ln2(w)ln(2w)) = O(ln3(w)).
2.6 Використання нейронної мережі для підтвердження пожежі
Використовуючи формулу (13), можна виявити регіони, що підозрілі на
пожежу, але кількість хибних спрацювань буде високою, оскільки в цій формулі
використовується інформація про декілька попередніх кадрів, з яких найбільше
інформації береться із двох попередніх. Проте, виявляти пожежу за один кадр не є
необхідним, тому було вирішено використовувати щонайменше 76 кадрів, що
складає трохи більше 2 секунд відео. Таким чином, система зможе виявляти пожежу
більше ніж за дві секунди аналізу, а саме: ми будемо для кожного вікна (xi, yi, t), що
w(xi, yi, t - i) =1, зберігати історію середнього руху із DIFF та MHI зображення, що
обчислені за формулами (4) та (6), де i – час життя вікна.
(17)
(18)
Приклад історії Smhi та Sdiff зображено на рис. 7.
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
© В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець 207
Рис. 7. Приклад історії та
Для вікна i аналіз припиняємо, якщо виконається одна із наступних умов:
(19)
,
(20)
де , .
Таким чином, отримуємо вектор вхідних данних для вікна i в час t із таких
інформативних ознак:
˗ час i існування вікна;
˗ , ;
˗ , ;
˗ , .
Для спрацювання пожежі будемо вимагати виконання умов
(21)
(22)
(23)
(24)
.
(25)
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
208 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
А для точного підтвердження пожежі будується каскадний класифікатор на
основі багатошарового персептрону, на вхід якому будемо подавати ці ознаки.
Багатошаровий персептрон являє собою узагальнення одношарового персептрона
Розенблатта. Кількість вхідних і вихідних елементів в багатошаровому персептроні
визначається умовами задачі. За початкове наближення можна взяти один
проміжний шар, а число елементів у ньому покласти рівним напівсумі числа вхідних
і вихідних елементів. Також кількість прикладів, що навчають, повинна бути значно
більшою, ніж кількість синаптичних зв’язків. Для навчання багатошарового
персептрона використаємо алгоритм зворотного розповсюдження помилки. При
цьому важливим є вибір швидкості навчання η. Найкращим, на наш погляд, є
динамічне управління величиною η, яке може суттєво підвищити ефективність
навчання нейронної мережі методом зворотнього поширення помилки. Присвоєння η
більшого значення в момент початку навчання дозволить отримати більш швидке
наближення до області, де знаходиться оптимальна множина вагових коефіцієнтів. А
для того щоб нейронна мережа не «проскочила» мінімум функції помилки
, необхідно в процесі навчання зменшувати значення . Наприклад, за
такою простою формулою:
, (25)
де x швидкість зменшення . Для навчання було використано 15000 позитивних та
90000 негативних прикладів, що були зібрані без вимагання виконання умов (21)-(25).
Персептрон мав 5 входів, один прихований шар із 11 нейронами та один вихід. Після
побудови першого каскаду класифікатора було відкинуто 0.5% позитивних прикладів
та 90% негативних. Після викидання із навчальної бази неправильно класифікованих
позитивних прикладів та правильно класифікованих негативних прикладів було
навчено ще один каскад класифікатора, який не відкинув позитивних прикладів, але
правильно класифікував 99,97% негативних прикладів. Таким чином, спрацювання
одночасно цих двох каскадів означає спрацювання каскадного класифікатора.
Для класифікації по серії кадрів можливо використати рекурентну нейронну
мережу (наприклад, LSTM [20]), але вона потребує великих витрат у часі. Тому було
обрано каскадний класифікатор, який є швидким і достатньо точним методом.
Цей алгоритм класифікації використовує O(1) додаткової пам’яті та робить
O(N) операцій на підготовку даних та O(1) операцій на класифікацію, де N –
кількість пікселів зображення.
Висновки
Результати роботи мають практичне застосування у різних галузях штучного
інтелекту, зокрема в задачах комп’ютерного зору. Комбіноване використання
інформації про колір, рух та текстуру полум’я в розробленому алгоритмі дозволяє
досягти високої якості виявлення полум’я. Розроблений алгоритм відповідає
поставленим вимогам та має лінійну залежність до використання пам’яті та
складності алгоритму.
Література
1. FEMA fire statistics [Електронний ресурс]. – Режим доступу: http://www.usfa.fema.gov/statistics/
2. Lloyd D. Video Smoke Detection (VSD-8) / D. Lloyd//Fire Safety Engineering. –2000.–7(1).- P. 26-28.
3. Wieser D, Brupbacher T. Smoke detection in tunnels using video images / D. Wieser, T. Brupbacher // In
Proceedings of 12th international conference on automatic fire detection. - Gaithersburg, USA.- March,
2001. - pp. 79-91.
4. Foo S.Y. A rule-base machine vision system for fire detection in aircraft dry bays and engine components
/ S.Y. Foo // Knowledge-Based Syst. – 1996. – N 9.- P. 531-541.
http://scholar.google.com/scholar?q=%22Video+Smoke+Detection+%28VSD-8%29%22
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
© В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець 209
5. Marbach G., Loepfe M., Brupbacher T. An image processing technique for fire detection in video images
/ G. Marbach, M. Loepfe, T. Brupbacher //Fire safety journal.- 2006.- N 41. - P. 285-289.
6. Albiol A., Torres L., Delp E.J. Optimum color spaces for skin detection / A. Albiol, L. Torres, E.J. Delp //
In: Intl. Conf. on Image Processing.- October, 2001. - Vol. 1.- pp: 122–124.
7. Bourke P. Converting between RGB and CMY, YIQ, YUV [Електронний ресурс]. – Режим доступу:
http://local.wasp.uwa.edu.au/~pbourke/texture_colour/convert/ (Accessed on 23.07.2009)
8. Brand J., Mason J. A comparative assessment of three approaches to pixel level human skindetection / J.
Brand, J. Mason // In: Intl. Conf. on Pattern Recognition.. – September, 2000.- Vol. 1.- pp: 1056–1059.
9. Chai D., Bouzerdoum A. A Bayesian approach to skin color classification in YCbCr color space /
D. Chai, A. Bouzerdoum // In: Institute of Electrical and Electronics Engineers IEEE Region Ten
Conference (TENCON’2000). - September, 2000.- Vol. 2.- pp: 421–424.
10. Kima K., Chalidabhongse T.H., Harwooda D., Davis L. Real-time foreground–background segmentation
using codebook model / K. Kima, T.H. Chalidabhongse, D. Harwooda, L. Davis // European Conference
on Computer Vision (ECCV), LNCS.- 2006.- pp. 1-14.
11. Davis J. Hierarchical motion history images for recognizing human motion / J. Davis // In: Proc. IEEE
Workshop on Detection and Recognition of Events in Video.- 2001.- pp. 39–46.
12. Ahad M.A.R., Tan J.K., Kim H., Ishikawa S.: Motion history image: its variants and applications /
M.A.R. Ahad , J.K.. Tan, H. Kim, S. Ishikawa // Mach. Vis. Appl. – 2012.- 23(2).- P. 255–281.
13. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection / N. Dalal, B. Triggs // In
Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern
Recognition. - 2005.- Vol.1.- pp. 886-893.
14. Cortes C. Vapnik V. Support-vector networks / C. Cortes, V. Vapnik // Machine Learning, - 1995.- 20(3).
– P. 273-297.
15. Хайкин С. Нейронные сети / С. Хайкин. Полный курс. 2е издание. - Москва: Вильнос. - 2006.
16. Han D., Lee B. Flame and smoke detection method for early real-time detection of a tunnel fire / D. Han,
B. Lee // Fire SafetyJourna.- 2009.- N 44. – P. 951–961.
17. Ko B.C., Cheong K.H., Nam J.Y. Fire detection based on vision sensor and support vector machines /
B.C. Ko, K.H. Cheong, J.Y Nam // Fire Safety Journa.- 2009.- 44.- P. 322–329.
18. Интегрированная система цифрового видеонаблюдения TRASSIR [Електронний ресурс]. – Режим
доступу: http://www.dssl.ru/
19. FireVision – видеонаблюдение для раннего обнаружения пожара [Електронний ресурс]. – Режим
доступу: http://www.usl.lv/?m=201211
20. Byeon W., Breuel T.M., Raue F., Liwicki M. Scene Labeling with LSTM Recurrent Neural Networks /
W. Byeon, T. M. Breuel, F. Raue, and M. Liwicki // In proceedings of CVPR.- 2015.- pp. 3547-3555.
Literatura
1. FEMA fire statistics [Elektronnyi resurs]. – Rezhym dostupu: http://www.usfa.fema.gov/statistics/
2. Lloyd D. Video Smoke Detection (VSD-8)/D. Lloyd//Fire Safety Engineering. – 2000. –7(1).- P. 26-28.
3. Wieser D, Brupbacher T. Smoke detection in tunnels using video images / D. Wieser, T. Brupbacher // In
Proceedings of 12th international conference on automatic fire detection. - Gaithersburg, USA.- March,
2001. - pp. 79-91.
4. Foo S.Y. A rule-base machine vision system for fire detection in aircraft dry bays and engine components
/ S.Y. Foo // Knowledge-Based Syst. – 1996. – N 9.- P. 531-541.
5. Marbach G., Loepfe M., Brupbacher T. An image processing technique for fire detection in video images
/ G. Marbach, M. Loepfe, T. Brupbacher // Fire safety journal.- 2006.- N 41. - P. 285-289.
6. Albiol A., Torres L., Delp E.J. Optimum color spaces for skin detection / A. Albiol, L. Torres, E.J. Delp //
In: Intl. Conf. on Image Processing.- October, 2001. - Vol. 1.- pp: 122–124.
7. Bourke P. Converting between RGB and CMY, YIQ, YUV [Elektronnyi resurs]. – Rezhym dostupu:
http://local.wasp.uwa.edu.au/~pbourke/texture_colour/convert/ (Accessed on 23.07.2009)
8. Brand J., Mason J. A comparative assessment of three approaches to pixel level human skindetection /
J. Brand, J. Mason // In: Intl. Conf. on Pattern Recognition.. – September, 2000.- Vol. 1.- pp: 1056–1059.
9. Chai D., Bouzerdoum A. A Bayesian approach to skin color classification in YCbCr color space /
D. Chai, A. Bouzerdoum // In: Institute of Electrical and Electronics Engineers IEEE Region Ten
Conference (TENCON’2000). - September, 2000.- Vol. 2.- pp: 421–424.
10. Kima K., Chalidabhongse T.H., Harwooda D., Davis L. Real-time foreground–background segmentation
using codebook model / K. Kima, T.H. Chalidabhongse, D. Harwooda, L. Davis // European Conference
on Computer Vision (ECCV), LNCS.- 2006.- pp. 1-14.
11. Davis J. Hierarchical motion history images for recognizing human motion / J. Davis // In: Proc. IEEE
Workshop on Detection and Recognition of Events in Video.- 2001.- pp. 39–46.
12. Ahad M.A.R., Tan J.K., Kim H., Ishikawa S.: Motion history image: its variants and applications /
M.A.R. Ahad , J. K. Tan, H. Kim, S. Ishikawa // Mach. Vis. Appl. – 2012.- 23(2).- P. 255–281.
13. Dalal N., Triggs B. Histograms of Oriented Gradients for Human Detection / N. Dalal, B. Triggs // In
Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern
Recognition. - 2005.- Vol.1.- pp. 886-893.
http://www.dssl.ru/
http://www.usl.lv/?m=201211
http://scholar.google.com/scholar?q=%22Video+Smoke+Detection+%28VSD-8%29%22
ISSN 1561-5359. Штучний інтелект, 2017, № 3-4
210 © В.М. Терещенко, Я.В. Терещенко, І.М. Бондарець
14. Cortes C. Vapnik V. Support-vector networks / C. Cortes, V. Vapnik // Machine Learning, - 1995.- 20(3).
– P. 273-297.
15. Haykin S. Neyronnyie seti / S. Haykin. Polnyiy kurs. 2e izdanie. - Moskva: Vilnos. - 2006.
16. Han D., Lee B. Flame and smoke detection method for early real-time detection of a tunnel fire / D. Han,
B. Lee // Fire SafetyJourna.- 2009.- N 44. – P. 951–961.
17. Ko B.C., Cheong K.H., Nam J.Y. Fire detection based on vision sensor and support vector machines /
B.C. Ko, K.H. Cheong, J.Y Nam // Fire Safety Journa.- 2009.- 44.- P. 322–329.
18. Интегрированная система цифрового видеонаблюдения TRASSIR [Elektronnyi resurs]. – Rezhym
dostupu: http://www.dssl.ru/
19. FireVision – videonablyudenie dlya rannego obnaruzheniya pozhara [Elektronnyi resurs]. – Rezhym
dostupu: http://www.usl.lv/?m=201211
20. Byeon W., Breuel T.M., Raue F., Liwicki M. Scene Labeling with LSTM Recurrent Neural Networks /
W. Byeon, T.M. Breuel, F. Raue, M. Liwicki // In proceedings of CVPR.- 2015.- pp. 3547-3555.
RESUME
V.M. Tereshchenko, Y.V. Tereshchenko, I.M. Bondarec
Application of computer vision methods to detect fire in the premises
The article is devoted to the development and application of computer vision
methods to identify potential fire risk factors in rooms and offices and fire prevention. We
offer a method for detecting a fire using a sequence of color images from a surveillance
camera. The system of fire detection in the room was developed and the algorithm of
checking it for accuracy. This work is aimed at detecting fires using cameras with different
characteristics and, first of all, with poor performance in order to reduce the cost of such a
system. Initially, the system performs processing and preparation of data, and then
analyzing the data, detects fire. YCbCr was selected as a color model to reduce conversion
costs. Also, given the limited resources, it was decided to develop a simplified quick
algorithm to calculate the base scene to detect objects that appeared with the linear
execution time. We use MHI for motion detection in an image. To reduce false positives, it
was decided to use the information about gradients as the flame has characteristic contours.
As a classifier, we used a linear combination of hog values in directions. We used a neural
network to confirm the fact of ignition detected by the CCTV system. MHI (Motion
History Image) - an image that shows a model of motion video stream. To reduce false
alarms, it was decided to use information about gradients, since the flame has characteristic
contours. The best descriptor in this case is the histogram of oriented gradients (HOG),
because it is steady against noise and is very indicative. Currently, this descriptor is one of
the best and widely used in image recognition problems. Further, based on this histogram
we build a classifier. To build a classifier we use a linear combination of values for hog
directions and support vector method. In order to take into account, the motion of the
flame, it is necessary to solve the problem of tracking. After testing on the positive test, we
obtained the distribution of tracking directions. We use a neural network to confirm the
ignition that the CCTV system detected. We have built a cascade classifier based on
multilayer perceptron who receives these signs on input. The number of input and output
elements in the multilayer perceptron is determined by the conditions of the problem. We
select one intermediate layer as an initial approximation, and the number of elements in it
is equal to half the sum of the number of input and output elements. For learning of the
multilayer perceptron, we use the error backpropagation algorithm. At the same time, it is
important to choose the learning speed (LS). At the same time, an important step is the
choice of learning speed (LS). In our view, the best choice is the dynamic ruling of the LS,
which significantly improves the efficiency of learning the neural network by the error
backpropagation method. Also, for classification in a series of frames, we chose a
cascading classifier, which is a fast and sufficiently precise method.
Надійшла до редакції 23.10.2017
http://www.dssl.ru/
http://www.usl.lv/?m=201211
|