Building automated monitoring systems structural elements method MDP-planning

Prombles in programming 2014; 4: 94-99

Збережено в:

Бібліографічні деталі
Дата:	2019
Автори:	Dosin, D.G., Yatsenko, A.O.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Інститут програмних систем НАН України 2019
Теми:	UDC 004.896
Онлайн доступ:	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/687
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Problems in programming

Репозитарії

Problems in programming

id	pp_isofts_kiev_ua-article-687
record_format	ojs
resource_txt_mv	ppisoftskievua/1f/60c4bf55fbcc323efc79eaf313b8281f.pdf
spelling	pp_isofts_kiev_ua-article-6872025-02-17T15:59:04Z Building automated monitoring systems structural elements method MDP-planning Побудова автоматизованої системи моніторингу стану елементів конструкцій методом MDP-планування Dosin, D.G. Yatsenko, A.O. UDC 004.896 УДК 004.896 Prombles in programming 2014; 4: 94-99 З метою побудови автоматизованої системи моніторингу стану елементів конструкцій запропоновано використовувати методи MDP-планування. Проведено моделювання процесу побудови траєкторії переміщень агента на симуляційній моделі запропонованим методом.Prombles in programming 2014; 4: 94-99 Інститут програмних систем НАН України 2019-03-27 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/687 PROBLEMS IN PROGRAMMING; No 4 (2014); 94-99 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 4 (2014); 94-99 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 4 (2014); 94-99 1727-4907 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/687/739 Copyright (c) 2025 PROBLEMS IN PROGRAMMING
institution	Problems in programming
baseUrl_str	https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date	2025-02-17T15:59:04Z
collection	OJS
language	Ukrainian
topic	UDC 004.896
spellingShingle	UDC 004.896 Dosin, D.G. Yatsenko, A.O. Building automated monitoring systems structural elements method MDP-planning
topic_facet	UDC 004.896 УДК 004.896
format	Article
author	Dosin, D.G. Yatsenko, A.O.
author_facet	Dosin, D.G. Yatsenko, A.O.
author_sort	Dosin, D.G.
title	Building automated monitoring systems structural elements method MDP-planning
title_short	Building automated monitoring systems structural elements method MDP-planning
title_full	Building automated monitoring systems structural elements method MDP-planning
title_fullStr	Building automated monitoring systems structural elements method MDP-planning
title_full_unstemmed	Building automated monitoring systems structural elements method MDP-planning
title_sort	building automated monitoring systems structural elements method mdp-planning
title_alt	Побудова автоматизованої системи моніторингу стану елементів конструкцій методом MDP-планування
description	Prombles in programming 2014; 4: 94-99
publisher	Інститут програмних систем НАН України
publishDate	2019
url	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/687
work_keys_str_mv	AT dosindg buildingautomatedmonitoringsystemsstructuralelementsmethodmdpplanning AT yatsenkoao buildingautomatedmonitoringsystemsstructuralelementsmethodmdpplanning AT dosindg pobudovaavtomatizovanoísistemimonítoringustanuelementívkonstrukcíjmetodommdpplanuvannâ AT yatsenkoao pobudovaavtomatizovanoísistemimonítoringustanuelementívkonstrukcíjmetodommdpplanuvannâ
first_indexed	2025-07-17T10:03:00Z
last_indexed	2025-07-17T10:03:00Z
_version_	1837887998261198848
fulltext	Прикладні засоби програмування та програмне забезпечення © А.О. Яценко, Д.Г. Досин, 2014 94 ISSN 1727-4907. Проблеми програмування. 2014. № 4 УДК 004.896 А.О. Яценко, Д.Г. Досин ПОБУДОВА АВТОМАТИЗОВАНОЇ СИСТЕМИ МОНІТОРИНГУ СТАНУ ЕЛЕМЕНТІВ КОНСТРУКЦІЙ МЕТОДОМ MDP-ПЛАНУВАННЯ З метою побудови автоматизованої системи моніторингу стану елементів конструкцій запропоновано використовувати методи MDP-планування. Проведено моделювання процесу побудови траєкторії пе- реміщень агента на симуляційній моделі запропонованим методом. Вступ Протягом експлуатації інженерні механічні конструкції зазнають корозії та перебувають під певними навантаження- ми, що зумовлюють напруження, які спри- яють утворенню та розвитку пошкоджень різного роду, зокрема, дефектів типу трі- щин. У зв’язку з цим для забезпечення безпеки експлуатації відповідальних інже- нерних споруд та конструкцій необхідна ефективна система моніторингу, яка би забезпечила збір інформації та на її основі прогнозувала залишковий ресурс таких конструкцій. З цією метою можуть застосовува- тись різні системи виявлення дефектів матеріалів. Більшість відповідних прила- дів і засобів призначені для ручного сканування, хоча зараз активно розроб- ляються автоматизовані системи дефекто- скопічних вимірювань. Так наприклад, з цією метою компанія SynView спільно з Becker Photonik GmbH, розробила мо- більну систему неруйнівного контролю SynViewCompact [1]. Проте існуючі сис- теми візуалізації, зокрема 2D та 3D ре- конструкції стану матеріалу елементів конструкцій не пристосовані до скануван- ня великогабаритних об’єктів і можуть використовуватись лише як робочий еле- мент для їх періодичного інспектування шляхом встановлення на різних ділян- ках об’єкта контролю за певною траєк- торією. Така траєкторія може бути жорст- ко встановлена з метою періодичного охоплення усієї поверхні (об’єму), але у такому випадку вона буде неоптималь- ною з точки зору витрат часу на експлу- атацію високовартісного обладнання та достатньо частого інспектування особли- во небезпечних щодо можливого руйну- вання ділянок. Саме у таких випадках мо- більні системи неруйнівного контролю можуть бути використані у ролі агентів, здатних, пересуваючись у межах середо- вища що підлягає моніторингу, проводити відповідні вимірювання, виявляти ділянки підвищеної небезпеки і в результаті роз- раховувати та уточнювати в процесі вимі- рювань траєкторію подальших перемі- щень між точками спостережень за ста- ном матеріалу, оптимальну за заданими критеріями. Постановка задачі Задача оптимізації функціонування мобільної системи моніторингу стану елементів відповідальних інженерних конструкцій може бути зведена до побу- дови оптимального плану для навігації агента у великому скінченному середо- вищі. Таке середовище контролю необхі- дно поділити на детерміновані ділянки, що виступатимуть у ролі станів. Приро- дно допустити, що при формуванні трає- кторії агент буде здійснювати переходи лише до суміжних ділянок, тобто, у на- шій моделі – у сусідні стани, що суттє- во скоротить кількість можливих дій а. Кожна дія а поєднує лише два стани тому імовірність переходу )( asPs  з ста- ну s в стан s виконавши дію a дорів- нює 1. Ця обставина дозволить подати довільне середовище як двовимірну по- верхню, а це, в свою чергу, спростить навігацію і зробить дану модель більш Прикладні засоби програмування та програмне забезпечення 95 універсальною (див. рис.1). Рис. 1. Граф середовища Випадковий характер виникнення і розвитку дефектів, а також результатів вимірювань спричиняє апріорну невизна- ченість оптимальної траєкторії перемі- щень засобів контролю як стратегії відпо- відного інтелектуального агента [2]. Ви- бір оптимальної стратегії здійснюється за критерієм максимального загального ви- грашу (очікуваної корисності) від діяль- ності агента. Найкраще цей механізм мо- жна реалізувати за допомогою методів MDP-планування [3]. MDP (Марківські процеси прий- няття рішень) призначені для створення плану роботи агента в стохастичному се- редовищі з марківською моделлю перехо- дів та множиною цілей, що цілком відповідає умовам нашої задачі [4, 5]. Тоді цінність стану s )(sV , яка в даній моделі відображає міру важливості виконання вимірювання у цій ділянці, може бути визначена за допомогою рів- няння Белмана [3]: )(sV    s s a asCsVasPsR )).,()()((max)(  Оскільки множина станів скінченна, а також агенту однаково важливі поточні та майбутні винагороди за виконання ви- мірювання у відповідній ділянці поверхні, коефіцієнт знецінення  обрано рівним 1. Затрати на виконання дії a у стані s ),( asC визначають час, що потрібен аген- ту на виконання дії a , при цьому їх зна- чення залежать від конкретних умов вимі- рювань. Вирішення задачі Для розрахунку оптимальної стра- тегії, тобто у даному випадку – траєкторії переміщень між ділянками, на яких слід виконати першочергові вимірювання, до- цільно застосувати алгоритм ітерацій за значеннями через його швидку збіжність та точність [6, 7]. У цій моделі основним параметром формування корисності стану s )(sV приймаємо невизначеність приросту роз- мірів дефектів, що виступає у ролі ви- нагороди )(sR за досягнення стану s . З часом під дією навантажень дефекти мають тенденцію до збільшення. Тому весь період роботи агента потрібно поді- лити на певні одинакові проміжки часу – цикли. Цикл – це період протягом яко- го розміри дефектів l збільшуються на деякий відсоток  . Після кожного циклу змінюється невизначеність прирос- ту дефектів, отже мають бути оновлені винагороди )(sR , а отже потрібно здійс- нювати перерахунок корисності станів )(sV та відповідно до них оновити стра- тегію. Оскільки цикли можуть становити значний проміжок часу, протягом якого можна виконати цілий ряд послідовних вимірювань та переміщень, цикл може складатися з декількох тактів. Такт – це період часу за який агент здійснює 1 дію, тобто перехід з одного стану у інший та проведення у цьому стані вимірювань.   11 kkk lll . (1) Зважаючи на стохастичний харак- тер середовища, величину приросту розмі- Прикладні засоби програмування та програмне забезпечення 96 рів дефектів 1 kk ll , а отже і значення відсотку зростання дефекту  можна отримати лише з певною імовірністю p , тоді формула 1 набуде вигляду: i q i ikkk plll     0 11  , (2) де q – кількість різних значень відсотку зростання дефекту  . Тому точність прогнозування роз- мірів дефектів у кожній з контрольова- них ділянок знижується в залежності від того як давно агент перебував у тому чи іншому стані, а це, у свою чергу, означає що збільшується невизначеність приросту розмірів дефектів 1 kk ll . Як міру невизначеності стану дефекту в пе- вній ділянці об’єкта контролю у даній моделі використано ентропію стану, що відповідає цій ділянці )(sH . Значення ентропії розраховуються на основі імові- рностей p отримання тих чи інших зна- чень відсотку зростання дефекту  для стану s. . 1 log)( 0           i r q i ir p pSH (3) Таким чином, щоб заохотити агента відвідати стани з більшою невизначеністю після кожного циклу до корисності стану s )(sR додається добуток його ентропії )(sH на величину приросту дефектів 1 kk ll (3). В результаті для агента корис- ність виконання вимірювання у даній точці буде тим вищою чим більша невизначе- ність та приріст дефекту. )( 11   kkkk llHRR . (4) Відповідно після проведення вимі- рювань у стані s його невизначеність, а отже і винагорода )(sR стає рівною 0, але уже на наступному циклі винагорода )(sR для цього стану знову починає зростати (рис. 2). Рис. 2. Графік зміни винагород Проведення чисельного експерименту Для досліджень використано мо- дель середовища 6х6 станів. У моделі ко- рисності станів, тобто початкові розміри дефектів, задаються випадковим чином у межах 1...100 мкм. Після кожного вимірю- вання на певній ділянці траєкторія пере- міщень між ділянками перераховується заново. У всіх дослідах агент розпочинає рух з стану S0, отже на першому циклі це буде початкова точка розрахунку стратегії. Кожна нова стратегія розраховується, по- чинаючи з останнього стану в якому агент перебував на попередньому циклі. Для кожного стану випадковим чи- ном задано імовірності p зростання де- фекту l . Так з імовірністю 1p у межах від 0.1 до 0.3 можливе зростання дефекту 1l на 30 %, з імовірністю 2p від 0.3 до 0.7 можливе зростання 2l на 20 % та імовірні- стю 3p від 0.2 до 0.5 можливе зростання 3l на 10 %. Саме імовірності зростання розмірів дефекту є основою розрахунку ентропії H . Реальне зростання дефекту відріз- няється від того яким його передбачає агент. Тому агент для розрахунку страте- гії враховує усі можливі значення зрос- тання дефектів та імовірності їх виник- Прикладні засоби програмування та програмне забезпечення 97 нення, щоб визначити найімовірніше очі- куване значення (5). Це дає можливість агенту будувати оптимальну стратегію після кожного циклу, з урахуванням усіх змін, що відбулися у середовищі. 0 * n i i i l p l    . (5) На першому етапі досліджень про- ведено 1000 дослідів для системи в якій 1 цикл складається з 1 такту. На основі об- раних стратегій побудовано траєкторію руху агента, яку графічно представлено на рис. 3. Рис. 3. Траєкторія руху агента коли 1 цикл складається з 1 такту На другому етапі досліджень про- ведено 1000 дослідів для системи в якій 1 цикл складається з 5 тактів. Відповідну траєкторію руху агента для 35 тактів (7 циклів) показано на рис. 4. В результаті побудовано модельні стратегії навігації агента для кожного ста- ну. Зважаючи на стохастичний характер середовища стратегії змінюються в процесі вимірювань. Як показали дослідження найкра- щим підходом до побудови стратегії є підхід коли 1 цикл складається з 1 такту, Рис. 4. Траєкторія руху агента коли 1 цикл складається з 5 тактів тобто після кожної виконаної агентом дії іде новий розрахунок стратегії. Завдяки цьому кожна виконана агентом дія є найе- фективніша за поточного стану середови- ща. Проте застосування такого підходу можливе лише за умов, коли модуль пла- нування є частиною агента або між ними існує постійно діючий канал зв’язку. У іншому випадку потрібно засто- совувати один з двох підходів. 1. Коли 1 цикл складається з декі- лькох тактів. Такий підхід можна реалізу- вати за умов коли агент лише інколи мо- же зв’язуватися з планувальником через проблеми з комунікаціями. Довжина цик- лів має залежати від періодичності зв’яз- ку агента з планувальником, тобто чим більший час між взаємною передачею даних тим більше тактів включатиме в себе цикл. Кількість тактів у циклі потрі- бно вибирати так щоб уникнути прос- тою агента в очікуванні отримання нової стратегії. Також підхід коли 1 цикл склада- ється з декількох тактів можна застосову- вати в системах, у яких процес збору інфо- рмації та інші заплановані дії виконують різні агенти. При цьому за час потрібний агенту для вимірювань у одному Прикладні засоби програмування та програмне забезпечення 98 стані, інший агент може здійснити перехо- ди та виконати свої завдання (наприклад відновлення ізоляційного покриття) у декі- лькох станах середовища. Тоді кількість тактів у циклі залежатиме від різниці у часі виконання операцій різними агентами. 2. Агент завжди діє згідно однієї стратегії. Такий підхід використовується, якщо агент у процесі роботи не може зв’язатися з планувальником. Використо- вуючи даний підхід побудувати ефектив- ну систему моніторингу неможливо, оскі- льки стохастичний характер середовища не дозволяє достовірно передбачати про- цеси у середовищі. Єдиним варіантом для застосування такого підходу є моніторинг однотипних об’єктів у детермінованому середовищі. Дослідження підходу коли 1 цикл складається з декількох тактів (кроків ви- мірювань) проводилися на моделі системи у якій 1 цикл складався з 5 послідовних кроків вимірювань. З 2 по 6, з 8 по 11, 14 та 17 такти виникала проблема зациклен- ня, а саме коли протягом одного циклу агент здійснював переходи лише між двома сусідніми ділянками вимірювань (рис. 5) і тільки після розрахунку нової стратегії, тобто закінчення поточного ци- клу, рухався до інших ділянок. Аналіз отриманих стратегій пока- зав, що зациклення виникає між ділянка- ми одна з яких відображена у моделі ста- ном з найвищою корисністю у поточному циклі. Агент переходить до вимірювань у нових ділянках лише після розрахунку нової стратегії, яка у більшості випадків відрізнятиметься від попередньої через оновлення корисності станів у зв’язку з ростом дефектів та збільшенням невизна- ченості. Проблема зациклення може вини- кати на усіх циклах, проте, як показали проведені досліди, найвища імовірність зациклення на другому циклі. Далі імові- рність зациклення з кожним циклом пос- тупово знижується (див. рис. 4), та після 19-го циклу залишається на одному рівні 0,45P  з невеликими відхиленнями 0,03P  . Рис. 5. Графік зміни імовірностей зациклення Висновок За допомогою методів MDP- планування можна побудувати ефективну автоматизовану систему моніторингу ста- ну елементів конструкцій. Запропоновано в ролі параметрів формування корисності станів використо- вувати невизначеність та величину приро- сту розмірів дефектів. У результаті для агента корисність виконання вимірювання у певній точці буде тим вищою чим більша невизначеність та приріст дефекту. На основі проведених досліджень виявлено, що найкращим підходом до по- будови стратегії є підхід коли 1 цикл скла- дається з 1 такту, тобто, агент виконує пе- рерахунок стратегій на кожному кроці спостережень. Недоліком цього підходу є потреба значних обчислювальних ресурсів та виконання обчислень у реальному мас- штабі часу, що важко забезпечити у деяких реальних системах. Підхід коли 1 цикл складається з декількох тактів вимірювань показав ниж- чу ефективність розрахунку оптимальної траєкторії, тому потребує розвитку в час- тині врахування результатів вимірювань, виконаних у біжучому циклі. Прикладні засоби програмування та програмне забезпечення 99 1. http://www.synview.com/b3- synviewcompact-en.php 2. Guestrin C., Koller D., Parr R., Venkataraman S. Efficient solution algorithms for factored MDPs // JAIR. – 2003. – N 19. – P. 399–468. 3. Malik G., Dana N., Traverso P. Automated Planning Theory & Practice – San Francisco : Morgan Knaufman, 2004. – 635 p. 4. Braziunas D. POMDP solution methods : technical report. – Toronto: University of Toronto, 2003 – 24 p. 5. Рассел С., Норвиг П. Искусственный ин- теллект. – М.; СПб.; К.: Вильямс, 2006. – 1408 с. 6. Spaan M., Vlassis N. Perseus: Randomized point-based value iteration for POMDPs // JAIR. – 2005. – N 24. – P. 195–220. 7. Досин Д.Г., Яценко А.О. Порівняння ефек- тивності алгоритмів планування, реалізо- ваних для Марківської моделі клієнта по- шукової системи // Відбір і обробка інфор- мації. – 2013. – № 38(114). – С. 118–124. Одержано 08.01.2014 Про авторів: Досин Дмитро Григорович, кандидат технічних наук, старший науковий співробітник, завідувач лабораторії системного аналізу науково-технічної інформації ФМІ НАН України, Яценко Андрій Олександрович, аспірант. Місце роботи авторів: Фiзико-механiчний інститут імені Г.В.Карпенка НАН України, 79060, м. Львів, вул. Наукова, 5. Тел.: (0322) 633 088 http://www.synview.com/b3-synviewcompact-en.php http://www.synview.com/b3-synviewcompact-en.php

Building automated monitoring systems structural elements method MDP-planning

Репозитарії

Схожі ресурси