Програмна система аналізу хмарності за даними супутникових спостережень

У даній роботі за допомогою онлайнового діалогового конструктору для автоматизації проектування робочих процесів ОКРП було спроектовано робочий процес для обробки архіву супутникових знімків з метою аналізу показників хмарності на території України. Робочий процес для реалізації поставленої задачі б...

Повний опис

Збережено в:

Бібліографічні деталі
Дата:	2019
Автори:	Дорошенко, А.Ю., Шпиг, В.М., Овдій, О.М.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Інститут програмних систем НАН України 2019
Назва видання:	Проблеми програмування
Теми:	Прикладні засоби програмування та програмне забезпечення
Онлайн доступ:	http://dspace.nbuv.gov.ua/handle/123456789/161500
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:	Програмна система аналізу хмарності за даними супутникових спостережень / А.Ю. Дорошенко, В.М. Шпиг, О.М. Овдій // Проблеми програмування. — 2019. — № 3. — С. 116-126. — Бібліогр.: 23 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine

id	irk-123456789-161500
record_format	dspace
spelling	irk-123456789-1615002019-12-12T01:26:50Z Програмна система аналізу хмарності за даними супутникових спостережень Дорошенко, А.Ю. Шпиг, В.М. Овдій, О.М. Прикладні засоби програмування та програмне забезпечення У даній роботі за допомогою онлайнового діалогового конструктору для автоматизації проектування робочих процесів ОКРП було спроектовано робочий процес для обробки архіву супутникових знімків з метою аналізу показників хмарності на території України. Робочий процес для реалізації поставленої задачі було розроблено для системи Apache Oozie, призначеної для управління роботами розподіленої платформи Apache Hadoop. З метою підтримки масштабованості та оптимізації обробки для реалізації аналізу знімків було використано фреймворк Apache Spark. Проведено експерименти, що довели ефективність обраного підходу та відповідність отриманих результатів даним фактичних спостережень. 2019 Article Програмна система аналізу хмарності за даними супутникових спостережень / А.Ю. Дорошенко, В.М. Шпиг, О.М. Овдій // Проблеми програмування. — 2019. — № 3. — С. 116-126. — Бібліогр.: 23 назв. — укр. 1727-4907 DOI: https://doi.org/10.15407/pp2019.03.116 http://dspace.nbuv.gov.ua/handle/123456789/161500 004.932.2:[551.501:551.576.2] Прикладні засоби програмування та програмне забезпечення uk Проблеми програмування Інститут програмних систем НАН України
institution	Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection	DSpace DC
language	Ukrainian
topic	Прикладні засоби програмування та програмне забезпечення Прикладні засоби програмування та програмне забезпечення
spellingShingle	Прикладні засоби програмування та програмне забезпечення Прикладні засоби програмування та програмне забезпечення Дорошенко, А.Ю. Шпиг, В.М. Овдій, О.М. Програмна система аналізу хмарності за даними супутникових спостережень Проблеми програмування
description	У даній роботі за допомогою онлайнового діалогового конструктору для автоматизації проектування робочих процесів ОКРП було спроектовано робочий процес для обробки архіву супутникових знімків з метою аналізу показників хмарності на території України. Робочий процес для реалізації поставленої задачі було розроблено для системи Apache Oozie, призначеної для управління роботами розподіленої платформи Apache Hadoop. З метою підтримки масштабованості та оптимізації обробки для реалізації аналізу знімків було використано фреймворк Apache Spark. Проведено експерименти, що довели ефективність обраного підходу та відповідність отриманих результатів даним фактичних спостережень.
format	Article
author	Дорошенко, А.Ю. Шпиг, В.М. Овдій, О.М.
author_facet	Дорошенко, А.Ю. Шпиг, В.М. Овдій, О.М.
author_sort	Дорошенко, А.Ю.
title	Програмна система аналізу хмарності за даними супутникових спостережень
title_short	Програмна система аналізу хмарності за даними супутникових спостережень
title_full	Програмна система аналізу хмарності за даними супутникових спостережень
title_fullStr	Програмна система аналізу хмарності за даними супутникових спостережень
title_full_unstemmed	Програмна система аналізу хмарності за даними супутникових спостережень
title_sort	програмна система аналізу хмарності за даними супутникових спостережень
publisher	Інститут програмних систем НАН України
publishDate	2019
topic_facet	Прикладні засоби програмування та програмне забезпечення
url	http://dspace.nbuv.gov.ua/handle/123456789/161500
citation_txt	Програмна система аналізу хмарності за даними супутникових спостережень / А.Ю. Дорошенко, В.М. Шпиг, О.М. Овдій // Проблеми програмування. — 2019. — № 3. — С. 116-126. — Бібліогр.: 23 назв. — укр.
series	Проблеми програмування
work_keys_str_mv	AT dorošenkoaû programnasistemaanalízuhmarnostízadanimisuputnikovihspostereženʹ AT špigvm programnasistemaanalízuhmarnostízadanimisuputnikovihspostereženʹ AT ovdíjom programnasistemaanalízuhmarnostízadanimisuputnikovihspostereženʹ
first_indexed	2025-07-14T14:03:44Z
last_indexed	2025-07-14T14:03:44Z
_version_	1837631353758154752
fulltext	Прикладні засоби програмування та програмне забезпечення © А.Ю. Дорошенко, В.М. Шпиг, О.М. Овдій, 2019 116 ISSN 1727-4907. Проблеми програмування. 2019. № 3 УДК 004.932.2:[551.501:551.576.2] https://doi.org/10.15407/pp2019.03.116 А.Ю. Дорошенко, В.М. Шпиг, О.М. Овдій ПРОГРАМНА СИСТЕМА АНАЛІЗУ ХМАРНОСТІ ЗА ДАНИМИ СУПУТНИКОВИХ СПОСТЕРЕЖЕНЬ У даній роботі за допомогою онлайнового діалогового конструктору для автоматизації проектування робочих процесів ОКРП було спроектовано робочий процес для обробки архіву супутникових знім- ків з метою аналізу показників хмарності на території України. Робочий процес для реалізації поста- вленої задачі було розроблено для системи Apache Oozie, призначеної для управління роботами роз- поділеної платформи Apache Hadoop. З метою підтримки масштабованості та оптимізації обробки для реалізації аналізу знімків було використано фреймворк Apache Spark. Проведено експерименти, що довели ефективність обраного підходу та відповідність отриманих результатів даним фактичних спостережень. Ключові слова: розподілені обчислення, робочі процеси, Apache Hadoop, Apache Spark, аналіз зобра- жень, моніторинг, хмарність. Вступ В області метеорології задача об- робки та аналізу великих обсягів даних є надзвичайно актуальною. Це зумовлено наявністю величезних об’ємів історичних та поточних даних метеорологічних вели- чин, великим різноманіттям технічних засобів вимірювань і спостережень та складністю моделей. Однією із основних таких величин у моделях та синоптичних методах прогнозу погоди, кліматології, агрометеорології тощо є хмарність, тобто кількість хмар, яка характеризує ступінь покриття небосхилу хмарами і визнача- ється спостерігачем у десятих частках одиниці (балах). Вона є одним із найваж- ливіших факторів для перебігу багатьох фізичних процесів в атмосфері та біля земної поверхні. Змінюючись у часі та просторі, хмарність суттєво впливає на радіаційний та тепловий режими Землі, а отже, має безпосередній вплив на кліма- тичну систему планети, її глобальні та регіональні зміни. З іншого боку інфор- мація про загальну хмарність, купчасто- дощові хмари та пов’язані із ними небез- печні та стихійні явища (наприклад, гроза, град, смерч, шквал і т. п.) є важливою як для цивільної, так і військової авіації, багатьох галузей економіки держави. Протягом десятиліть в Україні клі- матологічні дослідження хмарності (геог- рафічні та сезонні особливості, добовий хід тощо), розробка синоптичних та інших методів прогнозування, верифікація моде- лей прогнозу погоди проводяться із вико- ристанням даних лише наземних спосте- режень [1–5]. Подібного характеру дослі- дження виконуються і в інших країнах у такий же спосіб [6, 7]. Водночас наявність супутникових даних відкриває широкий спектр можливостей покращення безпосе- реднього моніторингу хмарного покриву, пов’язаних із ним атмосферних опадів та інших явищ, отримання нових даних (шля- хом обробки та аналізу різнорідної інфор- мації) та для започаткування цілого векто- ру досліджень в Україні. Використання супутникової інформації дає можливість більш тонко здійснювати аналіз поля хма- рності у регіонах зі складним рельєфом, оскільки орографічні особливості можуть змінювати хмарні системи на відносно коротких просторово-часових масштабах, а частота отримання даних дозволяє виок- ремити не тільки великомасштабне пере- несення, але і особливості місцевої цирку- ляції у гірських районах, кластерізацію опадів тощо [8, 9]. На даний момент Україна не має своїх власних метеорологічних супут- ників, для потреб оперативного прогно- зування та наукових досліджень вико- ристовуються дані EUMETSAT (Європей- ська організація з експлуатації метео- рологічних супутників) та NOAA (Націо- нальна адміністрація з океанічних та https://doi.org/10.15407/pp2019.03.11 Прикладні засоби програмування та програмне забезпечення 117 атмосферних досліджень, США), частина яких зберігається у вигляді знімків. Зок- рема, дані щодо хмарного покриву та яск- равісної температури в каналі 10,8 мкм радіометра SEVIRI геостаціонарного су- путника MSG (EUMETSAT), які і було використано з метою створення системи аналізу хмарності для території України. У даній роботі для вирішення зада- чі обробки супутникових знімків було вирішено використовувати розподілену обчислювальну платформу Apache Hado- op [10]. За допомогою системи для авто- матизації проектування робочих процесів на основі алгеброалгоритмічного та онто- логічного інструментарію ОКРП [11] було спроектовано робочий процес для систе- ми Apache Oozie, призначеної для управ- ління роботами Apache Hadoop. Система ОКРП є подальшим розвитком методоло- гій та інструментів, що ґрунтуються на засобах високорівневої алгеброалгоритмі- чної формалізації і автоматизації перетво- рень програм [12–16], зокрема експери- ментальної інструментальної системи ІПС для конструювання та оптимізації парале- льних програм, а також її онлайн версії системи ОДСП. З метою підтримки масш- табованості та оптимізації обробки вели- кого обсягу супутникових знімків для ре- алізації аналізу зображень було викорис- тано фреймворк Apache Spark. Проведено експерименти, які довели ефективність обраного підходу. 1. Програмна реалізація обробки супутникових знімків У рамках даної роботи була поста- влена задача обробки архіву супутнико- вих знімків для обчислення та аналізу по- казників хмарності на території України. Знімки зберігаються у форматі збережен- ня графічної інформації JPEG. На супут- никових знімках в залежності від значень яскравісної температури хмарність зо- бражено різними кольорами спектру. Конвективна хмарність ідентифікувалася згідно [17] з урахуванням географічного розташування України. Для вирішення задачі необхідно об- числити загальну хмарність, конвективну та неконвективну. При аналізі знімків ви- никло декілька проблем. Перша проблема пов’язана з тим, що JPEG є форматом, що використовує стиснення з втратами і в зв’язку з великим ступенем стиснення вихідних зображень втрата та спотворення даних є дуже великими. Цю проблему було вирішено за рахунок введення похи- бок та попередньої обробки зображення з метою вилучення шумів. Наступною про- блемою були нанесені на зображення об- риси кордонів областей та назв населених пунктів. Цю проблему було вирішено шляхом використання маски для їх вилу- чення з розрахунків з подальшим обчис- ленням значення кольорів точок зобра- ження, що потрапили під маску, за най- ближчими точками поза маскою. В зв’язку з тим, що всі ці заходи не в змозі повністю відновити зображення, в обчисленнях при- сутні похибки. Для реалізації аналізу супутнико- вих знімків було вирішено використати систему для автоматизації проектування робочих процесів ОКРП [11]. В даній сис- темі поєднання інструментів онтологій та алгеброалгоритмічних інструментів за- безпечує значний потенціал для адаптації, оптимізації, інтеграції та модифікації роз- роблюваних робочих процесів. Робочі процеси [18] забезпечують систематичний спосіб опису необхідних методів та інтер- фейс між фахівцями та обчислювальним середовищем, спрощуючи задачу обробки та аналізу даних з різних джерел на ши- рокому спектрі обчислювальних плат- форм. Робочий процес для реалізації пос- тавленої задачі було розроблено для сис- теми Apache Oozie [19]. Apache Oozie є системою керування робочими процесами для управління роботами розподіленої платформи Apache Hadoop. Apache Hadoop призначена для розподіленого зберігання й обробки великих об’ємів даних на вели- ких комп’ютерних кластерах. З метою підтримки масштабовано- сті та оптимізації обробки великого обся- гу супутникових знімків для реалізації кроку аналізу знімків по отриманню да- них про хмарність використовується Прикладні засоби програмування та програмне забезпечення 118 фреймворк Apache Spark [20, 21]. Apache Spark – це кластерний обчислюва- льна фреймворк з відкритим вихідним кодом для розподіленої обробки великих об’ємів даних. Spark не використовує MapReduce [22] як механізм виконання, замість цього він використовує власне розподілене середовище. Тим не менш, Spark має багато спільного з MapReduce з точки зору API та середовища виконання. Spark тісно інтегрований з Apache Hadoop і він може запускатися як на Hadoop YARN так і у відокремленому режимі. Spark може працювати з різноманітними форматами файлів та сховищами даних Hadoop такими як розподілена файлова система HDFS, розподілена база даних HBase і т. д. На відміну від MapReduce, де дані завжди завантажуються з диска, Spark здатен між робочими задачами зберігати їх у оперативній пам'яті, що дозволяє значно збільшити швидкість виконання для деяких класів задач. Ця можливість дозволяє Spark перевершити за продуктив- ністю еквівалентний робочий процес MapReduce (на порядок або більше в де- яких випадках). Spark підтримує такі мови програ- мування як Scala, Java і Python. Для більш детального статистично- го аналізу отриманих з супутникових знім- ків даних про хмарність застосовується програмне середовище R [23], що призна- чене для статистичних обчислень та аналі- зу даних. На рис. 1 показано схему розробле- ного робочого процесу для аналізу хмар- ності за супутниковими знімками. Робочий процес складається з на- ступних кроків:  start – запуск робочого процесу;  spark-job – крок робочого про- цесу, який запускає програму Apache Spark, що виконує обробку масиву супут- никових знімків для отримання показників хмарності. Деталі реалізації даного кроку описані нижче;  fork – розбиває шлях виконання робочого процесу на кілька паралельних. Це дозволяє паралельно провести статис- тичний аналіз отриманих на попередньому кроці даних про хмарність;  r-mean-by-month – shell-скрипт, який запускає на виконання програму R для статистичного аналізу даних та виводу результатів. Програма обчислює середні показники хмарності за місяцями та графі- чно представляє результат зі зберіганням графіків у форматі PDF;  r-mean-by-day – shell-срипт, який запускає на виконання програму R для статистичного аналізу даних та виводу start spark-job r-mean-by-month f o r k r-mean-by-day r-mean-by-day-for- single-month j o i n email-error email-success end fail Рис. 1. Схема робочого процесу аналізу супутникових знімків Прикладні засоби програмування та програмне забезпечення 119 результатів. Програма обчислює середні показники хмарності за днями та графічно представляє результат зі зберіганням гра- фіків у форматі PDF; - r-mean-by-day-for-single-month – shell-срипт, який запускає на виконання програму R для статистичного аналізу даних та виводу результатів. Програма обчислює середні показники хмарності за днями для обраного місяця та графічно представляє результат зі зберіганням гра- фіків у форматі PDF;  join – очікує, поки закінчяться всі паралельні шляхи виконання робочого процесу;  email-success – сповіщає про вдале виконання робочого процесу та над- силає результати;  email-error – сповіщення у разі виникнення помилок та збою робочого процесу.  end – успішне завершення робо- чого процесу;  fail – примусове завершення ро- бочого процесу, наприклад, у разі виник- нення помилок. Програму для обробки та аналізу супутникових знімків на платформі Apache Spark, що виконується у рамках спроектованого робочого процесу, було реалізовано мовою Java. Вона складається з таких основних кроків:  завантаження зображень та на- лаштувань;  перевірки потрапляння точок зображення, що аналізується, у вибрану область (вся територія України, Київська область і т. д.) з використанням масиву координат досліджуваної області за допо- могою методу трасування променем;  фільтрація точок зображення за маскою, для вилучення нанесених на кар- ту кордонів регіонів та назв населених пунктів. Обчислення значення кольорів точок, що потрапили під маску викону- ється за допомогою обходу масиву точок за спіраллю на предмет пошуку найближ- чої точки, що не потрапила під маску;  обхід масиву точок та визна- чення наявності в них хмарності (див. рис. 2) та її типу (конвективна, неконвек- тивна) на підставі попадання кольору то- чки у відповідний діапазон кольорового спектру;  обробка проміжних результатів для вилучення шумів;  обрахунок площі хмарності різ- них типів та збереження результатів. Далі наведено фрагмент згенерова- ного коду специфікації робочого процесу для цільової системи управління робочими процесами, у даному випадку Apache Oozie. Рис. 2. Фрагмент супутникового знімку та результат фільтрації точок за маскою з ідентифікованою хмарністю Прикладні засоби програмування та програмне забезпечення 120 <workflow-app xmlns="uri:oozie:workflow:1.0" name="forecast-wf"> <startto="spark-job"/> <actionname="spark-job"> <sparkxmlns="uri:oozie:spark-action:1.0"> ... </spark> <okto="r-analyse"/> <errorto="email-error"/> </action> <forkname="r-analyse"> <pathstart="r-mean-by-month" /> <pathstart="r-mean-by-day" /> <pathstart="r-mean-by-day-for-single-month" /> </fork> <actionname="r-mean-by-month"> <shellxmlns="uri:oozie:shell-action:1.0"> ... </shell> <okto="email-error"/> <errorto="email-error"/> </action> ... <joinname="join-r-analyse" to="email-success"/> <actionname="email-success"> ... </action> <actionname="email-error"> ... </action> <killname="fail"> ... </kill> <endname="end"/> </workflow-app> В рамках роботи було обчислено показники хмарності для усієї території України та окремо для Київської області. 2. Результати експерименту Розроблений в рамках даної роботи робочий процес було застосовано для обробки архіву супутникових знімків, збе- режених у форматі JPEG. Архів містить знімки за кожну добу з інтервалом 15 хви- лин. Для прикладу було обрано вибірку за один рік з 01.03.2018 по 28.02.2019 об’ємом 8 Гб. Для виконання робочого процесу використано фізичну обчислювальну ма- шину з такими характеристиками:  4-ядерний процесор IntelCore i7- 6700HQ з частотою 2.6 ГГц,  об’єм оперативної пам’яті 32 Гб. Для проведення експерименту було розгорнуто інфраструктуру Apache Hadoop у псевдорозподіленому режимі. Архів зні- мків було перенесено у розподілену фай- лову систему HDFS. При випробуваннях було дослідже- но швидкість виконання робочого процесу при однаковому об’ємі вихідних даних для різної кількості потоків виконання про- грами Apache Spark. Графік на рис. 3 показує залежність часу виконання робочого процесу для об- рахунку показників хмарності по Київсь- кій області для різної кількості потоків виконання Apache Spark. Значення прис- корення при подвоєнні кількості потоків у середньому складає 1,8. У результаті проведених обчислень було отримано часові розподіли площі, вкритої хмарним покривом, у межах України різного ступеня деталізації. На рис. 4 та рис. 5 показано річний хід на території України та для березня 2018 р. середні добові значення у межах Київсь- кої області площ загальної (позначено суцільною лінією), конвективної (позна- Прикладні засоби програмування та програмне забезпечення 121 чено штриховою лінією) та неконвектив- ної хмарності (позначено штрихпунктир- ною лінією). Отриманий річний хід (див. рис. 4) на якісному рівні добре узгоджу- ється із даними багаторічних спостере- жень, приведеними у [2]. Так, найбільше хмар спостерігається у зимові місяці, вес- ною хмарність зменшується, влітку тен- денція зменшення продовжується (проте просторовий розподіл хмар більш неод- норідний, ніж зимою та весною; з’являються сприятливі умови для розви- тку потужних конвективних хмар), восени хмарність починає збільшуватися. Ясно, що у межах окремо взятого місяця (див. рис. 5), протягом року та від одного року до іншого значення загальної хмарності та окремих її типів будуть суттєво відрізня- тися. Проте відповідно до отриманих ре- зультатів, можна висловити припущення, що використання супутникових даних дає вищі значення хмарності, ніж значення отримані на основі наземних спостере- жень. Згідно [2] у зимові місяці майже на всій території країни близько 70–75 % небосхилу закрито хмарами, у нашому випадку за даними супутникових спосте- режень для періоду в один рік це – близь- ко 90 %. Навесні за даними багаторічних наземних спостережень це – 60 %, у бере- зні – травні 2018 р. за даними супутнико- вих спостережень мало місце зменшення від 83 % до 28 % відповідно. Аналогічна схожість має місце і для інших сезонів. На рис. 6 приведено дані спостережень за загальною хмарністю метеостанції Київ для березня 2018 р. Розриви у кривій (ла- куни) пояснюються відсутністю даних в архіві Українського гідрометеорологічно- го інституту ДСНС України та НАН Укра- їни. Порівнюючи рис. 5 та 6 і беручи до уваги, що площа Київської області стано- вить 28131 км 2 , можемо бачити добре уз- годження ходу загальної хмарності як за величиною площі, так і за ступенем пок- риття небосхилу. Проте є відмінність що- до настання мінімумів. У Києві вони спо- стерігались 11, 19 та 24 березня, а по об- ласті 13, 20 та 23 березня 2018 р. Розбіжності, які мають місце, мож- на пояснити одночасним і рівномірним охопленням великої площі, відсутністю місцевих перешкод (закритості частини горизонту) для спостереження, а також проходженням атмосферних фронтів (коли над однією частиною точок наземних спо- стережень ще не спостерігається, а над іншою вже спостерігається суцільний хмарний покрив). Рис. 3. Залежність часу виконання робочого процесу від кількості потоків виконання Apache Spark Прикладні засоби програмування та програмне забезпечення 122 Рис. 4. Річний хід площ загальної, неконвективної та конвективної хмарності [10 5 км 2 ] на території України Рис. 5. Середні добові значення площ загальної, неконвективної та конвективної хмарності [км 2 ] на території Київської області протягом березня 2018 р. Прикладні засоби програмування та програмне забезпечення 123 Рис. 6. Середня за добу загальна хмарність за даними спостережень у м. Київ у березні 2018 р. Висновки В даній роботі за допомогою он- лайнового діалогового конструктору для автоматизації проектування робочих про- цесів ОКРП було спроектовано робочий процес для обробки архіву супутникових знімків з метою аналізу показників хмар- ності на території України. Робочий про- цес для реалізації поставленої задачі було розроблено для системи Apache Oozie, призначеної для управління роботами роз- поділеної платформи Apache Hadoop. З метою підтримки масштабованості та оп- тимізації обробки великого обсягу супут- никових знімків для реалізації аналізу зо- бражень було використано фреймворк Apache Spark. Проведено експеримент що- до виконання розробленого робочого про- цесу при різній кількості потоків Apache Spark, результати якого продемонстрували хороший показник ефективності розпара- лелювання обчислень. Показано, що отри- мані у ході експерименту результати на якісному рівні добре узгоджуються із да- ними багаторічних наземних спостережень та фактичними даними спостережень. Ви- словлено припущення, що використання супутникових даних дає вищі значення хмарності, що пояснюється одночасним і рівномірним охопленням великої терито- рії, відсутністю місцевих перешкод (закри- тості частини горизонту) та проходженням атмосферних фронтів. Література 1. Климат Украины [Под редакцией Г.Ф. Приходько, А.В. Ткаченко, В.Н. Ба- биченко]. Ленинград: Гидрометеоиздат, 1967. 227 c. 2. Клімат України [За редакцією В.М. Лі- пінського, В.А. Дячука, В.М. Бабіченко]. Київ: видавництво Раєвського, 2003. 344 с. 3. Заболоцька Т.М., Шпиг В.М. Трансформа- ція баричного поля та хмарності у випадку тривалих і сильних опадів. Наукові праці Українського науково-дослідного гідроме- теорологічного інституту. 2014. № 266. С. 12–19. 4. Заболоцька Т.М., Шпиг В.М. Кількісні зміни хмарності як показник тривалості періоду глобального потепління. Наукові праці Українського науково-дослідного гід- Прикладні засоби програмування та програмне забезпечення 124 рометеорологічного інституту. 2015. № 267. С. 23–27. 5. Shpyg V. et al. The application of regional NWP models to operational weather forecast- ing in Ukraine. CAS Technical Conference (TECO) on “Responding to the Environmen- tal Stressors of the 21st Century”: 18–19 No- vember 2013: Conf. Materials. 2013. URL: http://www.wmo.int/pages/prog/arep/cas/docu ments/Ukraine-NWPModels.pdf (дата звер- нення: 27.06.2019). 6. Хлебникова Е.И., Салль И.А. Особенности климатических изменений облачного по- крова над территорией России. Метеороло- гия и гидрология. 2009. № 7. С. 5–13. 7. Warren S.G., Eastman R.M., Hahn C.J. A survey of Changes in Cloud Cover and Cloud Types over Land from Surface Observations, 1971-96. Climate. 2007. N 20. P. 717–738. 8. Giovannettone J.P. and Barros A.P. Probing Regional Orographic Controls of Precipitation and Cloudiness in the Central Andes Using Satellite Data. Journal of Hydrometeorology February. 2009. Vol. 10, N 1. P. 167–182. 9. Sumargo E. and Cayan D. R. Variability of Cloudiness over Mountain Terrain in the Western United States. Journal of Hydrome- teorology. 2017. Vol. 18, N 5. P. 1227–1245. 10. Apache Hadoop: сайт. URL: http://hadoop.apache.org/ (дата звернення: 1.06.2019). 11. Овдій О.М. До питання автоматизації про- ектування робочих процесів на основі ал- гебро-алгоритмічного та онтологічного ін- струментарію. Проблеми програмування. 2019. № 1. С. 37–47. 12. Дорошенко Е.А., Яценко Е.А. О синтезе программ на языке Java по алгеброалгори- тмическим спецификациям. Проблеми про- грамування. 2006. № 4. С. 58–70. 13. Андон Ф.И., Дорошенко А.Е., Цейтлин Г.Е., Яценко Е.А. Алгеброалгоритмические модели и методы параллельного програм- мирования. Киев: Академпериодика, 2007. 631 с. 14. Андон Ф.И., Дорошенко А.Е., Бекетов А.Г., Иовчев В.А., Яценко Е.А. Инструме- нтальные средства автоматизации парал- лельного программирования на основе ал- гебры алгоритмов. Кибернетика и систем- ный анализ. 2015. № 1. С. 162–170. 15. Дорошенко А.Ю., Іваненко П.А., Овдій О.М., Яценко О.А. Автоматизоване проек- тування програм для розв’язання задачі метеорологічного прогнозування. Пробле- ми програмування. 2016. № 1. С. 102–115. 16. Дорошенко Е.А., Овдей О.М., Яценко Е.А. Онтологические и алгеброалгоритмичес- кие средства автоматизации проектирова- ния параллельных программ для "облач- ных" платформ. Кибернетика и систем- ный анализ. 2017. Т. 53, № 2. С. 181–192. 17. Setvák M. et al. Blended "Sandwich" Image Products in Nowcasting. 2012 EUMETSAT Meteorological Satellite Conference. URL: https://www.eumetsat.int/website/wcm/idc/idc plg?IdcService=GET_FILE&dDocName=PD F_CONF_P61_S7_11_SETVAK_V&Revisio nSelectionMethod=LatestReleased&Renditio n=Web (дата звернення: 27.06.2019). 18. Workflow Management Coalition: сайт. URL: https://www.wfmc.org/ (дата звернен- ня: 1.06.2019). 19. Apache Oozie Workflow Scheduler for Ha- doop: сайт. URL: http://oozie.apache.org/ (дата звернення: 1.06.2019). 20. Apache Spark: сайт. URL: https://spark.apache.org/ (дата звернення: 1.06.2019). 21. White T. Hadoop: The Definitive Guide, 4th Edition. O'Reilly Media, Inc. 2015. 756p. 22. Dean J., Ghemawat S. Mapreduce: Simplified data processing on large clusters. In Proc. of the 6th USENIX OSDI. 2004. P. 137-150. 23. The R Project for Statistical Computing: сайт. URL: https://www.r-project.org/ (дата звер- нення: 1.06.2019). References 1. Climate of Ukraine [Ed. by G.F. Prikhodko, A.V. Tkachenko, V.N. Babichenko] (1967). Leningrad: Hydrometeoizdat. 227 p. (in Rus- sian). 2. Climate of Ukraine [Ed. by V.M. Lipinsky, V.A. Diachuk, V.M. Babichenko] (2003). Ky- iv: Publishing House of Raevsky. 344 p. (in Ukrainian). 3. Zabolotska, T.M., Shpyg V.M. (2014). Trans- formation of baric field and cloudiness in the case of long-term and heavy precipitation. Scientific Proceedings of the UHMI. 266. P. 12–19. (in Ukrainian). 4. Zabolotska, T.M., Shpyg V.M. (2015). Quan- titative changes of cloud cover as indicator of global warming period. Scientific Proceedings of the UHMI. 267. P. 23–27. (in Ukrainian). 5. Shpyg V. et al. (2013). The application of regional NWP models to operational weather forecasting in Ukraine. CAS Technical Con- Прикладні засоби програмування та програмне забезпечення 125 ference (TECO) on “Responding to the Envi- ronmental Stressors of the 21st Century”. [online] Available from: http://www.wmo.int/pages/prog/arep/cas/docu ments/Ukraine-NWPModels.pdf [Accessed 27 Jun. 2019]. 6. Khlebnikova E.I., Sall I.A. (2009). Peculiarities of climatic changes in cloud cover over the Russian Federation. Russian Meteorology and Hydrology. 7. P. 5–13. (in Russian). 7. Warren S.G., Eastman R.M., Hahn C.J. (2007). A survey of Changes in Cloud Cover and Cloud Types over Land from Surface Observations, 1971-96. Climate. N 20. P. 717–738. 8. Giovannettone J.P. and Barros A.P. (2009). Probing Regional Orographic Controls of Pre- cipitation and Cloudiness in the Central Andes Using Satellite Data. Journal of Hy- drometeorology February. Vol. 10, N 1. P. 167–182. 9. Sumargo E. and Cayan D.R. (2017). Variabil- ity of Cloudiness over Mountain Terrain in the Western United States. Journal of Hydro- meteorology. Vol. 18, N 5. P. 1227–1245. 10. Hadoop.apache.org. Apache Hadoop Official Website. [online] Available from: http://hadoop.apache.org/ [Accessed 1 Jun. 2019]. 11. Ovdii, O.M. (2018) On the issue of automat- ing the workflow design based on algebra- algorithmic and ontological tools. Problems in programming. (1). P. 37–47. (in Ukrainian). 12. Doroshenko, A.Yu. & Yatsenko O.A. (2006) About the synthesis of Java programs by algebra-algorithmic specifications. Problems in programming. (4). P. 58–70. (in Russian). 13. Andon, P.I. et al. (2007) Algebra-algorithmic models and methods of parallel programming. Kiev: Academperiodika. (in Russian). 14. Andon, P.I., Doroshenko, A.Yu., Beketov, O.G., Iovchev, V.O. & Yatsenko O.A. (2015) Software tools for automation of parallel programming on the basis of algebra of algorithms. Cybernetics and systems analysis. (1). P. 162–170. (in Russian). 15. Doroshenko, A.Yu., Ivanenko, P.A., Ovdii, O.M., & Yatsenko, O.A. (2016) Automated design of programs for solving the task of meteorological forecasting. Problems in programming. (1). P. 102–115. (in Ukrainian). 16. Doroshenko, A.Yu., Ovdii, O.M. & Yatsenko O.A. (2017) Ontological and algebra- algorithmic tools for automated design of parallel programs for cloud platforms. Cybernetics and Systems Analysis. 53(2). P. 181–192. (in Russian). 17. Setvák M. et al. (2012). Blended "Sandwich" Image Products in Nowcasting. EUMETSAT Meteorological Satellite Conference. [online] Available from: https://www.eumetsat.int/website/wcm/idc/idc plg?IdcService=GET_FILE&dDocName=PD F_CONF_P61_S7_11_SETVAK_V&Revisio nSelectionMethod=LatestReleased&Renditio n=Web [Accessed 27 Jun. 2019]. 18. Wfmc.org. Workflow Management Coalition. [online] Available from: https://www.wfmc.org/ [Accessed 1 Jun. 2019]. 19. Oozie.apache.org. Apache Oozie Workflow Scheduler for Hadoop Official Website. [online] Available from: http://oozie.apache.org/ [Accessed 1 Jun. 2019]. 20. Spark.apache.org Unified analytics engine for BigData.[online] Available from: https://spark.apache.org/ [Accessed 1 Jun. 2019]. 21. White T. (2015) Hadoop: The Definitive Guide, 4th Edition. O'Reilly Media, Inc. 22. Dean J. & Ghemawat S. (2004) Mapreduce: Simplified data processing on large clusters. In: 6th USENIX OSDI, pp. 137-150. 23. R-project.org. The R Project for Statistical Computing Official Website. [online] Availa- ble from: https://www.r-project.org/ [Ac- cessed 1 Jun. 2019]. Одержано 01.07.2019 Про авторів: Дорошенко Анатолій Юхимович, доктор фізико-математичних наук, професор, завідувач відділу теорії комп’ютерних обчислень Інституту програмних систем НАН України, професор кафедри автоматики та управління в технічних системах НТУУ “КПІ імені Ігоря Сікорського”. Кількість наукових публікацій в українських виданнях – понад 150. Кількість наукових публікацій в зарубіжних виданнях – понад 50. Індекс Хірша – 5. http://orcid.org/0000-0002-8435-1451, Прикладні засоби програмування та програмне забезпечення 126 Шпиг Віталій Михайлович, кандидат географічних наук, завідувач відділу фізики атмосфери Українського гідрометеорологічного інституту ДСНС України та НАН України, експерт Комісії з атмосферних наук Всесвітньої метеорологічної організації. Кількість наукових публікацій в українських виданнях – понад 40. Кількість наукових публікацій в зарубіжних виданнях – понад 50. Індекс Хірша – 2. https://orcid.org/0000-0003-1055-7120, Овдій Ольга Михайлівна, молодший науковий співробітник Інституту програмних систем НАН України. Кількість наукових публікацій в українських виданнях – 22. Кількість наукових публікацій в зарубіжних виданнях – 5. http://orcid.org/0000-0002-8891-7002. Місце роботи авторів: Інститут програмних систем НАН України, 03187, м. Київ-187, проспект Академіка Глушкова, 40. Тел.: (38)(044) 526 6033. E-mail: doroshenkoanatoliy2@gmail.com, olga.ovdiy@gmail.com; Український гідрометеорологічний Інститут ДСНС України та НАН України, 03028, м. Київ, проспект Науки, 37. Тел.: (38)(044) 525 8630. E-mail: vitold82@i.ua.

Програмна система аналізу хмарності за даними супутникових спостережень

Репозитарії

Схожі ресурси