Weather anomaly monitoring method based on sensor network technology

In the paper a method for meteorological forecast precision improvement was proposed, the method is based on analogy search in a weather measurement history, which was received from the wireless sensor network and weather forecast history data. A methodic is proposed for obtaining warnings for possi...

Ausführliche Beschreibung

Gespeichert in:

Bibliographische Detailangaben
Datum:	2017
1. Verfasser:	Rahozin, D.V.
Format:	Artikel
Sprache:	rus
Veröffentlicht:	Інститут програмних систем НАН України 2017
Schlagworte:	UDC 004.94
Online Zugang:	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/153
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!
Назва журналу:	Problems in programming

Institution

Problems in programming

id	pp_isofts_kiev_ua-article-153
record_format	ojs
resource_txt_mv	ppisoftskievua/1f/e651bd677955a995edfd6d66d84c271f.pdf
spelling	pp_isofts_kiev_ua-article-1532018-07-18T13:18:15Z Weather anomaly monitoring method based on sensor network technology Метод мониторинга аномалий локальной погоды на основе технологий сенсорных сетей Метод моніторингу аномалій локальної погоди на основі технологій сенсорних мереж Rahozin, D.V. UDC 004.94 УДК 004.94 УДК 004.94 In the paper a method for meteorological forecast precision improvement was proposed, the method is based on analogy search in a weather measurement history, which was received from the wireless sensor network and weather forecast history data. A methodic is proposed for obtaining warnings for possible local dangerous weather conditions also based on analogy search in the weather measurements history. Results of weather data processing and weather anomaly search are demonstrated and analyzed. В статье предложен метод уточнения метеорологического прогноза на основании поиска аналогий погоды в истории местных метеорологических наблюдений, полученных с помощью сенсорной сети, и истории прогнозов погоды. Предложена методика предупреждения местных опасных метеорологических явлений на основе поиска аналогий погоды в истории метеорологических наблюдений. Также продемонстрированы и проанализированы результаты обработки массива погодных данных с целью поиска погодных аномалий. У статті запропонований метод уточнення метеорологічного прогнозу, що оснований на пошуку аналогій погоди в історії метеорологічних спостережень, отриманих за допомогою сенсорної мережі, і історії прогнозів погоди. Запропонована методика попередження місцевих небезпечних метеорологічних явищ, яка основана на пошуку аналогій погоди в історії метеорологічних спостережень. Продемонстровані і проаналізовані результати обробки масиву погодних даних з метою пошуку погодних аномалій. Інститут програмних систем НАН України 2017-06-15 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/153 PROBLEMS IN PROGRAMMING; No 3 (2015) ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 3 (2015) ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 3 (2015) 1727-4907 rus https://pp.isofts.kiev.ua/index.php/ojs1/article/view/153/147 Copyright (c) 2017 ПРОБЛЕМИ ПРОГРАМУВАННЯ
institution	Problems in programming
baseUrl_str	https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date	2018-07-18T13:18:15Z
collection	OJS
language	rus
topic	UDC 004.94
spellingShingle	UDC 004.94 Rahozin, D.V. Weather anomaly monitoring method based on sensor network technology
topic_facet	UDC 004.94 УДК 004.94 УДК 004.94
format	Article
author	Rahozin, D.V.
author_facet	Rahozin, D.V.
author_sort	Rahozin, D.V.
title	Weather anomaly monitoring method based on sensor network technology
title_short	Weather anomaly monitoring method based on sensor network technology
title_full	Weather anomaly monitoring method based on sensor network technology
title_fullStr	Weather anomaly monitoring method based on sensor network technology
title_full_unstemmed	Weather anomaly monitoring method based on sensor network technology
title_sort	weather anomaly monitoring method based on sensor network technology
title_alt	Метод мониторинга аномалий локальной погоды на основе технологий сенсорных сетей Метод моніторингу аномалій локальної погоди на основі технологій сенсорних мереж
description	In the paper a method for meteorological forecast precision improvement was proposed, the method is based on analogy search in a weather measurement history, which was received from the wireless sensor network and weather forecast history data. A methodic is proposed for obtaining warnings for possible local dangerous weather conditions also based on analogy search in the weather measurements history. Results of weather data processing and weather anomaly search are demonstrated and analyzed.
publisher	Інститут програмних систем НАН України
publishDate	2017
url	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/153
work_keys_str_mv	AT rahozindv weatheranomalymonitoringmethodbasedonsensornetworktechnology AT rahozindv metodmonitoringaanomalijlokalʹnojpogodynaosnovetehnologijsensornyhsetej AT rahozindv metodmonítoringuanomalíjlokalʹnoípogodinaosnovítehnologíjsensornihmerež
first_indexed	2025-07-17T09:54:21Z
last_indexed	2025-07-17T09:54:21Z
_version_	1838409862165299200
fulltext	Прикладні засоби програмування та програмне забезпечення © Д.В. Рагозин, 2015 ISSN 1727-4907. Проблеми програмування. 2015. № 3 93 УДК 004.94 Д.В. Рагозин МЕТОД МОНИТОРИНГА АНОМАЛИЙ ЛОКАЛЬНОЙ ПОГОДЫ НА ОСНОВЕ ТЕХНОЛОГИЙ СЕНСОРНЫХ СЕТЕЙ В статье предложен метод уточнения метеорологического прогноза на основании поиска аналогий по- годы в истории местных метеорологических наблюдений, полученных с помощью сенсорной сети, и истории прогнозов погоды. Предложена методика предупреждения местных опасных метеорологиче- ских явлений на основе поиска аналогий погоды в истории метеорологических наблюдений. Также продемонстрированы и проанализированы результаты обработки массива погодных данных с целью поиска погодных аномалий. Существующие модели расчёта по- годы (яркий пример – GFS) – имеют из- вестный недостаток, связанный с доста- точно большими размерами ячейки рас- чётной сетки – от 20 до 50 км. Это означа- ет, что прогноз погоды для конкретного участка в рамках большого квадрата нето- чен, поэтому для современных видов дея- тельности, зависимых от погоды (точное земледелие, обработка городских насаж- дений и специальных угодий), необходи- мы методы, позволяющие уточнять про- гноз внутри ячейки сетки модели прогноза. Экономические предпосылки уточнения прогноза Мониторинг и анализ погоды явля- ются критичным для ряда отраслей эконо- мики. Если бы глобальный (всемирный) прогноз погоды в точности исполнялся, это бы позволило резко уменьшить потери, возникающие в связи с неожиданным наступлением аномальных явлений. Ано- мальные явления в нашем случае тракту- ются широко: от месячной засухи и более низких средних температур в течении не- дели до ураганных порывов ветра в тече- нии нескольких минут или осадков в виде града. Для оценки аномальных явлений необходимо в статистических целях оха- рактеризовать климат территории. Под статистической характеристикой климата будем понимать усреднённое значение по- годы на данной территории, принимая во внимание, что это усреднённое значение – временные ряды за время от трёх десяти- летий, и это значение определяет хозяй- ственную деятельность территории. Усредняемых погодных факторов может быть очень много, тем не менее метеоро- логи выделяют ряд параметров (темпера- тура, давление, влажность, осадки, ско- рость и направление ветра), которые ока- зывают основное влияние на погоду (кли- мат) территории. Рельеф местности и наличие водоёмов могут очень сильно влиять на статистику местных наблюдений за погодой, но это единственная доступная статистика о климате территории для зада- чи уточнения прогноза погоды. Хорошим примером попытки уточ- нения прогноза погоды является старый метод предсказания погоды – по Замбрет- ти, в основу которого положены долговре- менные наблюдения за среднеевропейским климатом. Статистика изменения европей- ской погоды в целом подтверждает на экс- периментальных данных метод Замбретти [1] (который сам по себе не даёт точных данных, а лишь подсказывает тенденцию изменения погоды). Однако, горные мест- ности (Карпаты, Крымские горы) имеют другую статистику, которая плохо уклады- вается в прогнозирование по Замбретти. Неоднократно отмечалось [2], что повысить точность прогнозирования поз- воляет расширение сети метеостанций. Для точного земледелия (как зерновых культур, так и садоводства и овощевод- ства) или транспортных задач плотность сети станций может быть «одна станция на поле» или «одна станция на теплицу». Ос- новной проблемой расширения и модерни- зации сети метеостанций является мини- мальное участие человека в съёме показа- ний датчиков и минимальная стоимость Прикладні засоби програмування та програмне забезпечення 94 обслуживания такой системы. Предпочти- тельна необслуживаемая сеть метеостан- ций, постоянно анализирующая параметры окружающей среды и дающая анализ раз- вития событий. Далее будем обозначать локальный (или местный) климат как iL , глобальный климат как iG , индекс i указывает на тер- риторию прогноза. Применение сенсорной сети для анализа погоды Одним из экономически целесооб- разных способов сбора данных о локаль- ной погоде является применение сенсор- ных сетей с погодными датчиками. Для получения погодных данных в решении на базе сенсорных сетей важны несколько параметров: 1) беспроводная связь датчика с сетью Интернет, возможно используя другие датчики своей сети как ретрансля- торы сигнала для обеспечения минималь- ного количества точек доступа в сеть Ин- тернет; 2) экономичное потребление энер- гии для увеличения межсервисного интер- вала датчиков; 3) локальный анализ дан- ных от сегмента сенсорной сети с досту- пом к данным от сетей – «географических соседей»; 4) простота установки и обслу- живания. Экономические и потребитель- ские параметры при рассмотрении реше- ния на базе сенсорной сети превалируют. Отдельно расположенная сенсорная сеть, связанная с сетью Интернет, получа- ет прогноз погоды, местные данные о по- годе и должна позволять пользователю прогнозировать изменение локального климата, учитывая измеренную текущую погоду и исторические погодные данные в данной точке. Если же сенсорная сеть по- лучает данные от соседних сетей, то это обеспечивает прорыв с точки зрения про- гнозирования погоды, так как анализ дан- ных может охватывать не только локаль- ные данные с участков, «накрытых» сен- сорной сетью, но и от ближайших и даль- них соседних сетей. Поступление и анализ данных от сетей-соседей позволяет в ре- жиме реального времени (15 минут) заме- чать отличия показаний близко и далеко расположенных соседних сетей от гло- бального прогноза погоды и предупре- ждать пользователя о внештатной ситуа- ции – непрогнозированном изменении по- годы, что позволяет заранее подготовиться к защите от погодного явления. Рассмотрим детальней данные, ко- торые потенциально могут сниматься сен- сорной сетью. Для составления этого списка был взят список параметров, кото- рые фиксируются в записях официальных метеостанций Всемирной метеорологиче- ской организации WMO. Опущены пара- метры, которые необходимо заполнять с участием человека (например, данные о высоте облачности, хотя снятие этого па- раметра тоже можно автоматизировать):  температура воздуха;  атмосферное давление на уровне станции и приведенное к уровню моря;  относительная влажность на высо- те 2 м над поверхностью Земли;  направление ветра (румбы) и ско- рость ветра на высоте 10–12 метров над поверхностью, осреднённые за 10 минут- ный период, предшествующий времени наблюдений;  максимальное значение порыва ветра на высоте 10–12 метров над поверх- ностью, осреднённые за 10 минутный пе- риод, предшествующий времени наблюде- ний;  максимальное значение порыва ветра на высоте 10–12 метров над поверх- ностью, за период между сроками наблю- дений;  минимальная и максимальная температура воздуха, за период между сроками наблюдений;  количество всех наблюдающихся облаков;  количество выпавших осадков, высота снежного покрова. Приведенный перечень данных не исчерпывающий. Помещение сенсорного блока на буй в воде позволяет иметь дан- ные о температуре воды и волнении моря, солености и пр. Возможны замеры темпе- ратуры и влажности почвы на разных глу- бинах (20 см, 50 см, 1 м), что позволяет иметь информацию о состоянии почвы и использовать эту информацию в сельском хозяйстве и коммунальных службах. Прикладні засоби програмування та програмне забезпечення 95 Для изучения локальных особенно- стей погоды необходим анализ собранных погодных данных, в частности постоянных расхождений прогноза глобальной погоды и локальной погоды. Если расхождения глобального прогноза и локальных данных имеют постоянную (в рамках некоторого классификатора) компоненту, то возможно (в рамках классификатора) предсказание разности глобального прогноза и локаль- ной погоды в определённых условиях. Да- лее опишем постановку задачи. Постанов- ка задачи опирается на широко известные исследования [3, 4], в рамках которых предпринято сравнение погоды в течении длительного времени (от 20 лет) в рамках больших участков территории (до не- скольких сотен километров в поперечнике) с целью нахождения корреляций развития погоды. При этом сеть метеостанций была достаточно редкой, и снятие данных до десятка раз в сутки, и не учитывались осо- бенности частей территории. Наша задача – масштабирование погодных данных до конкретного участка территории, покрыва- емой сенсорной сетью, с целью прогнози- рования изменения локальной погоды. Для этого используются три источника дан- ных: 1) исторические данные о локальной погоде на территории (в регионе); 2) исто- рия глобальных прогнозов для ретроспек- тивного сравнения глобального прогноза и реальных местных погодных данных; 3) глобальный прогноз для территории на ближайшее время. Метод поиска аналогий для локальной (местной) погоды В качестве исходных данных для прогнозирования используются данные от датчиков сенсорной сети и глобаль- ный прогноз на участок территории T . Обозначим ансамбль параметров TS }...,,,{ 21 T k TT sss – параметры, измеряемых датчиком сенсорной сети для локального участка территории. Ансамбль необяза- тельно охватывает все возможные датчи- ки устройства, для устройства можно определить множество ансамблей }{ TS , так как не по всем ансамблям возможно предсказание. Значение T is – значение па- раметра, измеренного датчиком узла се- ти; параметр, измеренный в момент вре- мени t обозначим как )(tsT i , значение ансамбля параметров в момент t обозна- чим как )(tST . Соответственно, N после- довательных измерений погоды начиная с момента t для территории будут являться последовательностью ансамблей )(tST , ),...1( tST , …, )(NST . Обозначим эту последовательность как ):( NtST . В рамках задачи нам необходимо найти «подобные» последовательности измеренных значений ансамблей парамет- ров для одной и той же точки в разное время, предварительно определив крите- рий подобия. После чего можно сравнить соответствующие ансамбли с целью выяс- нить корректность глобального прогноза. «Подобие» локальных данных не обозна- чает, что до или после последовательности данных не присутствовало действие опре- делённых неучитываемых нами глобаль- ных факторов, из-за которых прогноз на будущее (относительно взятой временной последовательности) будет разный. На момент исследования анализ всех возмож- ных прогнозов для некоторой последова- тельности не ставится из-за высокой вы- числительной сложности задачи. Для сравнения последовательностей ансамблей введём метрику подобия ):(( NtSM T , ):( NtS x T ). Это метрика сравнивает последовательности и резуль- татом сравнения является значение подо- бия в интервале ]1;0[ . При значении мет- рики 0 последовательности полностью различаются, при значении метрики 1 по- следовательности считаются подобными (одинаковыми). Значение метрики 0 не означает, что не существует корреляции между ):( NtST и ):( NtS x T , но последо- вательности считаются различными для данной местности, так же как и для значе- ния метрики 1 не означают, что значения ):( NtST и ):( NtS x T будут идентичными. Введём пороговое значение метрики (близкое к 1), при достижении которого Прикладні засоби програмування та програмне забезпечення 96 считается, что последовательности равны. В нашем исследовании для метрики ис- пользуется формула: ):(( NtSM T , ):( NtS x T             kx T k N i k T k T witsitsK )()( 0 , )()( 0 k x T kN i k T kT r dt its dt its D               где TK , TD – масштабирующие коэффи- циенты для значений параметров и их из- менений между последовательными изме- рениями, kw , kr – масштабирующие ко- эффициенты для параметров определённо- го типа (температура, давление, влажность и т. д.). Фактически метрика определяет, насколько велика разница временного ряда параметров ансамбля и производных от параметров ансамбля (например, измене- ние температуры, влажности и т. д.). Важ- но, что множество коэффициентов метри- ки уникально для территории T , но мето- дика их точной настройки – предмет от- дельного исследования, на данный момент мы пользуемся упрощенными методиками. При практическом применении данной формулы важно задание интервала для каждого типа параметров, например, 4 градуса при сравнении значений темпера- туры и 2 градуса для сравнения изменений температуры во времени. Если разница па- раметров меньше введённого значения, считаем, что значения «соответствуют» друг другу – так как понятие «равенства» здесь не подходит. В зависимости от осо- бенностей местного климата эти значения могут увеличиваться или уменьшаться. Также может устанавливаться минималь- ное количество «соответствующих» значе- ний (и производных), при которых значе- ние метрики достигает порогового, напри- мер «85 из 100» или «90 из 100». Это су- щественно упрощает подбор параметров в формуле (1) для реализации в программе. Например, в случае сравнение трёхсуточ- ных интервалов с измерениями каждые три часа при шести параметрах в ансамбле производится 144 сравнения параметров с помощью метрики подобия. 90 % (или 85 %) этих сравнений должны давать ре- зультат «подобны», чтобы две последова- тельности были признаны в итоге «подоб- ными». Для поиска аналогов в локальных измеренных данных мы производим поиск корреляций внутри последовательности ансамбля параметров, полученных с ме- теостанции за некоторый промежуток вре- мени. Для этого используется полный пе- ребор с рядом ограничений, позволяющих экономить вычислительные ресурсы, например, сравнение идёт в рамках сезо- нов. В результате для некоторой последо- вательности ):( NtST получается множе- ство соответствий )}:({ NtS i T , при этом при поиске корреляций определяется как N , так и мощность множества )}:({ NtS i T (обозначим далее как )}:({ NtS i T ). В случае, если )(tST принадлежит несколь- ким ):( NtS i T , то возможно выполнение эвристической процедуры, которая удаляет «лишние» ):( NtS i T , так чтобы выполня- лось условие, что для ряда )( i T tS значение )}:({ NtS i T максимально – для упроще- ния дальнейшего анализа. Далее можно приступать к опреде- лению наиболее вероятного прогноза из найденных в рамках процедуры поиска аналогов. Для каждого множества соответ- ствий )}:({ NtS i T выбираем множество прогнозных значений )}:({ MtS Ni T  , непосредственно во времени следующих за соответствиями, обозначим его R (опу- стим далее индекс территории T , подра- зумевая его). В рамках множества R тоже проводится процедура поиска аналогов, но в упрощённом виде: сравниваются только ансамбли полностью методом полного пе- ребора, чтобы разделить R на подмноже- ства, для которых поиск аналогов дал со- ответствие. Обозначим полученные под- множества как }{, ii rRr  . Для каждого ir вычисляется вероятность его появления ip , исходя из мощности подмножества и Прикладні засоби програмування та програмне забезпечення 97 мощности R . Каждому ir сопоставляется необходимый ансамбль из глобального прогноза путём простой выборки из базы данных глобальных прогнозов. Архив глобальных прогнозов для всей поверхности Земли доступен с помо- щью сети Интернет, желающие могут ознакомиться с возможностями и получить доступ, например, через программу zyGRIB [5]. Таким образом, каждому ir сопоставляется if – исторический гло- бальный прогноз для территории T . До- полнительно как исходные данные исполь- зуется глобальный прогноз на текущее время для локальной территории (на самом деле для большой территории, включаю- щей в себя и целевую) f , который и необходимо откорректировать в рамках решения задачи о прогнозе локальной по- годы. Для корректировки глобального прогноза и уточнения до локального вво- дится матричная  -функция, служащая для определения корректировки глобаль- ного прогноза на основе истории глобаль- ных прогнозов. Скорректированный про- гноз рассчитывается по формуле:  ):( MtS Ni T ),,(  fFR , где функция использует множества зна- чений R и F и текущий глобальный прогноз f . Вычислительная реализация  -функции в базовом случае достаточно проста: например, 1) подсчёт минимальной разности векторов исторического глобаль- ного прогноза и текущего глобального прогноза и нахождения наиболее близких исторических прогнозов; 2) нахождение разности наиболее близких исторических прогнозов и измеренного ансамбля пара- метров из истории наблюдений; 3) приме- нение этой разности для корректировки текущего глобального прогноза для терри- тории T . Если текущий прогноз будет не- точен, то в рамках следующего предсказа- ния погоды в множество )}:({ MtS Ni T  будет добавлен как текущий ансамбль, так и «неудачный» исторический прогноз, что позволит уточнить статистическую выбор- ку в будущем. Возможно использование способа повышения чувствительности прогноза. Множество )}:({ NtS i T содержит в себе последовательность ансамблей длиной N и анализирует последующие варианты длиной M (итого MN  ) ансамблей. Каждый ансамбль длины N можно рас- смотреть как ансамбль длины mN  и m значений ансамблей перенести в последу- ющий вариант развития погоды, уменьшив прежнее значение M на m . Соответству- ющим образом изменяется (упрощается)  -функция, но при этом прогноз вычис- ляется на меньшее время. Отдельно остановимся на монито- ринге аномалий локальной погоды. Суще- ствует как минимум два типа аномалий: 1) аномально большие расхождения с про- гнозом погоды; 2) аномальное отклонение величин ряда параметров от многолетних наблюдаемых средних, например, темпе- ратура выше 35 и ниже 25 градусов, сверх- высокие и сверхнизкие давление, сверх- низкая влажность, сверхвысокие осадки, максимальные порывы ветра более 20 м/c и иные параметры (промерзание грунта, и т. д.). Для практического изучения ано- мальных отклонений были выбраны такие параметры как максимальная температура и порывы ветра (фактически, буря и ура- ганный ветер). Минимальный вариант мо- ниторинга аномалий погоды состоит в по- иске аномальных погодных состояний в рамках множеств «подобий» )}:({ NtS i T и в дальнейшем учёте количества повторя- ющихся случаев аномальной погоды на выбранное множество подобий. Поскольку проводить прямой поиск аналогий не име- ет смысла (события эти точечные – как ураган – или слабоповторяемые – как вы- сокая температура), в рамках методики мы довольствуемся констатацией вероятности повторения аномалии в рамках множества подобий и расчёта вероятности наступле- ния события при развитии местной погоды. Отметим, что важнейшим свой- ством сенсорной сети для предупреждения ущерба от аномальных погодных явлений есть возможность получать информацию о текущих погодных аномалиях от развёрну- тых соседних сенсорных сетей. В случае, Прикладні засоби програмування та програмне забезпечення 98 если сенсорная сеть с некоторой плотно- стью покрывает десяток районов области, предупреждения о погодных аномалиях могут быть разосланы по абонентам сен- сорной сети в течении 10 минут. При этом для мониторинга сенсорная сеть не нужда- ется в глобальном прогнозе погоды, но может использовать информацию о гло- бальном прогнозе для повышения готов- ности системы информирования пользова- телей. Применение метода В качестве тестового набора данных использовалось несколько наборов данных от 3 месяцев до 7 лет, полученных в цен- тральной части России (специально выби- рался континентальный климат). В каче- стве базового ансамбля был выбран ан- самбль параметров (температура воздуха, давление, влажность), максимальный ин- тервал для изучения локальных парамет- ров климата брался 7 лет и более. Это поз- воляет иметь большое количество сравне- ний между сезонами различных лет и хо- рошо оценить вычислительную сложность метода, так как количество сравнений в базовых вариантах поиска аналогов растёт пропорционально 2N , где N – длина по- следовательности ансамблей. Опыт опти- мизации программного подобного кода позволяет судить о том, что производи- тельность можно улучшить до значений CN , где C – некоторая константа, уме- ренно увеличивающаяся при росте N . Американские исследователи [4] исполь- зовали 20-летние выборки. Ансамбль со- держал 6 параметров – кроме вышепере- численных, использовались их производ- ные. Метрика подобия сравнивала пара- метры в небольших пределах (несколько градусов, миллиметров ртутного столба, процентов влажности), ограничение изме- нения временной производной параметра было как правило 50–70 % от ограничения значения параметра. Метрика считала условие подобия выполненным, если 85–90 % сравнений ансамбля были выпол- нены успешно. Система была запрограм- мировано таким образом, что выяснялась максимальная последовательность «по- добных» данных, при этом минимальная длина последовательности была ограниче- на тремя сутками. Производилось множество прого- нов анализа данных с различными пара- метрами с целью нахождения наиболее длительных «подобий» прогнозов для по- годной станции. Для части входных дан- ных использовались данные сайта RP5.UA, предоставляющего информацию о погоде в табличном виде. Программа использует для своей работы данные в табличном формате .csv, что позволяет оперативно генерировать таблицы или выгружать их из других приложений. В этих условиях был проведен ана- лиз данных. Наименьшей длиной подобия были выбраны трое суток, далее анализи- ровались интервалы 3–3.5 суток, 3.5–4 су- ток, 4–4.5 суток, 4.5–5 суток, 5–5.5 суток, 5.5–6 суток и более 6 суток. С учётом осо- бенностей параметров ансамбля были вы- браны два порога для метрик – 86.7 % и 91.7 %. Далее мы рассмотрим один (мотивирующий) пример с одной из стан- ций в России, интервал анализа составляет 7.5 лет. Результаты анализа подобия дан- ных показаны на следующих рисунках (рис. 1 и 2). По горизонтальной оси отло- жены длины интервалов подобия в сутках, по вертикальной – количества подобных интервалов. При анализе рассмотрено два случая анализа: в одном случае («обыч- ный» на рисунках) минимальная разница интервала подобия была 3 часа, что позво- ляет находить «самоподобные» плавные изменения ансамбля в течении длительно- го интервала, что соответствует длитель- ному плавному изменению погоды, во втором случае («прорежен» на рисунках) минимальная разница интервала подобия была 1 сутки – таким образом сравнение погодных данных начинало делаться не менее чем через сутки. Такое изменение интервала достаточно сильно влияет на изменение характера результатов (это вид- но при сравнении двух колонок). Увеличе- ние количества «подобий» связано с тем, что при сравнении одной последователь- ности ансамблей со всеми возможными ансамблями множество сравнений не пе- рекрывается, и при изменении минимально Прикладні засоби програмування та програмне забезпечення 99 Рис. 1. Результаты анализа для порогового значения метрики 86.7 % Рис. 2. Результаты анализа для порогового значения метрики 91.7 % интервала подобия поиск ведётся по раз- ному. Особенности подсчёта для интер- вала в трое суток связаны с тем, что метрика подобия рассчитывается при сравнении трёхсуточных интервалов, да- лее анализ пытается увеличить длину ин- тервалов. Длина увеличивается до тех пор, пока метрика превышает порог. При превышении порога фиксируется достиг- нутая длина. Графическое отображение анализа корреляций на протяжении всех 7.5 лет затруднительно, поэтому приведём крат- кие итоги: 1) расстояние по временной оси между подобными последовательностями может быть как 2 дня, так и 6 лет. Это за- висит от методов анализа, например «обычный» или «прорежен»; 2) существу- ют «неотождествимые» последовательно- сти ансамблей вплоть до нескольких суток, это связано с довольно коротким интерва- лом анализа, с другой стороны многие по- следовательности имеют полдюжины по- добий с разными сдвигами во времени; 3) на рассмотренных временных интерва- лах количество подобий минимум в пол- Прикладні засоби програмування та програмне забезпечення 100 тора раза больше количества ансамблей в 7.5 летней выборке, то есть результаты не являются исключительно стечением об- стоятельств или особенностями выборки, что доказано на тестировании метода ана- лиза на многих выборках. Это количество подобий опосредованно позволяет понять минимальную длину погодных данных для станции для осуществления прогноза по подобиям. Отметим, что небольшое увеличе- ние порогового значения метрики до 91.7 % значительно уменьшает количество подобий, но они есть и все довольно точ- ные, существенная часть подобий по длине достигает 5 суток и более. На рис. 3 показано распределение мощности множеств подобий – более все- го однократных повторений (цифра «1» на горизонтальной оси), но количество многократных повторений в 3–4 раза на временном промежутке в 7.5 лет превы- шает количество однократных подобий. Длины временных промежутков, на кото- рых не зарегистрировано никаких подо- бий, могут достигать недели и более, что в целом найденные подобия распределе- ны по оси времени более-менее равно- мерно. Отсутствие подобия обозначает лишь то, что в этом случае лучше вос- пользоваться информацией глобального прогноза погоды. Рис. 3. Распределение количества подобий в группах Рис. 4. Количество подобий погоды с учётом регистрации порывов ветра Прикладні засоби програмування та програмне забезпечення 101 Для анализа аномальных погодных данных в качестве параметра анализа была взята максимальная скорость ветра за пе- риод между снятиями показаний – этот па- раметр легко снимается на метеостанции с минимальным количеством электроники. Для задач анализа были выбраны подобия, в каждом их которых регистрировались порывы ветра более чем 12 м/с (43 км/час). Распределение подобий в режиме анализа “прорежен» показано на рис. 4. В результате анализа было установ- лено, что для анализируемых данных по- рядка 2 % данных содержат порывы ветра, превышающие выбранный порог скорости. При этом для большого количества «ано- мальных событий» количество подобий было 2 и более, что позволяет давать про- гноз возможности аномального явления – метод может использоваться для преду- преждения пользователя о ненулевой ве- роятности такого явления. На рис. 5 показано распределение мощности множеств подобий для порывов ветра. Как и следует ожидать, более всего однократных повторений (цифра «1» на горизонтальной оси), но множеств с мощ- ностью более 11 обнаружить не удалось, что согласуется с постановкой задачи, так как аномальные явления довольно редки для 7.5-летней последовательности. График ясно показывает, что пред- сказание аномальных явлений предлагае- мым методом является именно результа- том обработки статистической информа- ции, а не случайным стечением обстоя- тельств. Рассмотрим два примера прогнози- рования аномальных ситуаций. На рис. 6 и 7 показаны трёхсуточные последователь- ности ансамблей (каждый рисунок – одно подобие) для двух разных по времени со- стояний погоды. Для рис. 6 и 7 в квадрате показана последовательность ансамблей, с которой необходимо проверять последние изме- ренные данные (1.5 суток на рис. 6 и 2 су- ток на рис. 7) для того, чтобы сигнализи- ровать о возможных порывах ветра. (При- мечание: если на графике не отображены значения порывов ветра, то они не были зарегистрированы станцией, т.е. значение порыва ненамного отличалось от средней измеренной скорости ветра.) Анализ данных о локальной погоде не ограничивается представленными ме- тодами перебора. Перспективны методы классификации на основе нейросетей, например, на основе многослойного пер- септрона или сети радиально-базисных функций, и векторных машин. Современ- ные программные средства позволяют с помощью интерактивных построителей оценить работу классификатора, напри- мер, на основе сенсорной сети, что явля- ется дальнейшими целями исследования. Что касается методов на основе деревьев решений, то эти методы могут лишь соби- рать статистику по историческим погод- ным данным. Применение сингулярного Рис. 5. Распределение количества подобий в группах для аномалий Прикладні засоби програмування та програмне забезпечення 102 Рис. 6. Последовательность ансамблей 1 Рис. 7. Последовательность ансамблей 2 спектрального анализа (SSA), также из- вестного как «гусеница», позволяет найти долгопериодические (сезонные, месячные) ряды, или же ряды, описывающие измене- ния погоды типа день-ночь. Иные флукту- ации погоды метод «гусеницы» относит к непериодическому шуму, поэтому его ис- пользование для анализа погодных данных крайне ограничено. Прикладні засоби програмування та програмне забезпечення 103 Основные результаты работы Разработана методика анализа вре- менных рядов ансамблей погодных дан- ных, позволяющая находить зависимости в локальных погодных данных для конкрет- ной территории. Разработана методика применения беспроводных сенсорных сетей для сня- тия необходимых для анализа погодных данных. Разработано программное обеспе- чение для анализа погодных данных, опи- саны и продемонстрированы результаты анализа. Описаны и проиллюстрированы ре- зультаты анализа аномальных погодных явлений в применении к разработанному методу анализа погодных данных. Анализ может давать предупреждения о вероятно- сти наступления аномального погодного явления – на примере сильных порывов ветра. 1. Zambretti Forecaster, 1915. Доступно по ссылке http://weather.vouhead.gr/wxforecast- zambretti.php?lang=en 2. National Geophysical Data Center. http://www.ngdc.noaa.gov/ 3. Thomas M. Hamill and Jeffrey S. Whitaker, 2006: Probabilistic Quantitative Precipitation Forecasts Based on Reforecast Analogs: The- ory and Application. Mon. Wea. Rev., 134, 3209–3229. 4. H.M. van den Dool, 1989: A New Look at Weather Forecasting through Analogues. Mon. Wea. Rev., 117, 2230–2247. 5. Программный пакет zyGRIB. Доступно по ссылке: http://www.zygrib.org/ Получено 26.03.2015 Об авторе: Рагозин Дмитрий Васильевич, кандидат технических наук, директор ТОВ «МОБИОН». Место работы автора: ТОВ «МОБИОН», 603105, РФ, г. Нижний Новгород, ул. Ижорская 40, кв. 64, Тел.: +7(920) 010 1738. E-mail: Dmytro.Rahozin@gmail.com http://www.zygrib.org/ mailto:Dmytro.Rahozin@gmail.com

Weather anomaly monitoring method based on sensor network technology

Institution

Ähnliche Einträge