Grid application development framework

Prombles in programming 2014; 1: 31-39

Збережено в:

Бібліографічні деталі
Дата:	2025
Автор:	Prila, O.A.
Формат:	Стаття
Мова:	Ukrainian
Опубліковано:	Інститут програмних систем НАН України 2025
Теми:	UDC 004.75: 004.4'2
Онлайн доступ:	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/728
Теги:	Додати тег Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:	Problems in programming

Репозитарії

Problems in programming

id	pp_isofts_kiev_ua-article-728
record_format	ojs
resource_txt_mv	ppisoftskievua/51/13373d471452b22e19885995c378ba51.pdf
spelling	pp_isofts_kiev_ua-article-7282025-04-09T22:38:00Z Grid application development framework Фреймворк для розробки високорівневих Grid-застосувань Prila, O.A. UDC 004.75: 004.4'2 УДК 004.75: 004.4'2 Prombles in programming 2014; 1: 31-39 Розглянуто особливості використання Grid-середовища для вирішення різних типів обчислювальних завдань. Визначені вимоги до засобів розробки високорівневих Grid-застосувань та наведено результати дослідження існуючих. Запропоновано розширення архітектури відкритого фреймворку gUSE/WS-PGRADE сервісами оптимізації планування та виконання різних типів завдань у Grid-середовищі шляхом аналізу особливостей структури завдання, стану та QoS рівня ресурсів Grid-мережі.Prombles in programming 2014; 1: 31-39 Інститут програмних систем НАН України 2025-04-09 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/728 PROBLEMS IN PROGRAMMING; No 1 (2014); 31-39 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 1 (2014); 31-39 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 1 (2014); 31-39 1727-4907 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/728/780 Copyright (c) 2025 PROBLEMS IN PROGRAMMING
institution	Problems in programming
baseUrl_str	https://pp.isofts.kiev.ua/index.php/ojs1/oai
datestamp_date	2025-04-09T22:38:00Z
collection	OJS
language	Ukrainian
topic	UDC 004.75: 004.4'2
spellingShingle	UDC 004.75: 004.4'2 Prila, O.A. Grid application development framework
topic_facet	UDC 004.75: 004.4'2 УДК 004.75: 004.4'2
format	Article
author	Prila, O.A.
author_facet	Prila, O.A.
author_sort	Prila, O.A.
title	Grid application development framework
title_short	Grid application development framework
title_full	Grid application development framework
title_fullStr	Grid application development framework
title_full_unstemmed	Grid application development framework
title_sort	grid application development framework
title_alt	Фреймворк для розробки високорівневих Grid-застосувань
description	Prombles in programming 2014; 1: 31-39
publisher	Інститут програмних систем НАН України
publishDate	2025
url	https://pp.isofts.kiev.ua/index.php/ojs1/article/view/728
work_keys_str_mv	AT prilaoa gridapplicationdevelopmentframework AT prilaoa frejmvorkdlârozrobkivisokorívnevihgridzastosuvanʹ
first_indexed	2025-07-17T10:03:18Z
last_indexed	2025-07-17T10:03:18Z
_version_	1838410419362856960
fulltext	Моделі та засоби паралельних і розподілених програм © О.А. Пріла, 2014 ISSN 1727-4907. Проблеми програмування. 2014. № 1 31 УДК 004.75: 004.4'2 О.А. Пріла ФРЕЙМВОРК ДЛЯ РОЗРОБКИ ВИСОКОРІВНЕВИХ GRID-ЗАСТОСУВАНЬ Розглянуто особливості використання Grid-середовища для вирішення різних типів обчислюваль- них завдань. Визначені вимоги до засобів розробки високорівневих Grid-застосувань та наведено результати дослідження існуючих. Запропоновано розширення архітектури відкритого фреймво- рку gUSE/WS-PGRADE сервісами оптимізації планування та виконання різних типів завдань у Grid- середовищі шляхом аналізу особливостей структури завдання, стану та QoS рівня ресурсів Grid- мережі. Вступ Останнім часом Grid-технології ак- тивно розвиваються та застосовуються для вирішення обчислювальних завдань вели- кої розмірності. Однак існує проблема ви- користання Grid-середовища фахівцями різних наукових галузей, що обумовлена відсутністю повнофункціональних висо- корівневих засобів розробки Grid- застосувань та складністю низькорівневих інструментів. Існує велика кількість прикладних завдань, що характеризуються досить складною структурою та потребують засо- бів представлення у вигляді потоку робіт (workflow) – обчислювальний сценарій, що складається з окремих обчислювальних кроків, поєднаних у певну послідовність виконання [1]. Планування робочого пото- ку в загальному випадку не вирішується за допомогою традиційних методів плану- вання поодиноких завдань у Grid-мережі, оскільки має враховувати різнорідність складових завдання, зв’язки між обчислю- вальними блоками та витрати на переси- лання даних між ними. На рівні проміжного програмного забезпечення Grid (ППЗ) не надається пов- ноцінної підтримки Grid-завдань типу по- тік робіт. Проблема інтеграції різного ППЗ ускладнює використання всіх доступних користувачу ресурсів для вирішення за- вдання. Важливою складовою використання Grid-середовища є надання заданого кори- стувачем рівня якості обслуговування (QoS), що для некомерційного Grid- середовища найчастіше визначається гара- нтованим часом успішного завершення об- числень, водночас як для комерційної ін- фраструктури має враховуватись ще й вар- тість виконання обчислень. Розробка високорівневих засобів створення Grid-застосувань з наданням механізмів проектування, планування та контролю виконання Grid-завдань різних типів є актуальною задачею сьогодні. Ва- жливою складовою також є наявність ін- струментів відновлення у випадку збоїв у роботі вузлів мережі та динамічного пере- розподілу завдання в разі необхідності. Метою роботи є формування вимог та дослідження існуючих засобів ство- рення високорівневих Grid-застосувань, а також проектування архітектури фреймво- рку для розробки Grid-застосувань з підт- римкою різних типів обчислювальних за- дач великої розмірності. Особливості використання Grid-інфраструктури для вирішення різних типів обчислювальних задач Одним із факторів, що впливають на продуктивність Grid-мережі, є ефектив- ність планування – рівномірна завантаже- ність всіх вузлів обчислювальної мережі та мінімальний час простою завдань у черзі на виконання. Ефективність використання Grid-інфраструктури для вирішення за- вдань різного типу має певні особливості. Відомі наступні типи Grid-завдань: послі- довні, паралельні, обробки даних, потоки робіт (workflow). Моделі та засоби паралельних і розподілених програм 32 Ефективність виконання завдання, представленого єдиним обчислювальним блоком або набором послідовних, зале- жить від ефективності його програмної ре- алізації, а також стратегії планування бро- керів проміжного програмного забезпе- чення Grid та локального планувальника. У разі якщо завдання може бути представлено у вигляді набору однотипних завдань з різними вхідними даними, пла- нування зводиться до оптимізації декомпо- зиції задачі з урахуванням поточних пара- метрів доступної Grid-інфраструктури та рівня QoS. Наявність паралельних блоків за- вдання, що представлено у вигляді потоку робіт, дозволяє одночасно використовува- ти декілька розподілених ресурсів для більш ефективного вирішення завдання. При цьому мають враховуватись витрати на пересилання даних між ресурсами у відповідності з пропускною здатністю ме- режі. Витрати на пересилання даних мо- жуть бути усунені шляхом кластеризації декількох блоків потоку робіт для вирі- шення на одному ресурсі. Існує поняття лінійної та нелінійної кластеризації [2], коли групуються послідовні або паралель- ні блоки відповідно. Задача оптимізації зводиться до знаходження оптимального рішення між розпаралелюванням та клас- теризацією. При цьому має враховуватись зернистість (granularity) завдання. Завдан- ня є крупнозернистим, якщо розмірність обчислень є значно більшою за відношен- ням до розмірності даних, що пересила- ються [2]. Властивість крупнозернистості є необхідною для Grid-завдань. Завдання типу потік робіт зазвичай представляють у вигляді орієнтованого ациклічного графу (Directed acyclic graph, DAG), вузли якого – блоки обчислень, а дуги – залежності між ними (рис. 1) [2]. Для ефективного планування, окрім стан- дартних, мають бути визначені наступні параметри блоку: {ECT, Memory, {T}}, де ECT – передбачуваний час виконання обчислень; Memory – вимоги до пам’яті; {T} – множина зв’язків з іншими вуз- лами (односторонній зв’язок). Рис. 1. Приклад структури робочого потоку Дуги графу характеризуються пара- метром обсягу даних, що передаються між вузлами. Наявність циклів та розгалужень для моделі потоку робіт не розглядається, оскільки зазначені зв’язки не виправдані з точки зору ефективності використання Grid-середовища. Структура Grid-мережі може бути представлена у вигляді спрямованого гра- фу, вершини якого – ресурси, а дуги хара- ктеризують мережу передачі даних між ними (рис. 2). Кожен вузол структури Grid- мережі характеризується наступними обов’язковими параметрами: {CPU, Memory, QueueSize, Cost, {R}}, де CPU – обчислювальна потужність; Memory – характеристики пам’яті; Queue- Size – розмір черги; Сost – вартість вико- ристання; {R} – множина зв’язків з інши- ми ресурсами (двонаправлений зв’язок). Задача планування потоків робіт є NP-повною задачею у загальному випа- дку [2]. На рівні ППЗ не надається повно- цінної підтримки Grid-завдань різного типу. Наприклад, ARC Nordugrid (http://www.nordugrid.org/) та gLite (http://glite.cern.ch/), що включені як одні Моделі та засоби паралельних і розподілених програм 33 Рис. 2. Приклад структури Grid-мережі з основних постачальників ППЗ у EMI (http://www.eu-emi.eu/) та найбільш широ- ко використовуються в українській націо- нальній Grid-інфраструктурі використову- ють наступні формати специфікації Grid- завдань: JSDL [3], xRSL [4] та JDL [5]. Се- ред зазначених, лише JDL-формат вводить поняття типу завдання (Job, DAG та Collection), однак має певні обмеження – не надається можливість визначення пері- одичної синхронізації між блоками та об- сягів даних, що пересилаються. Формати JSDL та xRSL надають лише засоби визна- чення параметрів поодиноких завдань, життєвий цикл потоку робіт, так само як і зв’язки між окремими завданнями, не під- тримуються. Стратегії планування брокерів ППЗ є дуже спрощеними та не дозволяють ви- конувати планування потоків робіт з ура- хуванням особливостей завдання та пара- метрів QoS. Наприклад, брокер ARC Nordugrid реалізує наступні політики ви- бору доступних обчислювальних ресурсів: RandomBroker – випадковий вибір; BenchmarkBroker – згідно параметра про- дуктивності ресурсу; FastestQueueBroker – згідно параметра розміру черги завдань на обчислення; DataBroker – згідно наявності в кеші обчислювального ресурсу даних, необхідних для виконання обчислень [4]. Отже, механізми планування складних Grid-завдань мають бути реалізовані та ро- зташовані поверх рівня ППЗ. Формування вимог до засобів розробки високорівневих Grid-застосувань. Огляд існуючих Останнім часом активного розвитку набули високорівневі засоби проектування та розробки Grid-застосувань, що найчас- тіше являють собою фреймворки для роз- робки Grid-порталів та desktop-застосувань або системи керування робочими потоками (СКРП, Workflow Management System, WMS). Під СКРП розуміється програмна система, яка відповідає за автоматизоване проектування та виконання потоків робіт, описаних певною вхідною мовою (тексто- вою або графічною) [1]. Оскільки інфраструктури віртуаль- них організацій для різних галузей науки є схожими, можливо окреслити базові вимо- ги до фреймворку для створення високорі- вневих Grid-застосувань різних типів. Фу- нкціональні вимоги наведено далі. 1. Надання API для виконання базових Grid-операцій: створення проксі- сертифікату, перегляд доступних обчис- лювальних ресурсів та сховищ даних, запуск задачі, моніторинг виконання в динамічному режимі, отримання резуль- татів та ін. 2. Автоматизована генерація файлу специфікації задачі потрібного формату згідно визначених користувачем параме- трів задачі та вимог до ресурсів. 3. Підтримка різних типів завдань з наданням графічних компонентів для ви- значення обчислювальних блоків та схе- ми синхронізації між ними. 4. Підтримка періодичної синхроні- зації між паралельними блоками обчис- лень, коли один блок може розпочинати обчислення як тільки підготовлено част- ковий набір даних іншого блоку. 5. Можливість визначення вимог до рівня обслуговування. Для забезпече- ння потрібного рівня QoS необхідно отри- мання угоди про рівень якості від про- Моделі та засоби паралельних і розподілених програм 34 вайдерів послуг. У випадку з некомерцій- ними Grid-інраструктурами така інформа- ція зазвичай не надається. Тому необхід- ний модуль, який би дозволив отримува- ти статистику вже виконаних завдань і аналізувати рівень QoS. 6. При плануванні завдань має вра- ховуватись встановлений рівень QoS- вимог та поточний стан Grid-мережі, а та- кож можливість динамічного перерозподі- лу блоків завдання під час виконання в зв’язку зі змінами параметрів Grid-мережі. 7. Наявність механізму контроль- них точок. 8. Надання можливості поперед- нього замовлення (advanced reservation) Grid-ресурсів. 9. Можливість збереження образу Grid-задачі для повторного запуску без проектування. 10. Визначення потрібного середо- вища виконання (Runtime Environment, RE) складових задачі. Мають бути реа- лізовані інструменти вибору образу вір- туальної машини для визначення необхі- дного RE. 11. Надання API для підтримки роботи віртуальних організацій: управлін- ня користувачами віртуальної організації; визначення власником тарифікації оплати за користування ресурсом; моніторинг стану ресурсів; облік використання Grid- ресурсів. Окремо слід виділити нефункціо- нальні вимоги до фреймворку. 1. Підтримка стандартів EMI. З ме- тою інтеграції ресурсів, що працюють під різним ППЗ, потрібен єдиний інтерфейс для виконання запитів. EMI є стандартом де-факто для постачальників Grid. На да- ний час NorduGrid ARC, gLite, UNICORE та dCache орієнтовані на підтримку стан- дартів EMI. 2. Кросплатформеність. Можли- вість розробки на базі фреймворку Grid- застосувань для різних платформ, мобіль- них пристроїв у тому числі. 3. Розширюваність. Гнучка архітек- тура для доповнення фреймворку новими модулями, в тому числі підтримки нового middleware, або внесення змін до інтер- фейсу існуючого. 4. Маштабованість. Можливість ро- зміщення компонентів Grid-застосувань на розподілених ресурсах з метою підвищен- ня продуктивності. 5. Забезпечення безпеки Grid-по- рталу та ресурсів ВО. Були розглянуті системи для прое- ктування потоків робіт (Taverna [6], Montage [7], Triana [8], Kepler [9], WS- VLAM [10], MathCloud [11], MaWo [12], Askalon [13]) та інструменти розробки Grid-застосувань (GridNNN [14], gUSE/WS-PGRADE [15], Lunarc app [16], Ganga [17], GridSphere Portal Framework [18], SimpleGrid [19], VGrADS [20], Pegasus [21], gEclipse [22]). Деякі з розгля- нутих засобів являють собою системи уп- равління бізнес-процесами та реалізують розвинутий функціонал для проектування потоків робіт, однак не надають функціо- налу з виконання базових Grid-операцій, і хоча передбачають механізми інтеграції з розподіленим середовищем, вони досить складні в реалізації. Деякі з систем спеціа- лізовані для вирішення завдань певної на- укової галузі, наприклад, MathCloud, WS- VLAM та ін. Порівняльний аналіз систем наведено в працях [1, 23]. Основними про- блемами використання існуючих засобів розробки високорівневих Grid-застосувань є: орієнтація на певний тип ППЗ без на- дання гнучких механізмів розширення; недостатня реалізація функціоналу для виконання базових Grid-операцій; орієнта- ція на певний клас завдань; відсутність мо- дуля оптимізації виконання Grid-завдань різних типів. Клієнтська частина та редактор по- токів робіт більшості систем представлені віконним інтерфейсом, водночас як більш перспективним є реалізація у вигляді Web-інтерфейсу [1] з точки зору змен- шення вимог до клієнтської сторони та відповідно більшої переносимості засто- сування (portability). Серед розглянутих інструментів як найбільш функціональні і підтримувані на сьогодні можна зазначити фреймворк Моделі та засоби паралельних і розподілених програм 35 gUSE/WS-PGRADE та СКРП Taverna. WS-PGRADE пропонує гнучкий механізм розширення системи плагінами взаємодії з різним ППЗ. Важливою особливістю є можливість легкої адаптації та налашту- вання у відповідності з потребами різних Grid-співтовариств у цілях вирішення на- укових завдань. Фреймворк надає API для реалізації більшості базових Grid-опе- рацій, однак не реалізує засоби оптиміза- ції виконання потоків робіт з урахуванням встановленого рівня QoS. Розмір задачі та обсяги даних, що пересилаються, не вра- ховуються при плануванні та не можуть бути визначені як параметри задачі. Ін- струменти проектування потоків робіт не підтримують зв’язки періодичної синхро- нізації обчислень між паралельними бло- ками обчислень. WS-PGrade надає можливість інте- грації з системами керування робочими потоками ASKALON та MOTEUR [24]. Однак зазначені СКРП орієнтовані на ви- користання певного ППЗ, а саме ASKALON орієнтована на використання ППЗ Clobus, система MOTEUR – на вико- ристання gLite. Відповідне рішення не є гнучким та універсальним, оскільки не дозволяє залучати для виконання обчис- лень робочого потоку ресурси, що вико- ристовують різне ППЗ. У роботі пропонується розширення архітектури фреймворку WS-PGRADE ме- ханізмами оптимізації планування різних типів завдань у Grid-середовищі. Проектування фреймворку для створення Grid-застосувань на базі gUSE/WS-PGRADE Архітектура фреймворку gUSE/WS- PGRADE була розширена сервісами Extended gUSE Services. Загальна архітек- тура фреймворку представлена на рис. 3. Фреймворк gUSE/WS-PGRADE на- дає інтерфейси (Application Specific Module API та Remote API) для розробки високорівневих Grid-застосувань, спеціалі- зованих для вирішення наукових завдань різних Grid-співтовариств. Архітектура фреймворку gUSE/WS- PGRADE є тришаровою – шар відобра- ження, шар сервісів gUSE та шар інтеграції з ППЗ розподілених обчислювальних ін- фраструктур (Distributed Computing Infrastructures, DCIs). Шлюз DCI надає інтерфейс для ро- зширення фреймворку плагінами підтрим- ки ППЗ та призначений для взаємодії з сервісами проміжного програмного забез- печення Grid, кластерних та хмарних сере- довищ. Шлюз надає стандартний BES- інтерфейс для відправки завдань. Web-портал WS-PGRADE реалізує інтерфейс користувача сервісів gUSE. GUSE (Grid User Support Environment) – це набір високорівневих сервісів та реалізований як набір Web- служб. Компоненти gUSE реєструються в централізованій інформаційній системі (Information System) та можуть бути роз- поділені на декілька серверів з метою під- вищення продуктивності роботи застосу- вання, що доводить масштабованість архі- тектури фреймворку. Модуль аутентифікації реалізує сервіси взаємодії та використання функці- оналу MyProxy-серверу. Інструменти по- шуку віддалених сховищ даних, відправ- лення та отримання даних з/на ресурс реа- лізовано в межах компоненту File Storage. gUSE надає API для роботи з репозиторієм образів робочих потоків – визначених па- раметрів та налаштувань прикладної зада- чі, що дозволяє співпрацювати користува- чам віртуальних організацій над розроб- кою та адаптацією наукових завдань для вирішення у Grid-середовищі. Клієнтську частину редактора пото- ків робіт реалізовано у вигляді desktop- застосування на базі технологій JAVA AWT та Swing (рис. 4). Реалізовано ме- ханізми автоматичного формування JDL- специфікації. Алгоритм обчислювального блоку за- вдання може бути представлений у вигля- ді: а) бінарного виконуваного файлу; б) виклику Web-сервісу (з використанням REST-підходу); в) виклику вкладеного по- току робіт. У межах розроблюваного в роботі фреймворку з розширеним набором серві- Моделі та засоби паралельних і розподілених програм 36 Рис. 3. Архітектура фреймворку для створення Grid-застосувань на базі gUSE/WS-PGRADE Рис. 4. Редактор потоків робіт Моделі та засоби паралельних і розподілених програм 37 сів реалізовано модуль проектування та аналізу потоків робіт (Workflow Editor and Analyzer). Клієнтську частину редактора потоків робіт реалізовано з використанням JavaScript бібліотек D3.js [25] та helios.js [26] з метою зменшення вимог до програ- много забезпечення клієнтської машини (рис. 4). Окрім стандартних, надається мо- жливість визначення таких параметрів за- вдання як приблизна оцінка розмірності обчислень, обсяги вхідних/вихідних даних та QoS параметри. Введено поняття шаблону робочого потоку та реалізовані наступні шаблони: паралельна обробка даних; однорід- ний/неоднорідний робочий потік; збалан- совані/незбалансовані робочі потоки. Реа- лізовані механізми верифікації та автома- тизованої типізації спроектованого потоку робіт. Модуль планування виконання пото- ків робіт (Scheduling Engine) реалізує ме- ханізм оптимізації вибору ресурсів з ура- хуванням шаблону та параметрів Grid- завдання, а також даних про рівень якості послуг ресурсів QoS. На даний момент ре- алізовано евристичний алгоритм плану- вання на основі списків з урахуванням за- лежностей Heterogeneous-Earliest-Finish- Time (HEFT) [2] та запропонований авто- рами алгоритм планування на базі методу динамічного програмування, що врахову- ють час виконання обчислювального блоку на певному ресурсі, час очікування у черзі до ресурсу, час на пересилання даних між обчислювальними блоками та вартість ви- користання Grid-ресурсу. Вигляд цільової функції залежить від запитуваного рівня QoS – пріоритет часу або вартості. В зага- льному випадку цільова функція є багато- критеріальною:   , . f time cost min   (1) Обидва алгоритми характеризуються лінійною складністю. З метою оцінки ефе- ктивності алгоритмів планування, а також отримання приблизної оцінки часу вико- нання завдання в режимі реального часу було реалізовано імітаційну модель вико- нання завдань різного типу у Grid- середовищі на базі інструменту GridSim [27] (Modeling System), архітектуру якого було розширено модулями представлення моделі завдання у вигляді потоку робіт та представлення моделі гетерогенної Grid- мережі. Використовується динамічний підхід до планування потоків робіт, що враховує динаміку виконання завдання (стан вико- нання складових завдання, врахування си- туацій, коли завдання може бути витіснено іншим, що має більш високий пріоритет) та динамічність Grid-мережі (стан та зава- нтаженість ресурсів, змінення локальних політик розподілення ресурсів). Модуль планування надає можливість попередньо- го замовлення ресурсів для тих Grid- сайтів, що підтримують зазначену політи- ку виділення ресурсів. З метою оцінки якості послуг Grid- ресурсів або коригування рівнів QoS, отриманих на підставі деякого SLA (Service-level agreement), розробляється модуль збору та аналізу рівня QoS ресурсів Grid-мережі (QoS Data Miner). Розгляда- ються такі типи даних про рівень послуг – узагальнені дані (пропускна спроможність мережі, обчислювальна потужність вузлів, обсяг дискового простору тощо) та неявні дані про рівень якості послуг (завантаже- ність та частота відмови вузлів, час прос- тою завдань в черзі, змагання за певний ресурс на вузлах між незалежними задача- ми). Більшість узагальнених даних можли- во отримати з використанням інформацій- них сервісів ППЗ (GLUE2 XML та LDAP). Для визначення неявних параметрів вико- ристовується механізм періодичного запу- ску «порожніх» програм-обгорток, що не виконують обчислень, однак дозволяють отримати інформацію про стан Grid- мережі. Для аналізу рівня QoS також вико- ристовується статистика виконання реаль- них завдань в Grid. Для кластеризації та подальшого аналізу статистичної інформа- ції, представленої у вигляді лог-файлів, використовується бібліотека AfterGlow [28]. Модуль автоматичного визначення пріоритетів Rating Module на основі стати- стики виконання завдань на певному ресу- рсі встановлює коефіцієнти значимості по- казників QoS. Моделі та засоби паралельних і розподілених програм 38 Можливість визначення як середо- вища виконання завдання образу віртуаль- ної машини, що має бути розгорнута на ресурсі для виконання обчислень, реалізу- ється сервісами модуля зберігання образів VM Images Storage на базі системи oVirt [29]. Сервіси обліку використання обчис- лювальних ресурсів та здійснення нараху- вань згідно встановлених власником тари- фів реалізовані в межах модуля Resource Usage Accounting на базі інтерфейсів ППЗ APEL та DGAS client. Висновки В роботі розглянуті особливості ви- користання Grid-інфраструктури для вирі- шення різних типів обчислювальних за- вдань, на базі чого сформовані вимоги до засобів розробки високорівневих Grid- застосувань. Наведені результати дослі- дження існуючих інструментів розробки Grid-застосувань та запропоновано розши- рення архітектури фреймворку gUSE/WS- PGRADE модулями планування виконання завдань різного типу з урахуванням QoS та поточного стану Grid-мережі. Сервіси про- ектування робочих потоків розширені мо- жливістю визначення розмірності обчис- лень та даних, що пересилаються, а також визначення образу віртуальної машини як середовища виконання обчислювального блоку завдання. Передбачаються механіз- ми верифікації та типізації структури ро- бочих потоків. Фреймворк розробляється в межах відкритого проекту. Результат буде пред- ставлений у вигляді java-бібліотек та при- кладу застосування фреймворку для ство- рення Grid-порталу віртуальної організації економічного прогнозування. Застосуван- ня фреймворку дозволить зменшити ви- трати при розробці кросплатформенних Grid-застосувань та підвищити ефектив- ність використання Grid-середовища для вирішення прикладних задач різних науко- вих галузей. 1. Петренко А.І., Булах Б.В. Застосування workflow-систем для потреб сучасних нау- ки та інженерії // Наукові вісті НТУУ "КПІ". – 2011. – № 5. – С. 40–51. 2. Alberto Forti. DAG Scheduling for grid com- puting systems. Ph.D. Thesis, University of Udine – Italy, Department of Mathematics and Computer Science, 2005–2006. 3. Job Submission Description Language (JSDL) Specification, Version 1.0, 2008, GFD-R.136. 4. Extended Resource Specification Language, Reference Manual for ARC versions 0.8 and above, Nordugrid-Manual-4, 2013. 5. Job description language attributes specifica- tion for the gLite Workload Management Sys- tem, 2011, WMS-JDL.doc. 6. Hull D., Wolstencroft K., Stevens R., Goble C., Pocock M.R., Li P., and Oinn T. Taverna: A tool for building and running workflows of services. In: Nucleic Acids Research. – 2006. – Vol. 34. – P. W729–W732, 7. Joseph C. Jacob, Daniel S. Katz, G. Bruce Berriman, John Good, Anastasia C. Laity, Ewa Deelman, Carl Kesselman, Gurmeet Singh, Mei-Hui Su, Thomas A. Prince, Roy Williams. Montage: a grid portal and software toolkit for science-grade astronomical image mosaicking. In: Int. J. Computational Science and Engineering. – 2009. – P. 73–87. 8. Taylor I., Shields M., Wang I., and Harrison A. Visual Grid Workflow in Triana. In: Jour- nal of Grid Computing. – 2005. – Vol. 3, N 3- 4. – P. 153–169. 9. Ludäscher B., Altintas I., Berkley C., Higgins D., Jaeger E., Jones M., Lee E.A., Tao J., and Zhao Y. “Scientific workflow management and the kepler system: Research articles,” Concurr. Comput.: Pract. Exper., – 2006. – Vol. 18, N 10. – P. 1039–1065. 10. Korkhov V.V., Vasyunin D.A., Belloum A.S.Z., Andrianov S.N., Bogdanov A.V. Virtual La- boratory and scientific workflow management on the grid for nuclear physics applications. In: Distributed computing and grid- technologies in science and education, Pro- ceedings of the 4th lnternational Conference, Dubna, 2010. – P. 153–158. 11. Voloshinov V.V., Smirnov S.A. Error-free in- version of ill-conditioned matrices in distrib- uted computing system of restful-services of computer algebra. In: Distributed computing and grid-technologies in science and educa- tion, Proceedings of the 4th lnternational Con- ference, Dubna, 2010. – P. 257–263. 12. Sukhoroslov O.V. On development of grid- enabled applications and service-oriented sci- entific environments. In: Distributed compu- ting and grid-technologies in science and edu- cation, Proceedings of the 4th lnternational Conference, Dubna, 2010. – P. 236–240. 13. Marek Wieczorek, Radu Prodan and Thomas Моделі та засоби паралельних і розподілених програм 39 Fahringer. Scheduling of Scientific Work- flows in the ASKALON Grid Environment. In: ACM SIGMOD Record Journal, Sept. – 2005. – Vol. 34, N 3. – P. 56–62. 14. Shamardin L., Demichev A., Kryukov A., Ilyin V. GRIDNNN job execution service: a restful grid service. In: Distributed computing and grid-technologies in science and education, Proceedings of the 4th lnternational Confer- ence, Dubna, 2010. – P. 215–219. 15. Kacsuk P.: P-GRADE portal family for Grid infrastructures, Concurrency and Computa- tion: Practice and Experience Journal. – 2011. – Vol. 23, N 3. – P. 235–245. 16. Appleton O., Cameron D., Cernak J., Dóbé P., Ellert M., Frågåt T., Grønager M., Jo- hansson D., Jönemo J. and others. The next-generation ARC middleware. Ann. Telecommun. – 2010. – 65:771–776, DOI 10.1007/s12243-010-0210-2. 17. Ganga. Simplifying use of the Grid [Електронний ресурс]. – Режим доступу: http://ganga.web.cern.ch/ganga. 18. Install GridSphere Portal Framework [Електронний ресурс]. – Режим доступу: http://technical.bestgrid.org/index.php/Install_ GridSphere_Portal_Framework. 19. Projects:simplegrid:index [CyberInfrastruc- ture and Geospatial Information Laboratory] [Електронний ресурс]. – Режим доступу: https://www.cigi.uiuc.edu/doku.php/projects/s implegrid/index. 20. Lavanya Ramakrishnan, Charles Koelbel et al. VGrADS: Enabling e-Science Workflows on Grids and Clouds with Fault Tolerance [Електронний ресурс]. – Режим доступу: http://citeseerx.ist.psu.edu/viewdoc/similar?do i=10.1.1.160.7546&type=sc/. 21. Ewa Deelman, James Blythe et al. Pegasus: Mapping scientific workflows onto the grid, 2004 [Електронний ресурс]. – Режим досту- пу: https://www.cct.lsu.edu/~kosar/csc7700- fall06/papers/Deelman04.pdf. 22. g-Eclipse Project – Tools for Grid and Cloud Computing [Електронний ресурс]. – Режим доступу: http://www.eclipse.org/geclipse/. 23. Curcin V., Ghanem M. Scientific workflow systems – can one size fit all? Proceedings of the 2008 IEEE, CIBEC'08. 24. Tristan Glatard, Johan Montagnat, Diane Lingrand, Xavier Pennec. Flexible and effi- cient workflow deployement of data-intensive applications on grids with MOTEUR // In: In- ternational Journal of High Performance Computing Applications (IJHPCA), 22 (3), SAGE, August 2008. – P. 347–360. 25. D3.js – Data-Driven Documents [Електрон- ний ресурс]. – Режим доступу: http://d3js.- org/. 26. HeliosJS by entrendipity [Електронний ре- сурс]. – Режим доступу: http://entrendipity.github.io/helios.js/. 27. Rajkumar Buyya and Manzur Murshed. GridSim: A Toolkit for the Modeling and Simulation of Distributed Resource Manage- ment and Scheduling for Grid Computing, The Journal of Concurrency and Computa- tion: Wiley Press, Nov.-Dec., 2002. – Practice and Experience (CCPE), Vol. 14, N 13-15, 28. AfterGlow – Link Graph Visualization [Електронний ресурс]. – Режим доступу: http://afterglow.sourceforge.net/. 29. Офіційний сайт oVirt [Електронний ре- сурс]. – Режим доступу: http://www.ovirt.org. Одержано 11.07.2013 Про автора: Прiла Ольга Анатолiївна, асистент кафедри. Місце роботи автора: Чернiгiвський національний технологiчний унiверситет, м. Чернігів, вул. Шевченка 95. Тел..: (093) 787 1972. E-mail: olga.prila1986@gmail.com http://www.ovirt.org/

Grid application development framework

Репозитарії

Схожі ресурси