A method of two-tier storage management in virtualized data center
Internet of things applications and data analysis services require a high performance and resilient data storage systems. In the era of servers, networks and storage virtualization, there is a need to develop new models and methods of managing storages for the purpose of improving their performance...
Gespeichert in:
| Datum: | 2019 |
|---|---|
| 1. Verfasser: | |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Інститут програмних систем НАН України
2019
|
| Schlagworte: | |
| Online Zugang: | https://pp.isofts.kiev.ua/index.php/ojs1/article/view/331 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Problems in programming |
Institution
Problems in programming| id |
pp_isofts_kiev_ua-article-331 |
|---|---|
| record_format |
ojs |
| resource_txt_mv |
ppisoftskievua/fa/6a033f1b27c580ac63c2e8f148c9aefa.pdf |
| spelling |
pp_isofts_kiev_ua-article-3312019-02-28T11:28:55Z A method of two-tier storage management in virtualized data center Метод управления двухуровневым хранилищем виртуализированного центра обработки данных Метод управління дворівневим сховищем віртуалізованого центру обробки даних Zharikov, E.V. storage system; data migration; virtualization; cloud computing UDC 004.94; 004.4; 004.62 система хранения данных; миграция данных; виртуализация; облачные вычисления УДК 004.94; 004.4; 004.62 система збереження даних; міграція даних; віртуалізація; хмарні обчислення УДК 004.94; 004.4; 004.62 Internet of things applications and data analysis services require a high performance and resilient data storage systems. In the era of servers, networks and storage virtualization, there is a need to develop new models and methods of managing storages for the purpose of improving their performance and reducing the capital and operating costs of the IT infrastructure as a whole. In this paper the two-tier storage model and management method are proposed. The proposed method allows to increase the performance of read/write operations of virtual machines in cloud data centers without significant increase in the storage cost. The research results show that the use of two-tier storage management method allows to reduce the cost of storage by reducing the size and number of storage devices at the fastest level. The analysis of the simulation results shows that the two-tier storage and the proposed management method allows to reduce the waiting time for file access, that leads to an increase in the performance of the two-tier storage while simultaneously serving virtual machine and container requests. Problems in programming 2018; 4: 003-014 Требования к системам хранения данных со стороны современных сервисов в системах интернета вещей и анализа данных растут с каждым годом. В условиях виртуализации серверов, сетей и хранилищ данных возникает необходимость разработки новых моделей и методов управления системами хранения данных, улучшающие производительность их работы и позволяют уменьшить капитальные и операционные расходы на ИТ инфраструктуру в целом. В статье разработана модель двухуровневого хранилища и метод управления, позволяет без существенного увеличения стоимости хранения данных повысить производительность операций чтения / записи данных виртуальными машинами и контейнерами в гиперконвергентних и облачных ЦОД. Результаты исследования показывают, что использование двухуровневых хранилищ с предложенным методом управления дает возможность снизить стоимость хранения данных за счет уменьшения объема и количества устройств быстрого уровня. Анализ результатов симуляции работы двухуровневого хранилища и предложенного метода управления показал, что время ожидания завершения транзакций доступа к файлам уменьшается, что, по сравнению с одноуровневым хранилищем, построенным на медленных устройствах, приводит к повышению производительности работы двухуровневого хранилища при одновременной работе виртуальных машин и контейнеров.Problems in programming 2018; 4: 003-014 Вимоги до систем збереження даних з боку сучасних сервісів в системах інтернету речей та аналізу даних зростають з кожним роком. В умовах віртуалізації серверів, мереж і сховищ даних виникає необхідність розробки нових моделей і методів управління системами збереження даних, що покращують продуктивність їх роботи і дозволяють зменшити капітальні та операційні витрати на ІТ інфраструктуру в цілому. У статті розроблено модель дворівневого сховища і метод управління, що дозволяє без суттєвого збільшення вартості зберігання даних підвищити продуктивність операцій читання/запису даних віртуальними машинами та контейнерами в гіперконвергентних і хмарних ЦОД. Результати дослідження показують, що використання дворівневих сховищ із запропонованим методом управління дає можливість знизити вартість збереження даних за рахунок зменшення об’єму і кількості пристроїв швидкого рівня. Аналіз результатів симуляції роботи дворівневого сховища і запропонованого методу управління показав, що час очікування завершення транзакцій доступу до файлів зменшується, що, у порівнянні з однорівневим сховищем, побудованим на повільних пристроях, призводить до підвищення продуктивності роботи дворівневого сховища при одночасній роботі віртуальних машин і контейнерів. Problems in programming 2018; 4: 003-014 Інститут програмних систем НАН України 2019-02-28 Article Article application/pdf https://pp.isofts.kiev.ua/index.php/ojs1/article/view/331 10.15407/pp2018.04.003 PROBLEMS IN PROGRAMMING; No 4 (2018); 3-14 ПРОБЛЕМЫ ПРОГРАММИРОВАНИЯ; No 4 (2018); 3-14 ПРОБЛЕМИ ПРОГРАМУВАННЯ; No 4 (2018); 3-14 1727-4907 10.15407/pp2018.04 uk https://pp.isofts.kiev.ua/index.php/ojs1/article/view/331/331 Copyright (c) 2018 PROBLEMS OF PROGRAMMING |
| institution |
Problems in programming |
| baseUrl_str |
https://pp.isofts.kiev.ua/index.php/ojs1/oai |
| datestamp_date |
2019-02-28T11:28:55Z |
| collection |
OJS |
| language |
Ukrainian |
| topic |
storage system data migration virtualization cloud computing UDC 004.94 004.4 004.62 |
| spellingShingle |
storage system data migration virtualization cloud computing UDC 004.94 004.4 004.62 Zharikov, E.V. A method of two-tier storage management in virtualized data center |
| topic_facet |
storage system data migration virtualization cloud computing UDC 004.94 004.4 004.62 система хранения данных миграция данных виртуализация облачные вычисления УДК 004.94 004.4 004.62 система збереження даних міграція даних віртуалізація хмарні обчислення УДК 004.94 004.4 004.62 |
| format |
Article |
| author |
Zharikov, E.V. |
| author_facet |
Zharikov, E.V. |
| author_sort |
Zharikov, E.V. |
| title |
A method of two-tier storage management in virtualized data center |
| title_short |
A method of two-tier storage management in virtualized data center |
| title_full |
A method of two-tier storage management in virtualized data center |
| title_fullStr |
A method of two-tier storage management in virtualized data center |
| title_full_unstemmed |
A method of two-tier storage management in virtualized data center |
| title_sort |
method of two-tier storage management in virtualized data center |
| title_alt |
Метод управления двухуровневым хранилищем виртуализированного центра обработки данных Метод управління дворівневим сховищем віртуалізованого центру обробки даних |
| description |
Internet of things applications and data analysis services require a high performance and resilient data storage systems. In the era of servers, networks and storage virtualization, there is a need to develop new models and methods of managing storages for the purpose of improving their performance and reducing the capital and operating costs of the IT infrastructure as a whole. In this paper the two-tier storage model and management method are proposed. The proposed method allows to increase the performance of read/write operations of virtual machines in cloud data centers without significant increase in the storage cost. The research results show that the use of two-tier storage management method allows to reduce the cost of storage by reducing the size and number of storage devices at the fastest level. The analysis of the simulation results shows that the two-tier storage and the proposed management method allows to reduce the waiting time for file access, that leads to an increase in the performance of the two-tier storage while simultaneously serving virtual machine and container requests. Problems in programming 2018; 4: 003-014 |
| publisher |
Інститут програмних систем НАН України |
| publishDate |
2019 |
| url |
https://pp.isofts.kiev.ua/index.php/ojs1/article/view/331 |
| work_keys_str_mv |
AT zharikovev amethodoftwotierstoragemanagementinvirtualizeddatacenter AT zharikovev metodupravleniâdvuhurovnevymhraniliŝemvirtualizirovannogocentraobrabotkidannyh AT zharikovev metodupravlínnâdvorívnevimshoviŝemvírtualízovanogocentruobrobkidanih AT zharikovev methodoftwotierstoragemanagementinvirtualizeddatacenter |
| first_indexed |
2025-07-17T09:44:58Z |
| last_indexed |
2025-07-17T09:44:58Z |
| _version_ |
1838409299949256704 |
| fulltext |
Моделі та засоби паралельних і розподілених програм
© Е.В. Жаріков, 2018
ISSN 1727-4907. Проблеми програмування. 2018. № 4 3
УДК 004.94; 004.4; 004.62 https://doi.org/10.15407/pp2018.04.003
Е.В. Жаріков
МЕТОД УПРАВЛІННЯ ДВОРІВНЕВИМ СХОВИЩЕМ
ВІРТУАЛІЗОВАНОГО ЦЕНТРУ ОБРОБКИ ДАНИХ
Вимоги до систем збереження даних з боку сучасних сервісів у системах Інтернету речей та аналізу да-
них зростають з кожним роком. За умов віртуалізації серверів, мереж і сховищ даних виникає необхід-
ність розробки нових моделей і методів управління системами збереження даних, що покращують про-
дуктивність їх роботи і дозволяють зменшити капітальні та операційні витрати на ІТ інфраструктуру в
цілому. У статті розроблено модель дворівневого сховища і метод управління, що дозволяє без суттєво-
го збільшення вартості зберігання даних підвищити продуктивність операцій читання/запису даних вір-
туальними машинами та контейнерами в гіперконвергентних і хмарних ЦОД. Результати дослідження
показують, що використання дворівневих сховищ із запропонованим методом управління дає можли-
вість знизити вартість збереження даних за рахунок зменшення об’єму і кількості пристроїв швидкого
рівня. Аналіз результатів симуляції роботи дворівневого сховища і запропонованого методу управління
показав, що час очікування завершення транзакцій доступу до файлів зменшується, що, у порівнянні з
однорівневим сховищем, побудованим на повільних пристроях, призводить до підвищення продуктив-
ності роботи дворівневого сховища при одночасній роботі віртуальних машин і контейнерів.
Ключові слова: система збереження даних, міграція даних, віртуалізація, хмарні обчислення.
Вступ
Цифрова трансформація, що від-
бувається в поточний час, впливає на змі-
ни в ІТ-інфраструктурі і вимагає впрова-
дження нових технологій і методів збері-
гання і обробки даних [1] з метою більш
ефективного використання ресурсів та
прийняття рішень. Останні тенденції в га-
лузі хмарних обчислень, інтернету речей
та машинного навчання спираються на
системи збереження даних (сховища да-
них) як на основний ресурс центру оброб-
ки даних (ЦОД). За умов віртуалізації та
консолідації ресурсів управління систе-
мами збереження даних (СЗД) становить
важливу науково-практичну задачу. Для
досягнення бажаних показників продук-
тивності роботи ІТ-інфраструктури в ці-
лому необхідно забезпечити надійну, без-
перебійну та досить швидку роботу схо-
вищ даних.
Сучасні застосунки виконуються в
таких віртуалізованих середовищах, як ві-
ртуальні машини (ВМ) і контейнери. Але
СЗД підключені безпосередньо до фізич-
них серверів (ФС), до мережі ЦОД або до
мережі сховищ даних. Тому, з метою
управління виділенням необхідних об’ємів
сховища із заданими показниками продук-
тивності необхідно віртуалізувати і
об’єднати ресурси сховища в пул.
Кожна ВМ або контейнер викорис-
товується різними бізнес-процесами, які
потребують різного об’єму даних в СЗД і
різної продуктивності при доступі до да-
них. Особливістю управління СЗД у вірту-
алізованому середовищі є необхідність за-
безпечити різні показники продуктивності
роботи зі сховищем даних для різних ВМ
та контейнерів на одному ФС.
Сучасні СЗД являють собою склад-
ні підсистеми ЦОД з різними варіантами
підключення (DAS – Direct Attached
Storage, NAS – Network Attached Storage,
SAN – Storage Area Network), побудовані з
використанням пристроїв з різними техно-
логіями запису (флеш-пам’ять, магнітні
диски та ін.), і надають доступ до даних,
що представлені різними структурами
(блоки, файли, об’єкти, документи). Тому,
якщо процесорний ресурс має один вимір і
може бути розподілений між віртуальними
машинами або контейнерами, що викону-
ються локально, то СЗД, як ресурс, має де-
кілька вимірів (об’єм, пропускна здатність,
структури даних та ін.). Також, треба вра-
хувати, що навантаження на ВМ та кон-
тейнери змінюється, і немає необхідності
підтримувати високу пропускну здатність
доступу до даних весь час. Це, в свою чер-
гу, призводить до перевантаження одних
http://dx.doi.org/10.7124/bc.000027
Моделі та засоби паралельних і розподілених програм
4
каналів доступу до даних, а з іншого боку
до недовантаження інших каналів.
Ще одним важливим фактором,
який впливає на застосування тієї чи іншої
СЗД в ЦОД, – ціна. СЗД, що можуть об-
слуговувати динамічні навантаження з ви-
сокою продуктивністю і низькою затрим-
кою, побудовані з використанням флеш
накопичувачів і коштують на порядки до-
рожче, чим СЗД, побудовані з використан-
ням накопичувачів з магнітними дисками.
Також, на ціну дуже впливає спосіб підк-
лючення СЗД до споживачів. Найдорож-
чим варіантом розгортання СЗД є SAN,
набагато дешевшим варіантом реалізації
СЗД – DAS.
На разі, незалежно від технології
організації доступу до сховища, необхідно
застосувати той чи інший принцип читан-
ня/запису даних. Наявні в ЦОД пристрої,
що реалізують старі, нові або найновіші
принципи запису даних на носії, можливо
розділити за критерієм швидкості на дві
групи: швидкісні (найсучасніші) і повільні
(пристрої і інтерфейси попередніх поко-
лінь). Зазвичай, впровадження і викорис-
тання швидкісних пристроїв коштує доро-
жче (іноді набагато дорожче), чим викори-
стання поширених пристроїв зберігання
даних попередніх поколінь. Таким чином,
завжди виникає задача досягнення високої
продуктивності читання/запису даних при
зменшенні витрат на придбання і експлуа-
тацію пристроїв і систем збереження да-
них.
При цьому, ефективне використан-
ня ресурсів СЗД полягає у забезпеченні за-
даної якості обслуговування запитів дос-
тупу до даних при мінімізації капітальних
та операційних витрат на утримання СЗД.
З появою швидких пристроїв і інте-
рфейсів у системах збереження даних ста-
ло можливим об’єднувати в рамках схо-
вища пристрої з різною продуктивністю,
створюючи так звані багаторівневі схови-
ща (storage tiering) [2–5].
Одним із шляхів зменшення вартос-
ті придбання і експлуатації СЗД без суттє-
вої втрати об’єму є міграція даних між
швидкодіючими пристроями одного рівня
та повільними пристроями іншого рівня
сховища. При цьому, рівень швидкодіючих
пристроїв має набагато менший об’єм, чим
об’єм пристроїв повільного рівня. Відпові-
дно, вартість придбання і експлуатації СЗД
зменшується завдяки зменшенню кількості
коштовних швидких пристроїв.
Для вирішення задачі управління
СЗД ЦОД в статті пропонується метод
управління, що базується на моделі дворі-
вневого сховища і алгоритмах міграції да-
них між швидким та повільним рівнями
сховища.
1. Аналіз публікацій
Системам збереження даних в ЦОД
приділяється все більше уваги у зв’язку із
зміною вимог до швидкісних і об’ємних
показників при роботі з даними з боку су-
часних сервісів. Останнім часом набули
розвитку нові технології роботи з даними,
такі як сховища на основі флеш пам’яті
(Flash storage), енергонезалежна пам'ять
(Non-volatile memory express) [6], фабрики
сховищ на основі Ethernet (Ethernet storage
fabric) [7], пам'ять класу сховища (Storage
class memory) [8].
При цьому, адаптація і впрова-
дження нових, більш продуктивних, тех-
нологій збереження даних не витісняє іс-
нуючі, більш повільні, а доповнює їх. Крім
того, з одного боку, сучасні сервіси вима-
гають швидкого доступу до даних і висо-
кої продуктивності, з іншого – великих
об’ємів для довготривалого зберігання і
резервного копіювання.
Розробці нових методів і фреймвор-
ків для підвищення ефективності роботи
СЗД приділяється багато уваги з боку нау-
ковців та інженерів [3–5, 9–12]. В роботі
[9] запропонований менеджер розміщення
даних “AutoTiering”, який працює з бага-
торівневим сховищем, що складається
тільки з SSD пристроїв. Розподіл пристро-
їв між рівнями сховища відбувається в за-
лежності від продуктивності накопичува-
чів та їх вартості. Стан кожного рівня схо-
вища оцінюється з використанням метрик:
продуктивність операцій читання/запису
випадкових даних (IOPS), швидкість чи-
тання/запису послідовних даних (MBPS)
та розмір сховища. Навантаження для оці-
нки роботи запропонованого рішення зге-
неровані з використанням IOMeter [13] і
Моделі та засоби паралельних і розподілених програм
5
FIO [14]. Основна мета, яку автори [9] при
роботі з багаторівневим сховищем нама-
гаються досягти – збільшення прибутків
при збережені даних. Максимізація крите-
рію досягається шляхом міграції даних
між пристроями рівнів у залежності від ва-
ртості збереження даних та вартості їх мі-
жрівневої міграції. Однак, додавання чер-
гового рівня до сховища призводить до не-
обхідності додавати ще один рівень управ-
ління і ще один рівень міграції даних,
ускладнюючи загальну схему роботи з да-
ними.
У роботі [10] представлено матема-
тичні моделі для задач кластеризації та
управління ресурсами систем збереження
даних з метою мінімізації витрат на корис-
тування існуючими сховищами, покра-
щення якості обслуговування споживачів
даних та рівномірного розподілення фай-
лів між рівнями збереження даних. Для ро-
зробки моделей систем збереження даних
запропоновано використовувати методи
математичного програмування з викорис-
танням критеріїв мінімізації витрат і рів-
номірного заповнення рівнів та пристроїв з
урахуванням ресурсних, технологічних і
часових обмежень. Але розроблені алгори-
тми показали різну продуктивність роботи
з файлами різного розміру. Крім того, не
обґрунтовано використання трьох рівнів
сховища і не вказано, для якого наванта-
ження проводились дослідження роботи
запропонованих алгоритмів.
В роботі [11] запропоновано схему
збереження даних з використанням дворі-
вневого сховища. На рівні файлової систе-
ми створюються логічні гібридні диски з
відповідними позначками розміщення
блоків даних, що належать програмам при
їх запуску і функціонуванні. Це дозволяє
усунути затримки при пошуку блоків да-
них у відповідних таблицях відображення і
розмістити часто використовувані блоки
на пристроях з високою продуктивністю. В
результаті застосування представленої
схеми прискорився запуск програм та під-
вищилась продуктивність роботи зі схо-
вищем. Запропонована схема підтримує
міграцію блоків між твердотілими накопи-
чувачами (solid-state drive, SSD) та при-
строями на магнітних дисках (hard disk
drive, HDD), та навпаки. Представлений
графічний розподіл запитів блоків різної
довжини при використанні програм
LibreOffice та Eclipse показав, що більш
частіше відбувається зчитування коротших
послідовностей блоків даних. Однак в за-
пропонованій схемі виконується міграція
тільки певних блоків, а не всіх, що нале-
жать до виконуваної програми. Також,
зворотна міграція блоків з рівня SSD на рі-
вень HDD виконується тільки для блоків,
які довго не використовуються, незалежно
від їх розміру.
Розподілена файлова система, що
враховує показники продуктивності різних
рівнів системи збереження даних, предста-
влена в роботі [12]. Запропонована файло-
ва система розроблена на базі HDFS [15] і
дозволяє застосовувати політики автома-
тизації управління даними як в межах рів-
нів сховища на одному вузлі, так і в розпо-
діленому варіанті. Із застосуванням бага-
токритеріальної оптимізації автори запро-
понували схеми забезпечення відмовостій-
кості, балансування навантаження та збі-
льшення продуктивності. Однак запропо-
нована система працює на файловому рівні
і орієнтована на вузьке коло застосування,
наприклад Hadoop [16] і Spark [17].
2. Постановка задачі
Організація роботи сховища у вір-
туалізованому середовищі полягає у вирі-
шенні задачі забезпечення заданої продук-
тивності доступу до даних з боку віртуа-
льних машин та контейнерів.
Один із способів підвищення про-
дуктивності роботи сховища без суттєвого
підвищення вартості зберігання даних є
розбиття сховища на два рівні: перший рі-
вень є найпродуктивнішим, меншого
об’єму і дорожчим при використанні, дру-
гий рівень є повільним, більшого об’єму і
дешевшим. При організації роботи схови-
ща шляхом розбиття його на рівні виникає
необхідність управління процесом міграції
даних між рівнями. При цьому, ВМ та кон-
тейнери обробляють дані, що знаходяться
на пристроях швидкого рівня. В сучасних
СЗД швидкий рівень складається з твердо-
тілих накопичувачів. Ці пристрої мають
найвищу продуктивність роботи з даними
Моделі та засоби паралельних і розподілених програм
6
в рамках сховища. Якщо необхідних даних
на швидкому рівні немає, відбувається мі-
грація даних з менш швидкісного (повіль-
ного) рівня. В системах збереження даних
повільний рівень складається з пристроїв
на магнітних дисках (HDD). Міграція з по-
вільного рівня на швидкий виконується з
метою зменшення затримки при роботі з
даними в сховищі. Одночасно з цим відбу-
вається міграція даних зі швидкого рівня
на повільний рівень з метою звільнення
місця на пристроях швидкого рівня для
подальшої обробки та міграції «гарячих»
даних.
Таким чином, необхідно розробити
модель дворівневого сховища і метод
управління, що дозволяє без суттєвого збі-
льшення вартості зберігання даних підви-
щити продуктивність операцій читан-
ня/запису даних віртуальними машинами
та контейнерами в гіперконвергентних і
хмарних ЦОД.
3. Розробка моделі дворівневого
сховища
Основними елементами моделі дво-
рівневого сховища є дані (файли та блоки),
пристрої швидкого рівня, пристрої повіль-
ного рівня та фізичні сервери. До кожного
сервера підключено декілька пристроїв, які
розміщені в загальному випадку на декіль-
кох рівнях, в залежності від їх продуктив-
ності. В розробленій моделі пропонується
використовувати два рівні: швидкий і по-
вільний.
Позначимо n кількість файлів, які
зберігаються віртуальною машиною в ло-
кальному сховищі поточного ФС. В зага-
льному випадку кількість файлів є змін-
ною. Збереження файлів у сховищі відбу-
вається блочно, розмір блоків залежить від
умов використання і операційних систем.
Позначимо t кількість блоків, в яких збе-
рігаються файли. При постановці задачі
розмір блока дорівнює 4 Кб. Відповідно,
кількість блоків теж змінюється в процесі
роботи сховища. Кількість пристроїв шви-
дкого рівня на одному ФС позначимо m ,
кількість пристроїв повільного рівня – c .
Для опису моделі і вирішення задач управ-
ління роботою сховища поточного ФС
введемо наступні змінні:
id – розмір і-го файлу, 1,i n ;
b – розмір блоку даних;
jq – кількість разів доступу до j-го
блоку протягом заданого часу (це може
бути день, тиждень, місяць і т. д.), 1,j t ;
ijB – логічна змінна розбиття фай-
лів на блоки ( ijB =1 якщо j-ий блок є час-
тиною i-го файлу, ijB =0 – в іншому випад-
ку), 1,i n , 1,j t ;
ks – розмір k-го швидкого при-
строю, 1,k m ;
kjx – логічна змінна розміщення
j-го блоку на k-ому швидкому пристрої,
1,k m , 1,j t ;
kC – вартість використання k-го
швидкого пристрою, 1,k m ;
kG – вартість зберігання одного
блоку на k-му швидкому пристрої, 1,k m ;
h – розмір v-го повільного при-
строю, 1,v c ;
jy – логічна змінна розміщення
j-го блоку на v-му повільному пристрої,
1,v c , 1,j t ;
D – вартість використання v-го
повільного пристрою, 1,v c ;
g – вартість зберігання блоку на
v-му повільному пристрої, 1,v c ;
kr – вартість міграції блоку з v-го
повільного пристрою на k-ий швидкий
пристрій, 1,k m , 1,v c .
Робота з блоками відбувається на
швидкому рівні. Якщо необхідного блоку
на швидкому рівні немає, то відбувається
зчитування його з повільного рівня, від-
правка у відповідні канали обміну з
пам’яттю, запис блоку на швидкий рівень
та видалення блоку з повільного рівня.
Подальша робота з цим блоком відбува-
ється вже читанням/записом із швидкого
рівня. У випадку, коли неможливо записа-
ти блок на швидкий рівень, робота з бло-
ком відбувається читанням/записом з пові-
льного рівня до тих пір, поки не з’явиться
Моделі та засоби паралельних і розподілених програм
7
вільне місце на швидкому рівні. При міг-
рації блоку зі швидкого рівня на повільний
рівень спочатку відбувається його запис на
повільний рівень, а потім видалення із
швидкого рівня. Відповідно, при міграції
блоку з повільного рівня на швидкий рі-
вень, спочатку виконується запис на шви-
дкий рівень, а потім видалення з повільно-
го рівня. Таким чином, блок існує в одно-
му екземплярі при закінченні процесу
міжрівневої міграції.
Причиною для міграції між рівнями
постає наявність/відсутність доступу до
блоків даних протягом деякого часу. Через
це необхідна максимізація середньої
кількості транзакцій роботи з блоками, які
розміщуються на пристроях швидкого
рівня (1).
1
1
1
max
t
m
j kjj
t
k kjj
q x
x
. (1)
Кількість блоків на поточному ФС
знаходиться з використанням наступного
рівняння:
1
n
ii
d
t
b
В моделі треба врахувати обме-
ження.
1. Наявність вільного місця на при-
строях швидкого рівня позначимо
1 1 1
m t m
kj k
k j k
x b s
. (2)
2. Наявність вільного місця на при-
строях повільного рівня позначимо
1 1 1
c t c
vj v
v j v
y b h
. (3)
3. На пристроях швидкого рівня та
пристроях повільного рівня j-й блок має
зберігатись лише в одному екземплярі:
1
1
m
kj
k
x
, (4)
1
1
c
vj
v
y
. (5)
4. Кожен з блоків j належить тільки
одному файлу
1
1, 1, .
n
ij
i
B j t
(6)
Кількість пристроїв для збереження
даних на кожному рівні визначається, з
одного боку, можливостями інтерфейсів
підключення, а з іншого – вартістю вико-
ристання пристроїв. Вартість збереження
даних на всіх швидких пристроях визнача-
ється наступним чином:
1
m
k
k
C
. (7)
Вартість збереження даних на всіх
повільних пристроях визначається за до-
помогою формули
1
c
v
v
D
. (8)
Вартість зберігання блоків даних на
k-му швидкому пристрої знаходиться за
допомогою виразу
1
t
k kj
j
G x
. (9)
Вартість зберігання блоків даних на
v-му повільному пристрої знаходиться за
допомогою виразу
1
t
v vj
j
g y
. (10)
У випадках, коли зберігання даних
на пристроях рівня з кращою продуктивні-
стю може стати невиправданим (дорогим),
то необхідно мігрувати ці дані на рівень з
нижчою продуктивністю, де зберігання
даних буде більш дешевим. Вартість міг-
рації між двома пристроями різних рівнів
розраховується наступним чином:
1 1
c m
vk
v k
r
. (11)
Таким чином, враховуючи вирази
(7) – (11), мінімізація вартості збереження
даних у локальному сховищі ФС з можли-
вістю міграції даних між пристроями різ-
них рівнів виконується за допомогою кри-
терію:
.
Моделі та засоби паралельних і розподілених програм
8
1 1
1 1
1 1
( )
min ( )
m t
k k jk
k j
c t
v v jv
v j
c m
vk
v k
C G x
D g y
r
, (12)
за умов виконання обмежень (2) – (6).
4. Метод міграції даних між
рівнями сховища
Ідея методу управління дворівне-
вим сховищем ФС базується на міграції
даних між швидким та повільним рівнями
сховища і полягає у наступному. Локаль-
ний пул дисків ФС розбивається на два рі-
вні: швидкий і повільний (рис. 1). Застосу-
нки, що виконуються у ВМ, в будь-який
момент часу використовують не всі дані
логічних томів (дисків). Якщо виникають
запити до певних файлів протягом деякого
часу необхідно мігрувати відповідні блоки
даних з повільного рівня на швидкий. Як-
що запити до цих файлів зникають і блоки
даних цих файлів більше не потрібні, то
виконується їх міграція на повільний рі-
вень, що призводить до вивільнення місця
на пристроях швидкого рівня. Таким чи-
ном, щоб на рівні швидких пристроїв було
в наявності місце, необхідно постійно під-
тримувати частину вільного місця, яку
можливо використовувати для зберігання
«гарячих» даних. Якщо створюються нові
дані, то в першу чергу вони розміщуються
на пристроях швидкого рівня.
Рис. 1. Архітектура дворівневого
локального сховища
В основу метода покладено такі ал-
горитми: алгоритм сортування файлів за
двома критеріями, алгоритм міграції фай-
лів з швидкого рівня на повільний та алго-
ритм міграції файлу з повільного рівня на
швидкий.
Для забезпечення роботи методу
управління дворівневим сховищем необ-
хідно сортувати файли за двома критерія-
ми: за розміром файлу і за кількістю тран-
закцій доступу до файлу. Кожен з критері-
їв може мати певну вагу, яку треба визна-
чати експериментально.
Сортування файлів, які розміщу-
ються на швидкому рівні сховища даних,
виконується Алгоритмом 1. Позначимо FL
– список файлів швидкого рівня; new FL –
відсортований за двома критеріями список
файлів швидкого рівня; iW – комплексна
вага i-го файлу; WL – список двійок (i, iW )
файлів для ідентифікації і доступу; size FL
– список файлів, відсортованих за розмі-
ром; access FL – список файлів, відсорто-
ваних за кількістю транзакцій доступу;
sizew – вага критерію розміру; accessw – ва-
га критерію кількості транзакцій доступу
до файлу. Функція ( )F
iaccess L повертає кі-
лькість транзакцій доступу до i-го файлу,
функція ( )F
isize L повертає розмір i-го фай-
лу; функція sizeof( FL ) повертає довжину
списку файлів.
Алгоритм 1. Сортування файлів за
критеріями розміру та кількості транзакцій
доступу до файлів.
Вхідні дані: FL , sizew , accessw .
Вихідні дані: new FL .
1. Ініціалізація списків:
new FL
← NULL,
iW
← NULL,
size FL ← NULL,
access FL ← NULL.
2. access FL
← відcортувати FL за
збільшенням кількості транзакцій доступу
до фійлів.
3. size FL ← відcортувати FL за
зменшенням розміру файлів.
Моделі та засоби паралельних і розподілених програм
9
4. ( )FN sizeof L .
5. for i = 1 to N do.
6. ( )F
i size iW w size L
( )F
access iw access L .
7. ( , )W
iL i W .
8. end for.
9. FnewL відстортувати WL за
зменшенням коефіцієнту iW .
10. return new FL .
Нові файли завжди за можливістю
зберігаються на швидкому рівні сховища.
Так як кількість вільного місця на швид-
кому рівні не має бути менше визначеного
порогового значення, файли з найменшою
кількістю доступів і найбільшого розміру
необхідно мігрувати з швидкого рівня.
Процес міграції відбувається паралельно з
роботою швидкого рівня з обслуговування
транзакцій читання/запису. Блоки даних
мігрують на повільний рівень поки на
швидкому рівні кількість вільного місця не
стане більше визначеного порогового зна-
чення SSDTh . Значення SSDTh залежить від
інтенсивності роботи з файлами великого
розміру і підбирається експериментально.
Алгоритм враховує, що на пристроях пові-
льного рівня завжди є місце для мігруючих
файлів. Алгоритм міграції блоків на пові-
льний рівень (Алгоритм 2) працює наступ-
ним чином:
Алгоритм 2. Міграція блоків файлу
з швидкого рівня на повільний рівень.
Вхідні дані: new FL – список файлів для
міграції.
Вихідні дані: M – результат міграції фай-
лів (позитивний/негативний).
1. 1i .
2. M false.
3. while
1
( )
m
F SSD
k
k
s size newL Th
then.
4. Мігрувати i-й файл на повіль-
ний рівень.
5. Видалити i-й файл зі швидкого
рівня.
6. Видалити i-й файл з FL та
new FL .
7. 1i i .
8. M true.
9. end while.
10. return M .
Алгоритм міграції даних з повіль-
ного рівня на швидкий (Алгоритм 3) пра-
цює наступним чином:
Алгоритм 3. Міграція файлу з по-
вільного рівня на швидкий.
Вхідні дані: F – запитуваний для читан-
ня/запису файл.
Вихідні дані: результат міграції файлу
(позитивний/негативний).
1. k1, M True.
2. repeat.
3. if (файл F розташований на
швидкому рівні) then.
4. Зчитати/записати файл зі швид-
кого рівня.
5. else.
6. Налаштувати зчитування/запи-
су файлу F з повільного рівня.
7. Зчитати/записати файл з пові-
льного рівня.
8. while (k <= m) and M do.
9. if ( ) 0ks size F then.
10. Записати файл F на швидкіс-
ний пристрій k.
11. Налаштувати зчитування/запис
файлу F з швидкісного рівня.
12. Видалити файл F з повільного
пристрою.
13. M False.
14. end if.
15. 1k k .
16. end while.
17. if k=m and M then.
18. Виконати алгоритм 2.2.
19. end if.
20. end if.
21. until (транзакції з файлом від-
буваються).
Алгоритм 3 працює кожного разу,
коли починаються транзакції з певним
файлом. При цьому Алгоритм 2 може
запускатись як у відповідь на нестачу
вільного місця на швидкому рівні, так і
через певні інтервали часу. Визначення
таких інтервалів не входить до розгляду в
цій статті.
Моделі та засоби паралельних і розподілених програм
10
5. Моделювання дворівневого
сховища
Для дослідження запропонованої
моделі дворівневого сховища та методу
управління розроблено програмний засто-
сунок з використанням мови програмуван-
ня Java. Запуск застосунку для симуляції
виконувався на комп’ютері з процесором
Intel i7-3632QM і обсягом пам’яті 8 GB під
управлінням ОС Windows 10 Pro 64bit.
Для формування вхідних даних, що
подаються на вхід застосунку, вико-
ристано програмне забезпечення Process
Monitor [18]. Process Monitor дає можли-
вість записати перелік процесів, які вико-
нуються і отримують доступ до файлів на
дисках при роботі з операційною систе-
мою Windows.
Збір вхідних даних для симуляції
включає в себе декілька етапів. На першо-
му етапі, з використанням Process Monitor,
було зібрано дані про використання файлів
на дисковому пристрої застосунками
Windows звичайного офісного комп’ютера
на протязі 8 годин.
Другий етап. Збереження звіту про
роботу Process Monitor у форматі CSV, в
який записуються результати моніторингу
(рис. 2).
Третій етап. Формування вхідних
даних для дослідження моделі дворівнево-
го сховища та якості використання пред-
ставлених в роботі алгоритмів (рис. 3). На
вхід кожної ВМ при моделюванні подаєть-
ся наступна інформація про активність ди-
скової підсистеми: файл та шлях до нього;
розмір файлу; чи змінювався його розмір
протягом часу роботи Process Monitor; кі-
лькість запитів до файлу.
Для виконання третього етапу під-
готовки вхідних даних розроблений окре-
мий застосунок з метою конвертації даних
формату Process Monitor у формат засто-
сунку симуляції.
Для моделювання дворівневого
сховища і дослідження запропонованого
методу управління необхідно задати на-
ступні початкові дані: кількість серверів,
які необхідні для симуляції; кількість при-
строїв, які знаходяться на швидкому рівні
на кожному з серверів системи; кількість
пристроїв, які знаходяться на повільному
рівні. Крім того, в конфігураційний файл
симулятора треба додати дані про конфігу-
рацію пристроїв кожного рівня та кількість
віртуальних машин на кожному сервері.
Характеристики роботи дискових
пристроїв, які розміщуються на швидкому
рівні: затримка 1 мс; середній час доступу
до файлів 1 мс; пропускна спроможність
дискового пристрою 300 МБ/c; об’єм дис-
ку 64ГБ.
Характеристики роботи дискових
пристроїв на повільному рівні сховищ: за-
тримка 6 мс; середній час доступу до фай-
лів 9 мс; пропускна спроможність диско-
вого пристрою 120 МБ/c; об’єм диску
500ГБ.
Рис. 2. Фрагмент CSV файлу при експорті з Process Monitor
Моделі та засоби паралельних і розподілених програм
11
Рис. 3. Вхідні дані для симуляції
дворівневого сховища
Симулятор створює введену кіль-
кість серверів у системі моделювання. На
кожному сервері створюються два рівні
пристроїв, на кожному з рівнів створюєть-
ся задана кількість пристроїв. Після ство-
рення серверів генеруються віртуальні
машини, які будуть отримувати доступ до
сховища згідно параметрам, що записані
у вхідних даних. Для кожної ВМ, в три
етапи, з використанням Process Monitor,
згенеровано окремий вхідний файл з опи-
сом характеристик доступу до файлів (час-
тота, розмір, вид операції та ін.) як описа-
но вище.
В експерименті на кожному сервері
моделюється робота п’яти віртуальних
машин. Відповідно, для роботи із застосу-
нком моделювання використано п’ять СSV
файлів, в яких містяться дані про доступ
до файлів ОС Windows загальним розмі-
ром 8742 Мб. Міграція даних між рівнями
сховища одного фізичного сервера відбу-
валась у випадку наявності певної визна-
ченої кількості транзакцій доступу до пев-
ного файлу ОС, що приводило до необхід-
ності міграції. При великому навантажені
на сервер, коли протягом всього часу мо-
делювання від кожної віртуальної машини
до сховища надходять запити на обробку
великої кількості даних, міграція допома-
гає зменшити час очікування даних з схо-
вищ шляхом збереження часто запитува-
них файлів на пристроях швидкого рівня.
В поточній версії застосунку моде-
лювання роботи з окремими блоками фай-
лів не виконується. Таким чином, при дос-
тупі до файлу він цілком записується на
швидкий рівень.
6. Оцінка результатів
моделювання
Під час запусків застосунку моде-
лювання встановлено, що наявна інтенси-
вність роботи з файлами з боку віртуаль-
них машин не призвела до вичерпання ди-
скового простору на швидкому рівні схо-
вища. Поріг підтримки вільного місця на
кожному з дисків швидкого рівня встанов-
лений у розмірі 100 МБ, виходячи з розмі-
ру найбільшого файлу у вхідних даних.
В результаті моделювання отримані
залежності часу доступу до файлу в зале-
жності від його розміру. Моделювання ви-
конано для двох конфігурацій сховищ: з
дворівневим сховищем і з однорівневим
сховищем. Однорівневе сховище моделю-
ється пристроями повільного рівня. Для
кожної конфігурації виконано десять запу-
сків моделювання. В результаті отримані
середні показники.
Так як запис файлів на дворівневе
сховище в більшості випадків відбувається
на швидкий рівень, то час запису визнача-
ється показниками пристроїв швидкого рі-
вня (рис. 4). Виключення може бути тоді,
коли створюється новий файл, розмір яко-
го вище, чим вільне місце на одному з
пристроїв швидкого рівня. В такому випа-
дку файл створюється на пристрої повіль-
ного рівня. При цьому, паралельно, вико-
нується очистка пристроїв швидкого рівня
з метою подальшого перенесення цього
нового файлу на швидкий рівень (в фоно-
вому режимі). Таким чином, середній час
запису такого файлу трохи зростає.
При записі файлів в однорівневе
сховище витрачається більший час (рис. 5)
через те, що продуктивність пристроїв по-
вільного рівня нижча за продуктивність
пристроїв швидкого рівня.
При роботі дворівневого сховища в
режимі читання файлів перша транзакція
читання файлу відбувається з пристрою
Моделі та засоби паралельних і розподілених програм
12
повільного рівня з одночасним записом
цього файлу на швидкий рівень. Подальша
робота з файлом вже буде відбуватися
шляхом доступу до пристроїв швидкого
рівня. Виключенням є ситуація, коли пере-
несення цього файлу на швидкий рівень
неможливо через нестачу вільного місця. В
такому випадку запускається алгоритм
очистки пристроїв швидкого рівня парале-
льно з доступом до цього файлу на при-
строї повільного рівня. Коли вільне місце
з’являється на пристрої швидкого рівня
цей файл мігрує на швидкий рівень і пода-
льша робота з ним відбувається вже з ви-
щою продуктивністю. Таким чином, при
зчитуванні файлів з багаторівневого схо-
вища (рис. 6) час очікування доступу до
файлу є меншим через те, що дані знахо-
дяться на швидкому рівні.
При зчитуванні файлів з однорівне-
вого сховища витрачається більший час
(рис. 7) через те, що продуктивність при-
строїв повільного рівня нижча за продук-
тивність пристроїв швидкого рівня.
Таким чином, розглядаючи усеред-
нені значення зчитування і запису деякої
кількості файлів з використанням дворів-
невого сховища та однорівневого, можна
зробити висновок, що використання мігра-
ції дозволяє зменшити час очікування дос-
тупу до файлів при виконанні одночасних
дискових операцій віртуальними машина-
ми на фізичних серверах.
Рис. 4. Запис файлів в дворівневе сховище
Рис. 5. Запис файлів в однорівневе сховище
Рис. 6. Читання файлів з дворівневого сховища
Рис. 7. Читання файлів з однорівневого сховища
Моделі та засоби паралельних і розподілених програм
13
Висновки
Для управління процесами доступу
до даних на рівні сховища фізичного сер-
вера в статті запропоновано і досліджено
метод управління дворівневим сховищем
на основі міграції даних між швидким і
повільним рівнями сховища.
Запропонований метод управління
базується на моделі дворівневого сховища
і алгоритмах міграції даних між швидким
та повільним рівнями сховища за критері-
єм мінімізації вартості збереження даних.
Вивільнення місця з швидкого рівня відбу-
вається з використанням двох критеріїв: за
розміром файлу і за кількістю транзакцій
доступу до файлу.
Для дослідження запропонованої
моделі та методу управління розроблено
програмний застосунок, що дозволяє мо-
делювати роботу дворівневого і однорів-
невого сховища. Результати дослідження
показують, що використання дворівневих
сховищ із запропонованим методом управ-
ління призводить до зменшення необхід-
ного об’єму пристроїв швидкого рівня
(зниження вартості збереження даних) та
зменшення часу очікування завершення
транзакцій доступу до файлів при одноча-
сній роботі віртуальних машин зі схови-
щем фізичного сервера.
Подальше дослідження запропоно-
ваної моделі і методу управління пов’язане
з доробкою застосунка моделювання з ме-
тою урахування блочного обміну та підбо-
ру вагових коефіцієнтів для досягнення
високої продуктивності роботи дворівне-
вого сховища.
Література
1. Top 10 Digital Transformation Trends For
2019 [Електронний ресурс] – Режим дос-
тупу до ресурсу:
https://www.forbes.com/sites/danielnewman/2
018/09/11/top-10-digital-transformation-
trends-for-2019/#17d55d1e3c30.
2. ZFS L2ARC [Електронний ресурс] – Режим
доступу до ресурсу:
http://137.254.16.27/brendan/entry/test.
3. Chen F., Koufaty D.A., Zhang X. Hystor:
making the best use of solid state drives in
high performance storage systems. In
Proceedings of the international conference
on Supercomputing. 2011. P. 22–32.
4. Guerra J., Pucha H., Glider J.S., Belluomini
W., Rangaswami R. Cost Effective Storage
using Extent Based Dynamic Tiering. FAST.
2011. N 11. P. 1–14.
5. Arteaga D., Zhao M. Client-side flash caching
for cloud systems. In Proc. 7th ACM Int. Syst.
Storage Conf. 2014. P. 1–11.
6. NVM Express [Електронний ресурс] – Ре-
жим доступу до ресурсу:
https://nvmexpress.org/.
7. Ethernet Storage Fabric – Part 1 [Електрон-
ний ресурс] – Режим доступу до ресурсу:
http://www.mellanox.com/blog/2018/05/ether
net-storage-fabric-part-1/.
8. Top 10 storage trends for 2018 and why you
should care [Електронний ресурс] – Режим
доступу до ресурсу:
https://community.hpe.com/t5/Around-the-
Storage-Block/Top-10-storage-trends-for-
2018-and-why-you-should-care/ba-
p/6995176#.W7DrSXnWhmA.
9. Yang Z. et al. AutoTiering: automatic data
placement manager in multi-tier all-flash
datacenter. Performance Computing and
Communications Conference (IPCCC), 2017
IEEE 36th International. IEEE. 2017. P. 1–8.
10. Боданюк М.Є., Карнаухов О.К., Ролік О.І.,
Теленик С.Ф. Управління системами збе-
реження даних. Electronics and Com-
munications. 2013. № 5 (76). С. 81–90.
11. Ryu J., Lee D., Han C., Shin H., and Kang K.
File-System-Level Storage Tiering for Faster
Application Launches on Logical Hybrid
Disks. IEEE Access. 2016. Vol. 4.
P. 3688–3696.
12. Kakoulli E., Herodotou H. OctopusFS: A
distributed file system with tiered storage
management. In Proceedings of the 2017
ACM International Conference on
Management of Data. 2017. P. 65–78.
13. Intel IOMeter [Електронний ресурс]. – Ре-
жим доступу до ресурсу:
http://www.iometer.org.
14. FIO: Flexible I/O Tester [Електронний ре-
сурс] – Режим доступу до ресурсу:
http://linux.die.net/man/1/fio.
15. Borthakur D. The hadoop distributed file
system: Architecture and design. Hadoop
Project Website. 2007. Т. 11. 2007. P. 21.
16. T. White Hadoop: The Definitive Guide.
Yahoo! Press, 2010.
17. Zaharia M., Chowdhury M., Das T., Dave A.,
Ma J., et al. Resilient Distributed Datasets: A
Fault-tolerant Abstraction for In-memory
Cluster Computing. In Proc. of the 9th Symp.
http://www.iometer.org/
Моделі та засоби паралельних і розподілених програм
14
on Networked Systems Design and
Implementation (NSDI). 2012. P. 15–28.
18. Process Monitor. [Електроний ресурс] – Ре-
жим доступу: https://docs.microsoft.com/en-
us/sysinternals/downloads/procmon.
References
1. Top 10 Digital Transformation Trends For
2019 Framework [Online] – Available from:
https://www.forbes.com/sites/danielnewman/2
018/09/11/top-10-digital-transformation-
trends-for-2019/#17d55d1e3c30.
2. ZFS L2ARC [Online] – Available from:
http://137.254.16.27/brendan/entry/test.
3. Chen, F., Koufaty, D. A., & Zhang, X. (2011,
May). Hystor: making the best use of solid
state drives in high performance storage
systems. In Proceedings of the international
conference on Supercomputing (P. 22–32).
ACM.
4. Guerra J., Pucha H., Glider J.S., Belluomini
W., & Rangaswami R. (2011, February). Cost
Effective Storage using Extent Based
Dynamic Tiering. In FAST (11). P. 1–14.
5. Arteaga D., & Zhao M. (2014, June). Client-
side flash caching for cloud systems. In
Proceedings of International Conference on
Systems and Storage (P. 1–11). ACM.
6. NVM Express [Online] – Available from:
https://nvmexpress.org/.
7. Ethernet Storage Fabric – Part 1 [Online] –
Available from:
http://www.mellanox.com/blog/2018/05/ether
net-storage-fabric-part-1/.
8. Top 10 storage trends for 2018 and why you
should care [Online] – Available from:
https://community.hpe.com/t5/Around-the-
Storage-Block/Top-10-storage-trends-for-
2018-and-why-you-should-care/ba-
p/6995176#.W7DrSXnWhmA.
9. Yang Z., Hoseinzadeh M., Andrews A.,
Mayers C., Evans D.T., Bolt R.T., … &
Swanson S. (2017, December). AutoTiering:
automatic data placement manager in multi-
tier all-flash datacenter. In Performance
Computing and Communications Conference
(IPCCC), 2017 IEEE 36th International
(P. 1–8). IEEE.
10. Bodanyuk M.E., Karnaukhov O.K., Rolik
O.I., Telenyk S.F. (2013). Management of
data storage systems Electronics and
Communications. (5–76). P. 81–90. (in
Ukrainian).
11. Ryu J., Lee D., Han C., Shin H., & Kang K.
(2016). File-System-Level Storage Tiering for
Faster Application Launches on Logical
Hybrid Disks. IEEE Access, 4, 3688–3696.
12. Kakoulli E., & Herodotou H. (2017, May).
OctopusFS: A distributed file system with
tiered storage management. In Proceedings of
the 2017 ACM International Conference on
Management of Data (P. 65–78). ACM.
13. Intel IOMeter [Online] – Available from:
http://www.iometer.org.
14. FIO: Flexible I/O Tester [Online] – Available
from:
http://linux.die.net/man/1/fio.
15. Borthakur D. (2007). The hadoop distributed
file system: Architecture and design. Hadoop
Project Website, 11(2007), 21.
16. White T. (2012). Hadoop: The definitive
guide. " O'Reilly Media, Inc.".
17. Zaharia M., Chowdhury M., Das T., Dave A.,
Ma J., McCauley M., ... & Stoica I. (2012,
April). Resilient distributed datasets: A fault-
tolerant abstraction for in-memory cluster
computing. In Proceedings of the 9th USENIX
conference on Networked Systems Design and
Implementation (P. 15–28). USENIX
Association.
18. Process Monitor [Online] – Available from:
https://docs.microsoft.com/en-
us/sysinternals/downloads/procmon.
Одержано 02.10.2018
Про автора:
Жаріков Едуард В’ячеславович,
кандидат технічних наук,
доцент кафедри АСОІУ.
Кількість наукових публікацій в
українських виданнях – 94.
Кількість наукових публікацій в
зарубіжних виданнях – 24.
Індекс Гірша – 2.
http://orcid.org/0000-0003-1811-9336.
Місце роботи автора:
Національний технічний університет
України "Київський політехнічний
інститут імені Ігоря Сікорського".
Тел.: 38 (044) 204 86 10.
E-mail: zharikov.eduard@acts.kpi.ua
http://www.iometer.org/
|