Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв
Проаналізовано напрямки досліджень у галузі концептів Big Data, розподілених мереж мобільних пристроїв і Deep Learning. Кількісно охарактеризовано та порівняно інтенсивність розвитку сучасних бібліотек нейронних мереж для використання технологій Deep Learning, Big Data, GPGPU. Розроблено застосуванн...
Збережено в:
| Дата: | 2019 |
|---|---|
| Автори: | , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут проблем реєстрації інформації НАН України
2019
|
| Назва видання: | Реєстрація, зберігання і обробка даних |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/169100 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв/ С.Д. Погорілий, М.Б. Чечула // Реєстрація, зберігання і обробка даних. — 2019. — Т. 21, № 2. — С. 21–33. — Бібліогр.: 34 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-169100 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-1691002020-06-05T01:26:10Z Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв Погорілий, С.Д. Чечула, М.Б. Технічні засоби отримання і обробки даних Проаналізовано напрямки досліджень у галузі концептів Big Data, розподілених мереж мобільних пристроїв і Deep Learning. Кількісно охарактеризовано та порівняно інтенсивність розвитку сучасних бібліотек нейронних мереж для використання технологій Deep Learning, Big Data, GPGPU. Розроблено застосування для дослідження роботи згорткових нейронних мереж різної архітектури із використанням потужностей мобільних CPU та GPU і з використанням API для нейронних мереж на операційній системі Android. Розроблено застосування для агрегації проаналізованих у реальному часі даних, структуризації даних на сервері та досліджено роботу застосування в мережах WiFi, 3G та 4G. Проведено аналіз різних шляхів агрегації даних. Проанализированы направления исследований в области концептов Big Data, распределенных сетей мобильных устройств и Deep Learning. Количественно характеризировано и проведено сравнение интенсивности развития современных библиотек нейронных сетей для использования технологий Deep Learning, Big Data, GPGPU. Разработано приложение для исследования работы сверточных нейронных сетей разной архитектуры с использованием мощностей мобильных CPU и GPU . а также с использованием API для нейронных сетей на операционной системе Android. Разработано приложение для агрегации проанализированных в реальном времени данных, структуризации данных на сервере и исследована работа приложения в сетях 3G и 4G. Проведен анализ различных методов агрегации данных. The problem of inefficient processing in the Big Data industry is touched upon. A detailed analysis of the various means to increase the percentage of processed data is provided and the experimental implementation of a way to obtain and preprocess data in a mobile device network in real-time mode is shown. During the analysis of the subject, the next fields of research were observed: Deep Learning, Machine Learning, Big Data, and GPGPU technology. Further analysis was focused on highlighting the most relevant and perspective objects for the research. The analysis showed that amidst currently most innovative and broadly widespread operation systems and frameworks to implement and engage neuron network algorithms Android operation system and TensorFlow framework has the most significant advantages. Due to the purpose of developing an experimental solution based on mobile device network and neuron network, different classes and types of neuron network architectures were explored. Two major types of mobile neuron networks such as quantized and integer neuron networks and the principal dissimilarity between them were described. Various neuron networks were tested on mobile devices with Internet connection via specially developed auxiliary software using GPGPU technology. Experimental results had shown that modern smartphones such as Huawei P20-Pro are capable to analyze, store and transmit the incoming from its camera sensor information at a rate of up to 40 frames per second. The usage of mobile GPU for improving the performance of the neuron networks was proved to be effective as such the number of frames processed by a neuron network per second can be elevated up to 10 times. 2019 Article Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв/ С.Д. Погорілий, М.Б. Чечула // Реєстрація, зберігання і обробка даних. — 2019. — Т. 21, № 2. — С. 21–33. — Бібліогр.: 34 назв. — укр. 1560-9189 DOI: https://doi.org/10.35681/1560-9189.2019.21.2.180137 http://dspace.nbuv.gov.ua/handle/123456789/169100 004.3 uk Реєстрація, зберігання і обробка даних Інститут проблем реєстрації інформації НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| topic |
Технічні засоби отримання і обробки даних Технічні засоби отримання і обробки даних |
| spellingShingle |
Технічні засоби отримання і обробки даних Технічні засоби отримання і обробки даних Погорілий, С.Д. Чечула, М.Б. Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв Реєстрація, зберігання і обробка даних |
| description |
Проаналізовано напрямки досліджень у галузі концептів Big Data, розподілених мереж мобільних пристроїв і Deep Learning. Кількісно охарактеризовано та порівняно інтенсивність розвитку сучасних бібліотек нейронних мереж для використання технологій Deep Learning, Big Data, GPGPU. Розроблено застосування для дослідження роботи згорткових нейронних мереж різної архітектури із використанням потужностей мобільних CPU та GPU і з використанням API для нейронних мереж на операційній системі Android. Розроблено застосування для агрегації проаналізованих у реальному часі даних, структуризації даних на сервері та досліджено роботу застосування в мережах WiFi, 3G та 4G. Проведено аналіз різних шляхів агрегації даних. |
| format |
Article |
| author |
Погорілий, С.Д. Чечула, М.Б. |
| author_facet |
Погорілий, С.Д. Чечула, М.Б. |
| author_sort |
Погорілий, С.Д. |
| title |
Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв |
| title_short |
Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв |
| title_full |
Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв |
| title_fullStr |
Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв |
| title_full_unstemmed |
Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв |
| title_sort |
агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв |
| publisher |
Інститут проблем реєстрації інформації НАН України |
| publishDate |
2019 |
| topic_facet |
Технічні засоби отримання і обробки даних |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/169100 |
| citation_txt |
Агрегація та аналіз графічних даних у розподіленій мережі мобільних пристроїв/ С.Д. Погорілий, М.Б. Чечула // Реєстрація, зберігання і обробка даних. — 2019. — Т. 21, № 2. — С. 21–33. — Бібліогр.: 34 назв. — укр. |
| series |
Реєстрація, зберігання і обробка даних |
| work_keys_str_mv |
AT pogorílijsd agregacíâtaanalízgrafíčnihdanihurozpodíleníjmerežímobílʹnihpristroív AT čečulamb agregacíâtaanalízgrafíčnihdanihurozpodíleníjmerežímobílʹnihpristroív |
| first_indexed |
2025-07-15T03:49:43Z |
| last_indexed |
2025-07-15T03:49:43Z |
| _version_ |
1837683320346902528 |
| fulltext |
ISSN 1560-9189 , , 2019, . 21, 2 21
004.3
. . , . .
, 4- , 03022 ,
Big Data, -
Deep Learning. -
-
Deep Learning, Big
Data, GPGPU. -
-
CPU GPU API
Android.
, -
WiFi,
3G 4G. .
: Big Data, Deep Learning, -
GPGPU, Android, TensorFlow, -
CNTK, PyTorch, MxNet, Caffe,
Mobile Net, Squeeze Net,
Inception Net, NAS Net,
Dense Net, Res Net.
-
. ,
: , -
. -
’
.
2019 2,5 ,
1 [1]. Google 1,2
Google Photos 2017 [2]. ,
Amazon AWS, Microsoft Azure
, ,
© . . , . .
. . , . .
22
, ,
[3]. , [3].
. 2008
Big Data [4].
, .
, , Big Data -
— 1 % [5]. , ,
, ’ .
, —
— -
. 10 -
GPU -
. -
Machine Learning Deep
Learning 4G 5G.
.
Big Data Deep Learning
2010-
Big Data Deep Learning, Big Data
GPU — GPGPU.
. 1 -
Deep Learning Big Data, GPU -
[6]. ’ -
GPU,
Deep Learning BigData, [7, 8]. ,
, , ,
Android IOS
Big Data ( . 2) [6].
-
’
CPU GPU .
. 3, 8
10 -
[9]. Intel Core
i5-6300HQ [10], Desktop
Laptop. GPU
,
. ’ -
, , -
.
,
, ,
, . . 4
ISSN 1560-9189 , , 2019, . 21, 2 23
Android IOS- Android
, Windows Phone, Symbian, Blackberry . [11].
( ) de
facto Android IOS.
. 3. 2011–2018 .
. 4. 2009 2019
. 1. :
Deep Learning, Machine Learning Big Data
GPGPU
. 2.
. . , . .
24
Android , ,
. Apple, Google -
IDE -
. Android ,
,
[12, 13].
,
’ , -
.
,
, ,
, , -
.
’ -
1987 . [14], -
. , ’ -
IT- , ’ .
. 5 [15–19] -
Deep Learning : TensorFlow, PyTorch, MxNet, Caffe CNTK.
. 5. Deep Learning
, TensorFlow -
, 4 Google .
2019 2
TensorFlow [15].
,
, , -
. -
, C, ,
Python. [15–19].
, -
— ( . CNN) -
ISSN 1560-9189 , , 2019, . 21, 2 25
, ,
TensorFlow.
, ,
, , -
.
, , -
, .
, , -
, CPU GPU
.
, .
,
.
:
— Huawei P20 Pro. [20];
— Meizu M3 Note. [21];
— Samsung S4. [22].
: Float —
( GPU) Integer (Quant) —
( CPU).
Quant- -
-
. Deep Learning
,
, -
. ’
2 [23]:
1) , -
/ ’ (Float);
2) 32-
— (Quant/Integer).
-
.
, -
. , -
q r,
)( ZqSr , (1)
S Z — , .
, 8- , q 8-
.
S — , .
. . , . .
26
Z — 8- , q,
0.
-
, 21rr N×N -
, 213 rrr . -
r , 1,2 3, ( , )i jr Nji,1 ,
,S Z . q ),( jiq .
(1) :
( , ) ( , )( )i j i jr S q Z . (2)
:
( , ) ( , ) ( , )
3 3 3 1 1 1 2 2 2
1
( ) = ( ) ( )
N
i k i j j k
j
S q Z S q Z S q Z . (3)
( , ) ( , ) ( , )
3 3 1 1 2 2
1
( )( )
N
i k i j j k
j
q Z M q Z q Z , (4)
M
1 2
3
S SM
S
. (5)
(4) M. M -
, .
0 1, -
02 nM M , (6)
0M [0,5; 1) , n — ’ . M
.
Integer32 Integer16. 32- ,
, M 0,5, 30 , -
[23].
, -
, :
— Inception Net Float [24];
— Inception Net Quant [25];
— Mobile Net Float [23];
— Mobile Net Quant [26];
— Squeeze Net Float [27];
— NAS Net Float [28];
— Dense Net Float [29];
— Res Net Float [30].
. 6–8.
ISSN 1560-9189 , , 2019, . 21, 2 27
) )
. 6. Huawei P20 Pro:
) ; )
) )
. 7. Meizu M3 Note:
) ; )
) )
. 8. Samsung Galaxy S4:
) ; )
1 thread
2 threads
3 threads
4 threads
5 threads
6 threads
7 threads
8 threads
9 threads
0
5
10
15
20
25
30
35
40
P
ro
ce
ss
ed
F
PS
Number of threads
MobileNet Quant
MobileNet Float
Inception Net Quant
SqueezeNet Float
NN Perfomance on Huawei P20 Pro
1 thread
2 threads
3 threads
4 threads
5 threads
6 threads
7 threads
8 threads
9 threads
0.0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
NN Perfomance on Huawei P20 Pro
P
ro
ce
ss
ed
F
P
S
Number of threads
Inception Net Float
NASNet Float
ResNet Float
DenseNet Float
1 thread
2 threads
3 threads
4 threads
5 threads
6 threads
7 threads
8 threads
GPU
0
2
4
6
8
10
12
14
NN Perfomance on Meizu M3 Note
Pr
oc
es
se
d
FP
S
Number of threads
MobileNet Quant
MobileNet Float
Inception Net Quant
SqueezeNet Float
1 thread
2 threads
3 threads
4 threads
5 threads
6 threads
7 threads
8 threads
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
NN Perfomance on Meizu M3 Note
Pr
oc
es
se
d
FP
S
Number of threads
Inception Net Float
NASNet Float
ResNet Float
DenseNet Float
1 thread
2 threads
3 threads
4 threads
5 threads
6 threads
7 threads
8 threads
1
2
3
4
5
6
7
8
NN Perfomance on Samsung S4
P
ro
ce
ss
ed
F
P
S
Number of threads
MobileNet Quant
MobileNet Float
SqueezeNet Float
NASNet Float
1 thread
2 threads
3 threads
4 threads
5 threads
6 threads
7 threads
8 threads
0.0
0.2
0.4
0.6
0.8
1.0
1.2
NN Perfomance on Samsung S4
P
ro
ce
ss
ed
F
P
S
Number of threads
Inception Net Quant
Inception Net Float
ResNet Float
DenseNet Float
. . , . .
28
-
. , NAS
Net Inception Net Samsung S4. -
.
, ,
, .
Mobile Net .
, . -
. 9 [31].
MobileNet Q
uant
MobileNet Float
Inception Net Q
uant
Inception Net Float
SqueezeNet Float
NASNet Float
ResNet Float
DenseNet Float
0
20
40
60
80
100
A
cc
ur
ac
y
Neuron network
Top 1 accuracy
Top 5 accuracy
. 9.
Inception, 10 % -
’ , , 5
’ , ,
Mobile Net Inception Net , 5 %.
’
GPU. ,
.
GPGPU — -
GPU.
, GPGPU -
, Android 8.1 ’
— NNAPI. NNAPI . 10 [32].
. 10 NNAPI -
GPU -
. ,
CPU.
GPU NNAPI -
-
.
. 11.
ISSN 1560-9189 , , 2019, . 21, 2 29
. 10. NNAPI
MobileNet
InceptionNet
SqueezeNet
NASNet
ResNet
DenseNet
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
2.0
GPU and NN API boost on Huawei P20 Pro
B
oo
st
Neuron networks
GPU
NN API
MobileNet InceptionNet SqueezeNet NASNet ResNet
0
1
2
3
4
5
6
7
8
GPU and NN API boost on Meizu M3 Note
B
oo
st
Neuron Network
GPU
NN API
) )
. 11. GPU NNAPI :
) Huawei P20 Pro; ) Meizu M3 Note
,
GPU ,
— GPU
Meizu M3 Note Mobile Net -
37 ,
CPU Mobile Net -
14. 1-
Mobile Net GPU- MobileNet -
, 9,5 — -
, GPU -
Laptop [33, 34]. API
Android ,
. . , . .
30
- 2,5
CPU 1
CPU.
, -
,
-
.
Android
-
— ’
, .
Android Ten-
sorFlow, -
Mobile Net, , , -
, -
JPEG2000
, 1.4 P . 2
.
Linux NoSQL, -
,
(SQL), , .
,
-
. , , SSL-
TCP/IP . ’ 3- -
: WiFi, 3G, 4G. ’ .
. 12.
) )
. 12. :
) ; )
ISSN 1560-9189 , , 2019, . 21, 2 31
( 1) -
- ’ ,
, ’ ( . 13).
. 13. ’
,
2, ,
Android.
3 Linux . 14, .
Huawei P20 Pro
. 14, .
) )
. 14. :
) ; )
. 14,
4G
20 , -
, .
,
,
Wifi 3G 4G
0
10
20
Tr
an
sf
er
ed
F
PS
Internet mode
Huawei P20 Pro
Meizu M3 Note
Samsung S4
Wifi 3G 4G
0
1
2
3
4
5
6
7
8
9
Tr
an
sf
er
ed
F
PS
Internet mode
Meizu M3 Note
Samsung S4
. . , . .
32
. -
5G, .
1. -
Big Data Deep Learning , -
40 % .
, 40 -
2. GPU -
( 10 ) CPU. -
,
2019
’ ,
.
3. 4G 5G
’ -
,
.
4. -
Big Data
(
)
, -
’ -
. -
, Android,
Mobile Net ( 80 %)
’
WiFi 20 .
-
.
1. . URL: http://www.statista.com/statistics/330695/number-
of-sma-phone-users-worldwide/
2. Google Photos. URL: http://www.blog.google/
products/photos/google-photos-500-million-new-sharing/
3. . URL: https://www.forbes.com/sites/louiscolumbus/2018/
09/23/roundup-of-cloud-computing-forecasts-and-market-estimates-2018/#79b146ca507b
4. Big Data. URL: https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-
of-big-data/#4a8694d365a1
5. Big Data . URL: https://www.theguardian.com/news/datablog/2012/dec/19/big-data-
study-digital-universe-global-volume
6. ’ DBLP. URL: https://dblp.uni-trier.de/
7. . ., . ., . ., . .
-
CUDA. . 2010. 1. . 40–54.
http://www.statista.com/statistics/330695/number-
http://www.blog.google/
https://www.forbes.com/sites/louiscolumbus/2018/
https://www.forbes.com/sites/gilpress/2013/05/09/a-very-short-history-
https://www.theguardian.com/news/datablog/2012/dec/19/big-data-
https://dblp.uni-trier.de/
ISSN 1560-9189 , , 2019, . 21, 2 33
8. . . . « -
» . . . , 2007. 438 .
9. . URL: Geekbench
https://browser.geekbench.com/android-benchmarks
10. Geekbench. URL:
https://browser.geekbench.com/processor-benchmarks
11. . URL: http://gs.statcounter.com/os-market-
share/mobile/worldwide
12. Google Play Store. URL: https://www.statista.com/ statis-
tics/266210/number-of-available-applications-in-the-google-play-store/
13. Apple App Store. URL: https://www.statista.com/
statistics/268251/number-of-apps-in-the-itunes-app-store-since-2008/
14. Wolfram Research . URL: http://www.wolfram.com/company/background.
html?source=nav
15. TensorFlow. URL: https://github.com/tensorflow/
tensorflow
16. PyTorch. URL: https://github.com/pytorch/pytorch
17. CNTK. URL: https://github.com/Microsoft/CNTK
18. Caffe. URL: https://github.com/BVLC/caffe
19. MxNet. URL: https://github.com/apache/incubator-mxnet
20. Huawei P20 Pro. URL: https://consumer.huawei.com/en/phones/p20-pro/specs/
21. Meizu M3 Note. URL: https://www.meizu.com/en/products/m3note/spec.html.
22. Samsung S4. URL: https://www.gsmarena.com/samsung_i9500_galaxy_s4-
5125.php
23. Howard Andrew G., Zhu Menglong, Chen Bo, Kalenichenko Dmitry, Wang Weijun, Weyand
Tobias, Andreetto Marco, Adam Hartwig. MobileNets: Efficient Convolutional Neural Networks for
Mobile Vision Applications. Computer Vision and Pattern Recognition section. ArXiv.org. Cornell Uni-
versity, 2017.
24. Szegedy Christian, Vanhoucke Vincent, Ioffe Sergey, Shlens Jonathon. Rethinking the
Inception Architecture for Computer Vision. Computer Vision and Pattern Recognition section.
ArXiv.org. Cornell University, 2016.
25. Krishnamoorthi Raghuraman. Quantizing deep convolutional networks for efficient inference:
A whitepaper. Machine Learning section. ArXiv.org. Cornell University, 2018.
26. Jacob Benoit, Kligys Skirmantas, Chen Bo, Zhu Menglong, Tang Matthew, Howard Andrew,
Adam Hartwig, Kalenichenko Dmitry. Quantization and Training of Neural Networks for Efficient Inte-
ger-Arithmetic-Only Inference. Machine Learning section. ArXiv.org. Cornell University, 2017.
27. Iandola Forrest N., Han Song, Moskewicz Matthew W., Ashraf Khalid, Dally William J.,
Keutzer Kurt. Squeezenet: Alexnet level accuracy with 50x fewer parameters and <0.5mb model size.
Computer Vision and Pattern Recognition section. ArXiv.org. Cornell University, 2016.
28. Zoph Barret, Vasudevan Vijay, Shlens Jonathon, Le Quoc V. Learning Transferable
Architectures for Scalable Image Recognition. Computer Vision and Pattern Recognition section.
ArXiv.org. Cornell University, 2018.
29. Huang Gao, Liu Zhuang, Laurens van der Maaten. Densely Connected Convolutional
Networks. Computer Vision and Pattern Recognition section. ArXiv.org. Cornell University, 2018.
30. Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun – Identity Mappings in Deep Re-
sidual Networks. Computer Vision and Pattern Recognition section, ArXiv.org, Cornell University, 2016.
31. Google Pixel 2 URL:
https://www.tensorflow.org/lite/guide/hosted_models
32. NNAPI. URL: https://developer.android.com/ndk/guides/neuralnetworks
33. . ., . . GPGPU BigData.
. 2018. 2. . 98–102.
34. . ., . . i BigData i
i GPGPU. System Analysis and Information Technologies. Institute for Ap-
plied System Analysis. 2018. . 159.
02.05.2019
https://browser.geekbench.com/android-benchmarks
https://browser.geekbench.com/processor-benchmarks
http://gs.statcounter.com/os-market-
https://www.statista.com/
https://www.statista.com/
http://www.wolfram.com/company/background.
https://github.com/tensorflow/
https://github.com/pytorch/pytorch
https://github.com/Microsoft/CNTK
https://github.com/BVLC/caffe
https://github.com/apache/incubator-mxnet
https://consumer.huawei.com/en/phones/p20-pro/specs/
https://www.meizu.com/en/products/m3note/spec.html.
https://www.gsmarena.com/samsung_i9500_galaxy_s4-
https://www.tensorflow.org/lite/guide/hosted_models
https://developer.android.com/ndk/guides/neuralnetworks
|