Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки
У 2017 р. виповнилося п’ятнадцять років проекту створення вітчизняної обчислювальної системи з кластерною архітектурою СКІТ. У роботі вперше наведено дані про еволюцію архітектури комплексу СКІТ та статистику функціювання суперкомп’ютерного центру в період з 2002 по 2017 рр. Ці фактичні дані будуть...
Збережено в:
| Дата: | 2017 |
|---|---|
| Автори: | , , , , , , , |
| Формат: | Стаття |
| Мова: | Ukrainian |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2017
|
| Назва видання: | Кибернетика и системный анализ |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/144779 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки / А.Л. Головинський, І.В. Сергієнко, В.Г. Тульчинський, А.Л. Маленко, О.Ю. Бандура, С.О. Горенко, О.Ю. Роганова, О.І. Лаврікова // Кибернетика и системный анализ. — 2017. — Т. 53, № 4. — С. 124–129. — Бібліогр.: 9 назв. — укр. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-144779 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-1447792019-01-04T01:23:16Z Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки Головинський, А.Л. Сергієнко, І.В. Тульчинський, В.Г. Маленко, А.Л. Бандура, О.Ю. Горенко, С.О. Роганова, О.Ю. Лаврікова, О.І. Програмно-технічні комплекси У 2017 р. виповнилося п’ятнадцять років проекту створення вітчизняної обчислювальної системи з кластерною архітектурою СКІТ. У роботі вперше наведено дані про еволюцію архітектури комплексу СКІТ та статистику функціювання суперкомп’ютерного центру в період з 2002 по 2017 рр. Ці фактичні дані будуть корисні розробникам обчислювальних кластерів та дослідникам, які проектують нові алгоритми керування ними. В 2017 г. исполнилось пятнадцать лет проекту создания отечественной вычислительной системы с кластерной архитектурой СКИТ. В работе впервые рассмотрена эволюция архитектуры комплекса СКИТ и статистика функционирования суперкомпьютерного центра в период с 2002 по 2017 гг. Эти фактические данные будут полезны разработчикам вычислительных кластеров и исследователям, которые проектируют новые алгоритмы управления ими. 2017 marks the 15th anniversary of the supercomputer project SCIT, which allows us to summarize the results and draw conclusions. In this paper, we discuss evolution of SCIT architecture and supercomputing center statistics for years 2002–2017. These data will be useful to computer cluster developers and researchers who design resource management algorithms for computing clusters. 2017 Article Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки / А.Л. Головинський, І.В. Сергієнко, В.Г. Тульчинський, А.Л. Маленко, О.Ю. Бандура, С.О. Горенко, О.Ю. Роганова, О.І. Лаврікова // Кибернетика и системный анализ. — 2017. — Т. 53, № 4. — С. 124–129. — Бібліогр.: 9 назв. — укр. 0023-1274 http://dspace.nbuv.gov.ua/handle/123456789/144779 004.386 uk Кибернетика и системный анализ Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| topic |
Програмно-технічні комплекси Програмно-технічні комплекси |
| spellingShingle |
Програмно-технічні комплекси Програмно-технічні комплекси Головинський, А.Л. Сергієнко, І.В. Тульчинський, В.Г. Маленко, А.Л. Бандура, О.Ю. Горенко, С.О. Роганова, О.Ю. Лаврікова, О.І. Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки Кибернетика и системный анализ |
| description |
У 2017 р. виповнилося п’ятнадцять років проекту створення вітчизняної обчислювальної системи з кластерною архітектурою СКІТ. У роботі вперше наведено дані про еволюцію архітектури комплексу СКІТ та статистику функціювання суперкомп’ютерного центру в період з 2002 по 2017 рр. Ці фактичні дані будуть корисні розробникам обчислювальних кластерів та дослідникам, які проектують нові алгоритми керування ними. |
| format |
Article |
| author |
Головинський, А.Л. Сергієнко, І.В. Тульчинський, В.Г. Маленко, А.Л. Бандура, О.Ю. Горенко, С.О. Роганова, О.Ю. Лаврікова, О.І. |
| author_facet |
Головинський, А.Л. Сергієнко, І.В. Тульчинський, В.Г. Маленко, А.Л. Бандура, О.Ю. Горенко, С.О. Роганова, О.Ю. Лаврікова, О.І. |
| author_sort |
Головинський, А.Л. |
| title |
Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки |
| title_short |
Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки |
| title_full |
Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки |
| title_fullStr |
Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки |
| title_full_unstemmed |
Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки |
| title_sort |
розвиток суперкомп’ютерів серії скіт, розроблених в інституті кібернетики ім. в.м. глушкова нан україни у період з 2002 по 2017 роки |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2017 |
| topic_facet |
Програмно-технічні комплекси |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/144779 |
| citation_txt |
Розвиток суперкомп’ютерів серії СКІТ, розроблених в Інституті кібернетики ім. В.М. Глушкова НАН України у період з 2002 по 2017 роки / А.Л. Головинський, І.В. Сергієнко, В.Г. Тульчинський, А.Л. Маленко, О.Ю. Бандура, С.О. Горенко, О.Ю. Роганова, О.І. Лаврікова // Кибернетика и системный анализ. — 2017. — Т. 53, № 4. — С. 124–129. — Бібліогр.: 9 назв. — укр. |
| series |
Кибернетика и системный анализ |
| work_keys_str_mv |
AT golovinsʹkijal rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT sergíênkoív rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT tulʹčinsʹkijvg rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT malenkoal rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT banduraoû rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT gorenkoso rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT roganovaoû rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki AT lavríkovaoí rozvitoksuperkompûterívseríískítrozroblenihvínstitutíkíbernetikiímvmgluškovananukraíniuperíodz2002po2017roki |
| first_indexed |
2025-07-10T20:07:50Z |
| last_indexed |
2025-07-10T20:07:50Z |
| _version_ |
1837291883839094784 |
| fulltext |
À.Ë. ÃÎËÎÂÈÍÑÜÊÈÉ, ².Â. ÑÅÐòªÍÊÎ, Â.Ã. ÒÓËÜ×ÈÍÑÜÊÈÉ, À.Ë. ÌÀËÅÍÊÎ,
Î.Þ. ÁÀÍÄÓÐÀ, Ñ.Î. ÃÎÐÅÍÊÎ, Î.Þ. ÐÎÃÀÍÎÂÀ, Î.². ËÀÂвÊÎÂÀ
ÓÄÊ 004.386 ÐÎÇÂÈÒÎÊ ÑÓÏÅÐÊÎÌÏ’ÞÒÅв ÑÅв¯ ÑʲÒ,
ÐÎÇÐÎÁËÅÍÈÕ Â ²ÍÑÒÈÒÓÒ² ʲÁÅÐÍÅÒÈÊÈ
²Ì. Â.Ì. ÃËÓØÊÎÂÀ ÍÀÍ ÓÊÐÀ¯ÍÈ
Ó ÏÅвÎÄ Ç 2002 ÏÎ 2017 ÐÎÊÈ
Àíîòàö³ÿ. Ó 2017 ð. âèïîâíèëîñÿ ï’ÿòíàäöÿòü ðîê³â ïðîåêòó ñòâîðåííÿ â³ò-
÷èçíÿíî¿ îá÷èñëþâàëüíî¿ ñèñòåìè ç êëàñòåðíîþ àðõ³òåêòóðîþ ÑʲÒ. Ó ðî-
áîò³ âïåðøå íàâåäåíî äàí³ ïðî åâîëþö³þ àðõ³òåêòóðè êîìïëåêñó ÑʲÒ
òà ñòàòèñòèêó ôóíêö³þâàííÿ ñóïåðêîìï’þòåðíîãî öåíòðó â ïåð³îä ç 2002 ïî
2017 ðð. Ö³ ôàêòè÷í³ äàí³ áóäóòü êîðèñí³ ðîçðîáíèêàì îá÷èñëþâàëüíèõ
êëàñòåð³â òà äîñë³äíèêàì, ÿê³ ïðîåêòóþòü íîâ³ àëãîðèòìè êåðóâàííÿ íèìè.
Êëþ÷îâ³ ñëîâà: ñóïåðêîìï’þòåð, êëàñòåð, ïàðàëåëüíå ïðîãðàìóâàííÿ.
ÂÑÒÓÏ
Îá÷èñëþâàëüí³ êëàñòåðè ñå𳿠ÑÊ²Ò (ñóïåðêîìï’þòåð äëÿ ³íòåëåêòóàëüíèõ òåõíî-
ëîã³é) º íåñåð³éíèìè äîñë³äíèìè ñèñòåìàìè, ÿê³ áóäóâàëèñÿ íà íàéêðàù³é òåõíî-
ëîã³÷í³é îñíîâ³ ñâîãî ÷àñó òà âò³ëþâàëè îðèã³íàëüí³ â³ò÷èçíÿí³ ðîçðîáêè â íàïðÿì-
êó ñèñòåìíîãî ïðîãðàìíîãî çàáåçïå÷åííÿ òà á³áë³îòåê îá÷èñëþâàëüíî¿ ìàòåìàòèêè.
Ó ñòàòò³ íàâåäåíî ðåòðîñïåêòèâíèé àíàë³ç ðîçâèòêó àðõ³òåêòóðè ÑÊ²Ò òà
âïîðÿäêîâàíî ñòàòèñòè÷í³ äàí³ êîðèñòóâàííÿ êëàñòåðàìè.
Ñòàòèñòè÷í³ äàí³ ðîáîòè êîðèñòóâà÷³â àíàë³çóþòü ó áàãàòüîõ âåëèêèõ ñóïåð-
êîìï’þòåðíèõ öåíòðàõ. Òàê, ó ðîáîò³ [1] íàâåäåíî òàêèé àíàë³ç äëÿ ñóïåðêîìï’þ-
òåðà Êðàêåí Îàêð³äæñüêî¿ ëàáîðàòî𳿠(ÑØÀ). Ïîïðè ð³çíèöþ ó ê³ëüêîñò³ ÿäåð
³ ãåîãðàô³÷íå ðîçòàøóâàííÿ öÿ ñèñòåìà òà ÑÊ²Ò ìàþòü ñõîæ³ ñòðóêòóðè îá÷èñ-
ëþâàëüíèõ çàäà÷ çà ãàëóçÿìè íàóêè òà ïîä³áí³ ïàðàìåòðè ¿õíüîãî ðîçïîä³ëó.
ÅÂÎËÞÖ²ß ÀÐÕ²ÒÅÊÒÓÐÈ ÏÐÎÅÊÒÓ ÑʲÒ
Ðîçâèòîê àðõ³òåêòóðè êëàñòåð³â ñå𳿠ÑÊ²Ò ñêëàäàºòüñÿ ç ï’ÿòè îñíîâíèõ
åòàï³â, ïîêàçàíèõ â òàáë. 1.
Ïåðøèé äîñë³äíèé çðàçîê îá÷èñëþâàëüíîãî êëàñòåðà ÑʲÒ-0 áóëî ñòâîðåíî
ó ïåð³îä ç 2002 ïî 2004 ðð. Îñíîâí³ ³äå¿ ïðîåêòó îïèñàíî â [2, 3]. Êëàñòåð ìàâ ÷î-
òèðè âóçëè íà AMD Duron 800, ³íòåðêîíåêò 100 Ìá Fast Ethernet, ñõîâèùå äàíèõ
îáñÿãîì 160 Ãá íà îñíîâ³ ìàñèâó RAID-1.
Îðèã³íàëüíîþ îñîáëèâ³ñòþ öüîãî êëàñòåðà, ÿêà â³äð³çíÿëà éîãî â³ä êëàñè÷íî¿
àðõ³òåêòóðè Beowulf, áóâ áåçäèñêîâèé ïðèíöèï, êîëè âñ³ âóçëè º êëîíàìè, çàâàíòà-
æåíèìè ç îäíîãî îáðàçó îïåðàö³éíî¿ ñèñòåìè. Öå äîçâîëèëî ïîëåãøèòè
àäì³í³ñòðóâàííÿ òà øâèäêî ³ ñèíõðîííî âíîñèòè çì³íè ó ñèñòåìíå òà ïðèêëàäíå
ïðîãðàìíå çàáåçïå÷åííÿ. Íà öüîìó êëàñòåð³ áóëî â³äïðàöüîâàíî àðõ³òåêòóðíå
ð³øåííÿ — ñï³ëüíå äèñêîâå ñõîâèùå äëÿ äîìàøí³õ òåê êîðèñòóâà÷³â, ùî îäíî÷àñ-
124 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2017, òîì 53, ¹ 4
© À.Ë. Ãîëîâèíñüêèé, ².Â. Ñåð㳺íêî, Â.Ã. Òóëü÷èíñüêèé, À.Ë. Ìàëåíêî, Î.Þ. Áàíäóðà,
Ñ.Î. Ãîðåíêî, Î.Þ. Ðîãàíîâà, Î.². Ëàâð³êîâà, 2017
íî ìîíòóâàëîñü íà âñ³ âóçëè êëàñòåðà.
Ö³ ð³øåííÿ ó íàñòóïíèõ ïðîåêòàõ ìàé-
æå íå çì³íþâàëèñÿ. Êëàñòåð ÑʲÒ-0 íå
ìàâ ñïåö³àë³çîâàíî¿ ñèñòåìè êåðóâàííÿ
òà ñèñòåìè ÷åðã, MPI-çàäà÷³ çàïóñêàëè-
ñÿ ç â³çóàëüíèì êîíòðîëåì çàéíÿòîñò³
âóçë³â. Íà öüîìó êëàñòåð³ áóëî ðîçâ’ÿ-
çàíî íèçêó âàæëèâèõ çàäà÷ ìîäåëþ-
âàííÿ çì³íè êë³ìàòó, ô³ëüòðàö³¿ ´ðóíò³â
òà ðîçðàõóíêó ì³öíîñò³ êîíñòðóêö³é.
Ó 2004–2006 ðð. ìàéæå îäíî÷àñ-
íî áóëî ñòâîðåíî äâà ïðèíöèïîâî
ð³çíèõ êëàñòåðè: ÑʲÒ-1 òà ÑʲÒ-2, îñíîâí³ ³äå¿ ¿õíüîãî ðîçðîáëåííÿ îïèñàíî
â [3, 4]. Ó 2006 ð. êëàñòåðè áóëî çàïóùåíî â åêñïëóàòàö³þ.
Êëàñòåð ÑʲÒ-1 (ïîñ³äຠ13-ó ïîçèö³þ ó ïåðø³é ðåäàêö³¿ ðåéòèíãó «TOP 50
ñóïåðêîìï’þòåð³â ÑÍÄ» [5] â³ä 07.12.2004 ð.) ìàâ 24 âóçëè íà ïðîöåñîðàõ Intel
Xeon ç 32-á³òíîþ àðõ³òåêòóðîþ i386, ³íòåðêîíåêò Infiniband SDR.
Êëàñòåð ÑʲÒ-2 (ïîñ³äຠ8-ó ïîçèö³þ ó äðóã³é ðåäàêö³¿ ðåéòèíãó «TOP 50 ñó-
ïåðêîìï’þòåð³â ÑÍÄ» â³ä 05.04.2005 ð.) ìàâ ïåðåäîâó òåõíîëîã³þ IPMI-1.1, ÿêà
äîçâîëÿëà êåðóâàòè æèâëåííÿì âóçë³â òà êîíòðîëþâàòè ñòàí îáëàäíàííÿ. Öÿ ñèñ-
òåìà ñòàëà áàçîâîþ íà ïëàòôîðìàõ Intel ³à64. Êëàñòåð ÑʲÒ-2 ìàâ 32 âóçëè ç ³íî-
âàö³éíèìè ïðîöåñîðàìè Intel Itanium-2 ç 64-á³òíîþ àðõ³òåêòóðîþ ia64. Âñòàíîâ-
ëåíèé ³íòåðêîíåêò Dophinics SCI çàáåçïå÷óâàâ íèæ÷ó ëàòåíòí³ñòü ³ âèùó øâèä-
êîä³þ ó ïîð³âíÿíí³ ç Infiniband, àëå ìåíøó íàä³éí³ñòü.
Êëàñòåðè ÑʲÒ-1 òà ÑʲÒ-2 áóëè îáëàäíàí³ âëàñíèìè êåðóâàëüíèìè ñåðâå-
ðàìè ³ ñï³ëüíîþ ñèñòåìîþ çáåðåæåííÿ äàíèõ îáñÿãîì 480 Ãá íà îñíîâ³ êîíòðî-
ëåð³â MegaRAID òèïó RAID6. Äëÿ êåðóâàííÿ ðåñóðñàìè êëàñòåð³â áóëî ðîçðîá-
ëåíî îðèã³íàëüíó ñèñòåìó êåðóâàííÿ MVS, ÿêà ôîðìóâàëà ÷åðãó îá÷èñëþâàëü-
íèõ çàäà÷, íàäàâàëà çðó÷íèé ä³àëîãîâèé ³íòåðôåéñ êîðèñòóâà÷à òà çàñîáè çàäàííÿ
ïð³îðèòåò³â çàäà÷, çàáåçïå÷óâàëà äåííèé ³ í³÷íèé ðåæèìè ðîáîòè. Ó äåííîìó ðå-
æèì³ êëàñòåð ñòàâèâ íà îáðàõóíîê ò³ëüêè êîðîòê³ çàäà÷³, à âåëèê³ áàãàòîäîáîâ³
çàäà÷³ îá÷èñëþâàëèñÿ âíî÷³. Òàêèì ÷èíîì çâ³ëüíÿëèñü ðåñóðñè äëÿ øâèäêîãî îá-
ðîáëåííÿ êîðîòêèõ çàäà÷ ó ðîáî÷èé ÷àñ.
Ó 2007, 2008 ðð. áóëî ñòâîðåíî êëàñòåð ÑʲÒ-3 (ïîñ³äຠ5-ó ïîçèö³þ
ó øîñò³é ðåäàêö³¿ ðåéòèíãó «TOP 50 ñóïåðêîìï’þòåð³â ÑÍÄ» â³ä 11.04.2007 ð.),
êîíöåïö³þ ÿêîãî îïèñàíî â [6]. Êëàñòåð ìàâ 125 âóçë³â òà 725 ïðîöåñîðíèõ ÿäåð.
 îñíîâó êëàñòåðà ëÿãëè íîâ³òí³ íà òîé ÷àñ 64-á³òí³ ïðîöåñîðè: 2-ÿäåðíèé Intel
Xeon 5160 3.0 ÃÃö òà 4-ÿäåðíèé Xeon E5345 2.33 ÃÃö ç àðõ³òåêòóðîþ x64. ßê ìå-
ðåæà ïåðåäàâàííÿ äàíèõ âèêîðèñòîâóâñÿ Infiniband DDR ç³ øâèäêî䳺þ 20 Ãá/ñ.
Âàæëèâèì êðîêîì ó ïîáóäîâ³ ñèñòåìè çáåðåæåííÿ äàíèõ áóâ ïåðåõ³ä íà ïàðà-
ëåëüíó ôàéëîâó ñèñòåìó Lustre. Öÿ ôàéëîâà ñèñòåìà ìàëà ó ñêëàä³ íàá³ð âóçë³â
çáåðåæåííÿ, ÿê³ ï³äòðèìóâàëè îäíî÷àñíó ïàðàëåëüíó ðîáîòó ç âóçëàìè êëàñòåðà,
ùî äîçâîëèëî äîñÿãíóòè øâèäêî䳿 äèñêîâî¿ ñèñòåìè ïîíàä 1 Ãá/ñ ó ïàðàëåëüíèõ
îá÷èñëþâàëüíèõ çàäà÷àõ, à ¿¿ îáñÿã çá³ëüøèòè äî 33 Òá. Òàê, ó ïåð³îä ç 2002 ïî
2005 ðð. îáñÿã ñõîâèùà íà îñíîâ³ ôàéëîâî¿ ñèñòåìè NFS ñòàíîâèâ 4 Òá, ó 2006 ð.
îáñÿã ñõîâèùà íà îñíîâ³ ïàðàëåëüíî¿ ôàéëîâî¿ ñèñòåìè Lustre äîð³âíþâàâ 160 Ãá,
ó 2007 ð. — 600 Ãá, ó 2008 ð. — 5.3 Òá, ó 2009 ð. — 17 Òá, ó 2010, 2011ðð. —
33 Òá, ó 2012–2014 ðð. — 80 Òá, ó 2015 ð. — 120 Òá, ó 2016 ð. — 170 Òá.
ßê ñèñòåìó êåðóâàííÿ îá÷èñëþâàëüíèìè ðåñóðñàìè áóëî îáðàíî ìåíåäæåð
ðåñóðñ³â SLURM, ÿêèé íàäàâàâ ãíó÷ê³ñòü ó êîíòðîë³ çà ïîòîêîì çàäà÷ òà îá÷èñ-
ëþâàëüíèìè âóçëàìè ³ çàáåçïå÷óâàâ ïðîñòó êîíô³ãóðàö³þ.
Ó 2013 ð. áóëî ñòâîðåíî êëàñòåð ÑʲÒ-4 [7, 8], ÿêèé ìàâ 28 âóçë³â òà 448 ïðîöå-
ñîðíèõ ÿäåð. Âàæëèâîþ ìîäèô³êàö³ºþ àðõ³òåêòóðè ñòàëî âèêîðèñòàííÿ ã³áðèäíèõ
îá÷èñëþâàëüíèõ âóçë³â, ó ÿêèõ îêð³ì ïðîöåñîð³â Intel Xeon E5-2600 2.6 ÃÃö
ç àðõ³òåêòóðîþ x64 âèêîðèñòîâóâàëèñÿ ãðàô³÷í³ ïðèñêîðþâà÷³ NVidia Tesla M2075.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2017, òîì 53, ¹ 4 125
Ò à á ë è ö ÿ 1. Ïðîäóêòèâí³ñòü êëàñ-
òåð³â ñå𳿠ÑʲÒ
гê Íàçâà
ʳëüê³ñòü
ïðîöåñîðíèõ
ÿäåð
Ïðîäóêòèâí³ñòü
ó Linpack,
Rpeak, Òôëîïñ
2002 ÑʲÒ-0 4 0.02
2004 ÑʲÒ-1 48 0.19
2005 ÑʲÒ-2 64 0.28
2007 ÑʲÒ-3 725 5.3
2012 ÑʲÒ-4 448 18
Ãðàô³÷í³ ïðèñêîðþâà÷³ äîçâîëÿþòü ÷àñòèíó îá÷èñëþâàëüíîãî àëãîðèòìó âèêî-
íóâàòè íà âëàñíèõ ñïåö³àë³çîâàíèõ ïðîöåñîðàõ, çíà÷íà ê³ëüê³ñòü ÿêèõ ðîçòàøîâàíà
íà îäí³é ïëàò³ (448 äëÿ M2075, 1344 íà îäíîìó âóçë³). Ó ðåàëüí³é ðîáîò³ ïðèñêîðþ-
âà÷³ ïîêàçàëè ñåáå íåîäíîçíà÷íî. Ç îäíîãî áîêó, â ñïåö³àëüíî ïåðåðîáëåíèõ äëÿ
öüîãî àëãîðèòìàõ äîñÿãàëàñÿ âèñîêà ïðîäóêòèâí³ñòü, à ç ³íøîãî — á³ëüø³ñòü ïðî-
ãðàìíèõ ïàêåò³â, ÿê³ çàñòîñîâóâàëè êîðèñòóâà÷³ ÑʲÒ, íå ìàëè GPU âåðñ³é, à ò³, ùî
ï³äòðèìóâàëè GPU, ìàëè ðåàë³çàö³þ ëèøå äåÿêî¿ ï³äìíîæèíè àëãîðèòì³â ïàêåòó.
Ïåðåäáà÷àºòüñÿ, ùî êëàñòåð ÑʲÒ-5 ñòàíå íàñòóïíîþ ñèñòåìîþ â ñå𳿠ñóïåð-
êîìï’þòåð³â, éîãî àðõ³òåêòóðà çàðàç ïåðåáóâຠó ñòàí³ ðîçðîáëåííÿ ³ äîñë³äæåííÿ
ð³çíèõ ïåðñïåêòèâíèõ ð³øåíü: ïåðåõ³ä íà SSD-íàêîïè÷óâà÷³ ó ñèñòåì³ çáåðåæåííÿ
äàíèõ, âïðîâàäæåííÿ ïîñò³éíèõ çàïàì’ÿòîâóâàëüíèõ ïðèñòðî¿â, áàçîâàíèõ íà òåõ-
íîëî㳿 NVMe, äîñë³äæåííÿ ïðèñêîðþâà÷³â Intel XeonPhi, ïåðåõ³ä â³ä RAID ìà-
ñèâ³â äî ôàéëîâèõ ñèñòåì íîâîãî ïîêîë³ííÿ, òàêèõ ÿê ZFS, òîùî.
ÑÒÀÒÈÑÒÈÊÀ ÍÀIJÉÍÎÑÒ² ÎÁËÀÄÍÀÍÍß ÑʲÒ
Àïàðàòíó àðõ³òåêòóðó ñóïåðêîìï’þòåð³â çàçâè÷àé äîáðå âèñâ³òëåíî â àíîíñàõ
÷åðãîâèõ ìîäåðí³çàö³é. Îäíàê ìàéæå íå ïóáë³êóþòü äàíèõ ùîäî íàä³éíîñò³
îáëàäíàííÿ ïðîòÿãîì òðèâàëîãî ÷àñó. Íàñàìïåðåä öå ïîâ’ÿçàíî ç âèñîêèì òåì-
ïîì ìîäåðí³çàö³¿ àìåðèêàíñüêèõ òà ºâðîïåéñüêèõ îá÷èñëþâàëüíèõ ñèñòåì.
Çà ïîêàçíèêàìè æóðíàëó ðåìîíò³â ÑʲÒ, çà äåñÿòü ðîê³â íàêîïè÷èëèñÿ ñòà-
òèñòè÷í³ äàí³ ùîäî îáëàäíàííÿ. Çâè÷àéíî, âîíî çàñòàð³ëî ³ íå ìîæå áóòè
îð³ºíòèðîì ïðè ñòâîðåíí³ íîâîãî êëàñòåðà, àëå äຠäåÿêå óÿâëåííÿ ïðî ðîáîòó
êëàñòåðà âïðîäîâæ ïåâíîãî ïåð³îäó.
Ïðîàíàë³çóºìî âóçëè êëàñòåð³â ÑʲÒ, ïîáóäîâàíèõ íà òàêèõ òèïàõ ïëàòôîðì:
� Tyan S5370;
� Supermicro TWIN X8DTT-F;
� Supermicro GPU Nvidia Tesla M2050;
� HP Proliant SL250 Gen 8 ç GPU Nvidia Tesla M2075;
� HP Proliant SL230 Gen 8.
Çà ñïîñòåðåæåííÿìè êîðèñòóâà÷³â, íàä³éí³ñòü ïëàòôîðì çàëåæèòü â³ä êëàñó
âèðîáíèêà. Íàéã³ðøèìè âèÿâèëèñÿ ïëàòôîðìè Tyan, íà ÿêèõ îäðàçó âèíèêëè ïðî-
áëåìè ³ çà äåâ’ÿòü ðîê³â âèéøëî ç ëàäó 10 %. Äî ïëàòôîðìè Supermicro ñóòòºâèõ
çàóâàæåíü íåìຠ— âòðàòè çà â³ñ³ì ðîê³â ñêëàëè 5 %. Íàéêðàùå ñåáå çàðåêîìåíäó-
âàâ âèðîáíèê êëàñó A Hewlett Pakkard, ó ÿêîãî çà ÷îòèðè ðîêè íå áóëî âòðàò.
 îáëàäíàíí³ âóçë³â îñíîâí³ ïðîáëåìè âèíèêàþòü ç ïëàòàìè IPMI, ìàòåðèí-
ñüêèìè ïëàòàìè òà ïàì’ÿòòþ. Íàéá³ëüø íàä³éíèìè âèÿâèëèñü ïðîöåñîðè Intel
Xeon ð³çíèõ ñåð³é.
Ó 2012, 2013 ðð. ïðîâîäèëèñÿ äîñë³äæåííÿ ìîæëèâîñò³ âèêîðèñòàííÿ äåñê-
òîïíèõ êîìïîíåíò³â ó âóçëàõ òà ñåðâåðàõ, îñê³ëüêè âîíè íàáàãàòî äåøåâø³ çà
ñåðâåðí³. Áóëî ñòâîðåíî ê³ëüêà âóçë³â ç ìàòåðèíñüêèìè ïëàòàìè íà Intel Core i5,
ïðèñêîðþâà÷àìè Radeon 9660 òà áëîêàìè æèâëåííÿ íà 700 Âò. ¯õíÿ ðîáîòà ïîêà-
çàëà, ùî òàêà êîíöåïö³ÿ íåâèïðàâäàíà, îñê³ëüêè á³ëüø³ñòü îáëàäíàííÿ íå âèòðè-
ìàëà ðîáîòè â ðåæèì³ 24 7 365/ � ³ âèéøëà ç ëàäó âïðîäîâæ ðîêó.
Æîðñòê³ äèñêè ó ñõîâèù³ äàíèõ íà áàç³ ÎÑ Lustre çäåá³ëüøîãî ìàþòü îáìå-
æåíèé òåðì³í åêñïëóàòàö³¿. Âèêîðèñòîâóâàëèñÿ ñåð³¿:
� Hitachi Deskstar 500 Ãá;
� WD 2 Òá;
� Seagate 3Òá;
� Hitachi Deskstar NAS 6Òá.
Äèñêè Hitachi 500 âèÿâèëèñÿ íàéêðàùèìè, çà â³ñ³ì ðîê³â åêñïëóàòàö³¿ âèéøëî
ç ëàäó ëèøå ïðèáëèçíî 5 %, ³íø³ ìîðàëüíî çàñòàð³ëè ³ áóëè âèâåäåí³ ç îñíîâíî¿
êîíô³ãóðàö³¿, àëå ïðîäîâæóþòü ïðàöþâàòè íà ìåíø â³äïîâ³äàëüíèõ ä³ëÿíêàõ.
Äèñêè WD îáèðàëèñÿ ç åíåðãîîùàäëèâî¿ äåñêòîïíî¿ ë³í³éêè, Seagate — ç íå-
äîðîãî¿ äåñêòîïíî¿ ñåð³¿, à òåðì³í ¿õíüî¿ åêñïëóàòàö³¿ ñêëàâ òðè ðîêè, ÿê çàçíà÷å-
íî â ãàðàíò³¿, ï³ñëÿ ÷îãî 80 % âèéøëî ç ëàäó.
126 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2017, òîì 53, ¹ 4
Ùîäî âèêîðèñòàííÿ Hitachi Hitach Deskstar 6 Òá ìàºìî ëèøå ï³âðîêó ñïîñòå-
ðåæåíü, çà öåé ÷àñ æîäíèõ ïðîáëåì íå âèíèêàëî.
Âèõîäÿ÷è ç íàâåäåíîãî, íåîáõ³äíèì º ïîñò³éíå ï³äòðèìàííÿ ðåçåðâó ó äâà–ï’ÿòü
äèñê³â êîæíîãî òèïó, ùî âèêîðèñòîâóþòü ó ñèñòåì³ çáåðåæåííÿ.
Íàä³éí³ñòü êîìóòàòîð³â ìåðåæ³ Ethernet òà êîíòðîëåð³â ìåðåæ³ Infiniband
â ö³ëîìó â³äïîâ³äຠñó÷àñíèì ïåðåäîâèì òåõíîëîã³ÿì. Çà 15 ðîê³â âèéøëî ç ëàäó
äâà ³ç 17 êîìóòàòîð³â ³ ïðèáëèçíî 3 % ìåðåæåâèõ êîíòðîëåð³â ó âóçëàõ.
ßê Ethernet-îáëàäíàííÿ âèêîðèñòîâóâàëèñü êåðîâàí³ êîìóòàòîðè HP
ProCurve òà DLink ð³çíèõ ñåð³é. Êîìóòàòîðè âèñîêîãî êëàñó HP ProCurve âèÿâè-
ëèñÿ íàéêðàùèìè, à âñ³ ³íø³ âèõîäèëè ç ëàäó ÷è ìàëè äåôåêòè â ðîáîò³ ï³ñëÿ
òðüîõ–ï’ÿòè ðîê³â åêñïëóàòàö³¿.
Âèêîðèñòîâóâàëèñü APC Smart UPS ð³çíèõ ñåð³é. Ö³ áëîêè áåçïåðåá³éíîãî
æèâëåííÿ âèÿâèëèñü â ö³ëîìó íàä³éíèìè — çà 15 ðîê³â ç 20 áëîê³â âèéøîâ ç ëàäó
ëèøå îäèí, ÿêùî íå âðàõîâóâàòè áàòàðå¿, ÿê³ ïðàöþâàëè â ñåðåäíüîìó ëèøå ï’ÿòü
ðîê³â, ï³ñëÿ ÷îãî ïîòðåáóâàëè çàì³íè.
ÑÒÀÒÈÑÒÈÊÀ ÐÎÁÎÒÈ ÊÎÌÏËÅÊÑÓ ÑʲÒ
Äëÿ çàáåçïå÷åííÿ åôåêòèâíîãî ôóíêö³þâàííÿ êëàñòåðíîãî êîìïëåêñó ÑÊ²Ò òà éî-
ãî ïðèñòîñóâàííÿ äî ïîòðåá êîðèñòóâà÷³â íàäçâè÷àéíî âàæëèâî çáèðàòè òà àíà-
ë³çóâàòè ñòàòèñòè÷í³ äàí³ ùîäî ðîáîòè êëàñòåðà. Çàâäÿêè ö³é ³íôîðìàö³¿ ìîæíà
âèçíà÷èòè ñòðóêòóðó îá÷èñëþâàëüíèõ çàäà÷, âñòàíîâèòè, ÿêîìó ïðèêëàäíîìó ïðî-
ãðàìíîìó çàáåçïå÷åííþ íåîáõ³äíî íàéá³ëüøå ïðèä³ëÿòè óâàãó, êîðèãóâàòè ð³çíî-
ìàí³òí³ ïàðàìåòðè ÷åðãè çàäà÷, ñòâîðþâàòè íîâ³ ãëîáàëüí³ ïðîô³ë³ çàïóñêó çàäà÷
ó ïîðòàë³ êëàñòåðíèõ îá÷èñëåíü. Òàêîæ àêòóàëüíèì º êîíòðîëü çà âèêîðèñòàííÿì
êëàñòåðíèõ ðåñóðñ³â îêðåìèìè êîðèñòóâà÷àìè àáî îðãàí³çàö³ÿìè.
Ó 2006 ð. íà êëàñòåðàõ ÑÊ²Ò áóëî âñòàíîâëåíî ñèñòåìó íàêîïè÷åííÿ ñòàòèñ-
òèêè ðîáîòè êîðèñòóâà÷³â.
Ïðè îáðîáëåíí³ äàíèõ â³ä ìåíåäæåðà ðåñóðñ³â êëàñòåð ìîæå îòðèìàòè òàê³
ñòàòèñòè÷í³ ïîêàçíèêè çà ïåâíèé ïåð³îä:
� ê³ëüê³ñòü çàäà÷, ÿê³ áóëè çàïóùåí³ íà âèêîíàííÿ, — ïîêàçíèê àêòèâíîñò³
çàñòîñóâàííÿ êëàñòåðà êîðèñòóâà÷àìè;
� ñòðóêòóðà çàäà÷ çà ñòàòóñîì çàâåðøåííÿ ÿê â àáñîëþòíèõ, òàê ³ â³äíîñíèõ
âåëè÷èíàõ äîçâîëÿº âèçíà÷èòè, ÿêà ÷àñòêà çàäà÷ ñåðåä ïîñòàâëåíèõ ó ÷åðãó âèêî-
íàíà óñï³øíî;
� ñåðåäíÿ òðèâàë³ñòü îäí³º¿ çàäà÷³ âèçíà÷ຠñïîñ³á âèêîðèñòàííÿ êëàñòåðà —
åêñòåíñèâíèé ÷è ³íòåíñèâíèé;
� ñóìàðíå çàâàíòàæåííÿ êëàñòåðà â ïðîöåñîðî-õâèëèíàõ âèçíà÷àºòüñÿ ÿê ñóìà
÷àñó âèêîíàííÿ êîæíî¿ çàäà÷³, ïîìíîæåíî¿ íà ê³ëüê³ñòü çàéíÿòèõ íåþ ïðîöåñîð³â.
Îêðåìî íåîáõ³äíî ðîçðàõîâóâàòè ñòàòèñòè÷í³ äàí³ ÿê ùîäî êëàñòåðà
â ö³ëîìó, òàê ³ â³äíîñíî êîðèñòóâà÷³â òà îðãàí³çàö³é, ïðè öüîìó äîäàòêîâî îá÷èñ-
ëþâàòè òàê³ ïàðàìåòðè:
� ÷àñòêà çàäà÷ îêðåìîãî êîðèñòóâà÷à ÷è îðãàí³çàö³¿ ó çàãàëüí³é ê³ëüêîñò³ çà-
äà÷ çà ïåð³îä äîçâîëÿº âèçíà÷èòè éîãî àêòèâí³ñòü ñòîñîâíî çàïóñêó çàäà÷
ó ïîð³âíÿíí³ ç ³íøèìè êîðèñòóâà÷àìè;
� ÷àñòêà çàâàíòàæåííÿ êëàñòåðà êîðèñòóâà÷åì ó éîãî ñóìàðíîìó çàâàíòà-
æåíí³ äîçâîëÿº â³äñòåæèòè îñíîâíèõ ñïîæèâà÷³â êëàñòåðíèõ ðåñóðñ³â ÑʲÒ.
Çàãàëîì çà ïåð³îä 2002–2016 ðð. êëàñòåðè ÑÊ²Ò íàäàëè 11.8 ìëí ïðîöåñîðî-ãî-
äèí îá÷èñëþâàëüíèõ ðåñóðñ³â, âèêîíàâøè á³ëüøå 70 òèñ. çàäà÷ êîðèñòóâà÷³â. Çâå-
äåí³ ñòàòèñòè÷í³ äàí³ çà ðîêàìè íàâåäåíî ó òàáë. 2.
Íàéá³ëüøå îá÷èñëþâàëüíèõ ðåñóðñ³â êëàñòåðè íàäàâàëè ó äîêðèçîâ³ 2009, 2010 ðð.,
íàäàë³ ê³ëüê³ñòü ïðîöåñîðî-ãîäèí çìåíøóâàëàñü, ùî ñïðè÷èíåíå åêîíîì³÷íèìè ôàê-
òîðàìè, íàñàìïåðåä îáìåæåíèì ô³íàíñóâàííÿì âèòðàò íà åëåêòðîåíåðã³þ.
Ó ïåð³îä ç 2013 ïî 2016 ðð. íà êëàñòåðàõ ²íñòèòóòó ê³áåðíåòèêè
³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè ïðàöþâàëî 70 íàóêîâèõ ãðóï êîðèñòóâà÷³â
ç 25 óñòàíîâ ÍÀÍÓ ³ ÌÎÍ. Ñåðåä íèõ âèä³ëèìî òàê³: ²íñòèòóò ìîëåêóëÿðíî¿
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2017, òîì 53, ¹ 4 127
á³îëî㳿 ³ ãåíåòèêè; ²íñòèòóò ãåîõ³ì³¿,
ì³íåðàëî㳿 òà ðóäîóòâîðåííÿ
³ì. Ì.Ï. Ñåìåíåíêà; ²íñòèòóò ìàòåìà-
òèêè ÍÀÍ Óêðà¿íè; ²íñòèòóò ïðîáëåì
ìàòåð³àëîçíàâñòâà ³ì. ².Ì. Ôðàíöåâè-
÷à ÍÀÍ Óêðà¿íè; ²íñòèòóò ãåîô³çèêè
³ì. Ñ.². Ñóááîò³íà ÍÀÍ Óêðà¿íè;
Íàö³îíàëüíèé òåõí³÷íèé óí³âåðñèòåò
Óêðà¿íè «Êè¿âñüêèé ïîë³òåõí³÷íèé
³íñòèòóò ³ìåí³ ²ãîðÿ ѳêîðñüêîãî»;
Óæãîðîäñüêèé íàö³îíàëüíèé óí³âåð-
ñèòåò; ²íñòèòóò îðãàí³÷íî¿ õ³ì³¿ ÍÀÍ
Óêðà¿íè; ×åðí³âåöüêèé íàö³îíàëüíèé
óí³âåðñèòåò ³ìåí³ Þð³ÿ Ôåäüêîâè÷à;
Ô³çèêî-òåõí³÷íèé ³íñòèòóò íèçüêèõ
òåìïåðàòóð ³ì. Á.². ºðê³íà ÍÀÍ
Óêðà¿íè; Íàö³îíàëüíèé íàóêîâèé
öåíòð «Õàðê³âñüêèé ô³çèêî-òåõí³÷-
íèé ³íñòèòóò»; Çàïîð³çüêèé
íàö³îíàëüíèé óí³âåðñèòåò.
Ñåðåäíÿ ð³÷íà ê³ëüê³ñòü àêòèâíèõ êîðèñòóâà÷³â ñêëàäຠ50 ÷îëîâ³ê. Ðîçãëÿ-
íåìî çâåäåí³ ñòàòèñòè÷í³ äàí³ ùîäî òèï³â îá÷èñëþâàëüíèõ çàäà÷:
� êâàíòîâî-õ³ì³÷í³ ðîçðàõóíêè (ïðèáëèçíî 100 òèñ. ïðîöåñîðî-ãîäèí íà ð³ê) —
äîñë³äæåííÿ àêòèâíèõ öåíòð³â á³îëîã³÷íèõ ìîëåêóë, ïîøóê íîâèõ ë³ê³â;
� ìîëåêóëÿðíà äèíàì³êà (ïðèáëèçíî 100 òèñ. ïðîöåñîðî-ãîäèí íà ð³ê) —
äîñë³äæåííÿ îðãàí³÷íèõ ìîëåêóë ³ç ñêëàäíîþ òðèâèì³ðíîþ ñòðóêòóðîþ (á³ëê³â,
ÄÍÊ òîùî);
� àëãåáðà ³ òåîð³ÿ ÷èñåë (ïðèáëèçíî 10 òèñ. ïðîöåñîðî-ãîäèí íà ð³ê) — ÷è-
ñåëüí³ åêñïåðèìåíòè äëÿ äîâåäåííÿ òåîðåì, ï³äòâåðäæåííÿ ã³ïîòåç;
� îáðîáëåííÿ ðåçóëüòàò³â åêñïåðèìåíòó ALICE íà LHC (10 òèñ. ïðîöåñî-
ðî-ãîäèí íà ð³ê);
� îá÷èñëþâàëüí³ çàäà÷³ ã³äðîäèíàì³êè (25 òèñ. ïðîöåñîðî-ãîäèí íà ð³ê).
ÂÈÑÍÎÂÊÈ
Çà ï’ÿòíàäöÿòü ðîê³â ó òàê³é äèíàì³÷í³é ãàëóç³, ÿê îá÷èñëþâàëüí³ ñèñòåìè
çì³íèëîñü áàãàòî òðåíä³â: ç’ÿâèëèñü ³ çàíåïàëè ãð³ä-òåõíîëî㳿, ç’ÿâèëèñü ³ ïî-
òóæíî çàÿâèëè ïðî ñåáå õìàðí³ ñèñòåìè. Îäíàê ñóïåðêîìï’þòåðè çàëèøàþòüñÿ
îñíîâíèì ³íñòðóìåíòîì ðîçâ’ÿçàííÿ ñêëàäíèõ íàóêîâî-òåõí³÷íèõ çàäà÷.
Ñóïåðêîìï’þòåðíèé êîìïëåêñ ÑÊ²Ò º íàéá³ëüøèì îá÷èñëþâàëüíèì öåíòðîì
Óêðà¿íè, îð³ºíòîâàíèì íà ðîçâ’ÿçàííÿ øèðîêîãî êîëà íàóêîâèõ çàäà÷. Äîñòóï äî
íüîãî çä³éñíþºòüñÿ ÿê ÷åðåç âåá-³íòåðôåéñ íà îô³ö³éíîìó ñàéò³ [9], òàê ³ çà òðà-
äèö³éíèì SSH-ïðîòîêîëîì. Ñïåö³àë³ñòè ²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà
ÍÀÍ Óêðà¿íè ïðîâîäÿòü äîñë³äæåííÿ â ãàëóç³ àðõ³òåêòóðè âèñîêîïðîäóêòèâíèõ
îá÷èñëþâàëüíèõ ñèñòåì, ðîçðîáëÿþòü çàñîáè êåðóâàííÿ íèìè òà ä³àãíîñòèêè.
ÑÏÈÑÎÊ Ë²ÒÅÐÀÒÓÐÈ
1. Haihang You, Hao Zhang. Comprehensive workload analysis and modeling of a petascale supercomputer.
16th International Workshop, JSSPP 2012, Shanghai, China, May 25, 2012. Revised Selected Papers.
P. 253–271.
2. Êîâàëü Â.Í., Ñàâüÿê Â.Â., Ñåðãèåíêî È.Â. Òåíäåíöèè ðàçâèòèÿ ñîâðåìåííûõ âûñîêîïðîèçâîäèòåëü-
íûõ ñèñòåì. ÓñèÌ. 2004 ¹ 6. C. 31–43.
3. Êîâàëü Â.Í., Ñàâüÿê Â.Â. Ìóëüòèïðîöåññîðíûå êëàñòåðíûå ñèñòåìû: ïëàíèðîâàíèå è ðåàëèçàöèÿ.
Èñêóññòâåííûé èíòåëëåêò. 2004. ¹ 3. Ñ. 3–43.
4. Ñåð㳺íêî ²., Êîâàëü Â. ÑÊ²Ò — óêðà¿íñüêèé ñóïåðêîìï’þòåðíèé ïðîåêò. ³ñí. ÍÀÍ Óêðà¿íè. 2005.
¹ 8. Ñ. 3–13. URL: http://nbuv.gov.ua/UJRN/vnanu_2005_8_1.
128 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2017, òîì 53, ¹ 4
Ò à á ë è ö ÿ 2. Õàðàêòåðèñòèêè ðîáîòè
êëàñòåð³â ñå𳿠ÑÊ²Ò ó ïåð³îä ç 2006 ïî
2016 ðð.
гê
ʳëüê³ñòü
çàäà÷
Ïðîöåñîðî-
ãîäèíè, òèñ.
Ñåðåäí³é ÷àñ
âèêîíàííÿ, õâ
2006 1050 2.3 34
2007 12017 207.8 27
2008 11043 107.2 142
2009 11475 2440.7 479
2010 17251 2870.1 310
2011 16334 2340.2 300
2012 12784 1845.3 320
2013 9678 877.8 373
2014 7107 1039.2 1049
2015 1548 47.7 425
2016 3450 1200.5 500
Âñüîãî 103737 12978.8 —
5. TOP 50 ñóïåðêîìï’þòåð³â ÑÍÄ. URL: http://top50.supercomputers.ru/.
6. Ãîëîâèíñêèé À.Ë., Ðÿá÷óí Ñ.Ã., ßêóáà À.À. Ãåòåðîãåííûé êëàñòåðíûé êîìïëåêñ Èíñòèòóòà êèáåðíå-
òèêè ÍÀÍ Óêðàèíû: ñðåäñòâà ïîñòðîåíèÿ. Èñêóññòâåííûé èíòåëëåêò. 2006. ¹ 16. C. 107–112.
7. Ãîëîâèíñüêèé À.Ë., Ìàëåíêî À.Ë., Ñåð㳺íêî ².Â. Åíåðãîåôåêòèâíèé ñóïåðêîìï’þòåð ÑʲÒ-4. ³ñí.
ÍÀÍ Óêðà¿íè. 2013. ¹ 2. Ñ. 50–59.
8. Ãîëîâèíñüêèé À.Ë., Ìàëåíêî À.Ë., Áàíäóðà Î.Þ, ªì÷åíêî ².Î. ÑʲÒ-4 — ñóïåðêîìï’þòåð ²íñòèòóòó
ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè. High Performance Computing. 2012. Ñ. 149–151.
9. Ñàéò êëàñòåðíîãî êîìïëåêñó ÑʲÒ. URL: http://icybcluster.org.ua/.
Íàä³éøëà äî ðåäàêö³¿ 19.12.2016
À.Ë. Ãîëîâèíñêèé, È.Â. Ñåðãèåíêî, Â.Ã. Òóëü÷èíñêèé, À.Ë. Ìàëåíêî,
À.Þ. Áàíäóðà, Ñ.À. Ãîðåíêî, Å.Þ. Ðîãàíîâà, Å.È. Ëàâðèêîâà
ÐÀÇÂÈÒÈÅ ÑÓÏÅÐÊÎÌÏÜÞÒÅÐÎÂ ÑÅÐÈÈ ÑÊÈÒ, ÑÎÇÄÀÍÍÛÕ Â ÈÍÑÒÈÒÓÒÅ
ÊÈÁÅÐÍÅÒÈÊÈ ÈÌ. Â.Ì. ÃËÓØÊÎÂÀ ÍÀÍ ÓÊÐÀÈÍÛ Â ÏÅÐÈÎÄ Ñ 2002 ÏÎ 2017 ÃÎÄÛ
Àííîòàöèÿ.  2017 ã. èñïîëíèëîñü ïÿòíàäöàòü ëåò ïðîåêòó ñîçäàíèÿ îòå÷åñò-
âåííîé âû÷èñëèòåëüíîé ñèñòåìû ñ êëàñòåðíîé àðõèòåêòóðîé ÑÊÈÒ.  ðàáîòå
âïåðâûå ðàññìîòðåíà ýâîëþöèÿ àðõèòåêòóðû êîìïëåêñà ÑÊÈÒ è ñòàòèñòèêà
ôóíêöèîíèðîâàíèÿ ñóïåðêîìïüþòåðíîãî öåíòðà â ïåðèîä ñ 2002 ïî 2017 ãã.
Ýòè ôàêòè÷åñêèå äàííûå áóäóò ïîëåçíû ðàçðàáîò÷èêàì âû÷èñëèòåëüíûõ
êëàñòåðîâ è èññëåäîâàòåëÿì, êîòîðûå ïðîåêòèðóþò íîâûå àëãîðèòìû óïðàâ-
ëåíèÿ èìè.
Êëþ÷åâûå ñëîâà: ñóïåðêîìïüþòåð, êëàñòåð, ïàðàëëåëüíîå ïðîãðàììèðîâàíèå.
A. Golovynskyi, I. Sergienko, V. Tulchinkyi, A. Malenko,
O. Bandura, S. Gorenko, O. Roganova, O. Lavrikova
DEVELOPMENT OF SCIT SUPERCOMPUTERS FAMILY AT THE INSTITUTE
OF CYBERNETICS OF NAS OF UKRAINE IN 2002–2017
Abstract. 2017 marks the 15th anniversary of the supercomputer project SCIT,
which allows us to summarize the results and draw conclusions. In this paper,
we discuss evolution of SCIT architecture and supercomputing center statistics
for years 2002–2017. These data will be useful to computer cluster developers
and researchers who design resource management algorithms for computing
clusters.
Keywords: super computer, cluster, parallel programming.
Ãîëîâèíñüêèé Àíäð³é Ëåîí³äîâè÷,
êàíäèäàò òåõí. íàóê, còàðøèé íàóêîâèé ñï³âðîá³òíèê ²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ
Óêðà¿íè, Êè¿â, e-mail: icybcluster@gmail.com.
Ñåð㳺íêî ²âàí Âàñèëüîâè÷,
àêàäåì³ê ÍÀÍ Óêðà¿íè, äèðåêòîð ²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè, Êè¿â,
e-mail: incyb@incyb.kiev.ua.
Òóëü÷èíñüêèé Âàäèì Ãðèãîðîâè÷,
äîêòîð ô³ç.-ìàò. íàóê, çàâ³äóâà÷ ëàáîðàòî𳿠²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè,
Êè¿â, e-mail: dep145@gmail.com.
Ìàëåíêî Àíäð³é Ëåîí³äîâè÷,
êàíäèäàò ô³ç.-ìàò. íàóê, ñòàðøèé íàóêîâèé ñï³âðîá³òíèê ²íñòèòóòó ê³áåðíåòèêè
³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè, Êè¿â, e-mail: icybcluster@gmail.com.
Áàíäóðà Îëåêñàíäð Þð³éîâè÷,
íàóêîâèé ñï³âðîá³òíèê ²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè, Êè¿â,
e-mail: icybcluster@gmail.com.
Ãîðåíêî Ñåðã³é Îëåêñàíäðîâè÷,
íàóêîâèé ñï³âðîá³òíèê ²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè, Êè¿â,
e-mail: icybcluster@gmail.com.
Ðîãàíîâà Îëåíà Þð³¿âíà,
³íæåíåð-ïðîãðàì³ñò I êàòåãî𳿠²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè, Êè¿â,
e-mail: olena.rogan@gmail.com.
Ëàâð³êîâà Îëåíà ²âàí³âíà,
íàóêîâèé ñï³âðîá³òíèê ²íñòèòóòó ê³áåðíåòèêè ³ì. Â.Ì. Ãëóøêîâà ÍÀÍ Óêðà¿íè, Êè¿â,
e-mail: icybcluster@gmail.com.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2017, òîì 53, ¹ 4 129
<<
/ASCII85EncodePages false
/AllowTransparency false
/AutoPositionEPSFiles true
/AutoRotatePages /None
/Binding /Left
/CalGrayProfile (Gray Gamma 2.2)
/CalRGBProfile (sRGB IEC61966-2.1)
/CalCMYKProfile (U.S. Web Coated \050SWOP\051 v2)
/sRGBProfile (sRGB IEC61966-2.1)
/CannotEmbedFontPolicy /Error
/CompatibilityLevel 1.3
/CompressObjects /Off
/CompressPages true
/ConvertImagesToIndexed true
/PassThroughJPEGImages false
/CreateJDFFile false
/CreateJobTicket false
/DefaultRenderingIntent /Default
/DetectBlends true
/DetectCurves 0.0000
/ColorConversionStrategy /LeaveColorUnchanged
/DoThumbnails false
/EmbedAllFonts true
/EmbedOpenType false
/ParseICCProfilesInComments true
/EmbedJobOptions true
/DSCReportingLevel 0
/EmitDSCWarnings false
/EndPage -1
/ImageMemory 1048576
/LockDistillerParams true
/MaxSubsetPct 100
/Optimize true
/OPM 1
/ParseDSCComments true
/ParseDSCCommentsForDocInfo true
/PreserveCopyPage true
/PreserveDICMYKValues true
/PreserveEPSInfo true
/PreserveFlatness true
/PreserveHalftoneInfo false
/PreserveOPIComments false
/PreserveOverprintSettings true
/StartPage 1
/SubsetFonts false
/TransferFunctionInfo /Apply
/UCRandBGInfo /Remove
/UsePrologue false
/ColorSettingsFile (Color Management Off)
/AlwaysEmbed [ true
]
/NeverEmbed [ true
]
/AntiAliasColorImages false
/CropColorImages true
/ColorImageMinResolution 290
/ColorImageMinResolutionPolicy /Warning
/DownsampleColorImages true
/ColorImageDownsampleType /Bicubic
/ColorImageResolution 600
/ColorImageDepth 8
/ColorImageMinDownsampleDepth 1
/ColorImageDownsampleThreshold 1.01667
/EncodeColorImages true
/ColorImageFilter /FlateEncode
/AutoFilterColorImages false
/ColorImageAutoFilterStrategy /JPEG
/ColorACSImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/ColorImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/JPEG2000ColorACSImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/JPEG2000ColorImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/AntiAliasGrayImages false
/CropGrayImages true
/GrayImageMinResolution 290
/GrayImageMinResolutionPolicy /Warning
/DownsampleGrayImages true
/GrayImageDownsampleType /Bicubic
/GrayImageResolution 600
/GrayImageDepth 8
/GrayImageMinDownsampleDepth 2
/GrayImageDownsampleThreshold 2.03333
/EncodeGrayImages true
/GrayImageFilter /FlateEncode
/AutoFilterGrayImages false
/GrayImageAutoFilterStrategy /JPEG
/GrayACSImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/GrayImageDict <<
/QFactor 0.15
/HSamples [1 1 1 1] /VSamples [1 1 1 1]
>>
/JPEG2000GrayACSImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/JPEG2000GrayImageDict <<
/TileWidth 256
/TileHeight 256
/Quality 30
>>
/AntiAliasMonoImages false
/CropMonoImages true
/MonoImageMinResolution 800
/MonoImageMinResolutionPolicy /Warning
/DownsampleMonoImages true
/MonoImageDownsampleType /Bicubic
/MonoImageResolution 2400
/MonoImageDepth -1
/MonoImageDownsampleThreshold 1.50000
/EncodeMonoImages true
/MonoImageFilter /CCITTFaxEncode
/MonoImageDict <<
/K -1
>>
/AllowPSXObjects false
/CheckCompliance [
/PDFX1a:2003
]
/PDFX1aCheck false
/PDFX3Check false
/PDFXCompliantPDFOnly false
/PDFXNoTrimBoxError false
/PDFXTrimBoxToMediaBoxOffset [
0.00000
0.00000
0.00000
0.00000
]
/PDFXSetBleedBoxToMediaBox false
/PDFXBleedBoxToTrimBoxOffset [
0.00000
0.00000
0.00000
0.00000
]
/PDFXOutputIntentProfile (None)
/PDFXOutputConditionIdentifier ()
/PDFXOutputCondition ()
/PDFXRegistryName ()
/PDFXTrapped /False
/Description <<
/CHS <FEFF4f7f75288fd94e9b8bbe5b9a521b5efa7684002000500044004600206587686353ef901a8fc7684c976262535370673a548c002000700072006f006f00660065007200208fdb884c9ad88d2891cf62535370300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c676562535f00521b5efa768400200050004400460020658768633002>
/CHT <FEFF4f7f752890194e9b8a2d7f6e5efa7acb7684002000410064006f006200650020005000440046002065874ef653ef5728684c9762537088686a5f548c002000700072006f006f00660065007200204e0a73725f979ad854c18cea7684521753706548679c300260a853ef4ee54f7f75280020004100630072006f0062006100740020548c002000410064006f00620065002000520065006100640065007200200035002e003000204ee553ca66f49ad87248672c4f86958b555f5df25efa7acb76840020005000440046002065874ef63002>
/DAN <FEFF004200720075006700200069006e0064007300740069006c006c0069006e006700650072006e0065002000740069006c0020006100740020006f007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e007400650072002000740069006c0020006b00760061006c00690074006500740073007500640073006b007200690076006e0069006e006700200065006c006c006500720020006b006f007200720065006b007400750072006c00e60073006e0069006e0067002e0020004400650020006f007000720065007400740065006400650020005000440046002d0064006f006b0075006d0065006e0074006500720020006b0061006e002000e50062006e00650073002000690020004100630072006f00620061007400200065006c006c006500720020004100630072006f006200610074002000520065006100640065007200200035002e00300020006f00670020006e0079006500720065002e>
/ESP <FEFF005500740069006c0069006300650020006500730074006100200063006f006e0066006900670075007200610063006900f3006e0020007000610072006100200063007200650061007200200064006f00630075006d0065006e0074006f0073002000640065002000410064006f0062006500200050004400460020007000610072006100200063006f006e00730065006700750069007200200069006d0070007200650073006900f3006e002000640065002000630061006c006900640061006400200065006e00200069006d0070007200650073006f0072006100730020006400650020006500730063007200690074006f00720069006f00200079002000680065007200720061006d00690065006e00740061007300200064006500200063006f00720072006500630063006900f3006e002e002000530065002000700075006500640065006e00200061006200720069007200200064006f00630075006d0065006e0074006f00730020005000440046002000630072006500610064006f007300200063006f006e0020004100630072006f006200610074002c002000410064006f00620065002000520065006100640065007200200035002e003000200079002000760065007200730069006f006e0065007300200070006f00730074006500720069006f007200650073002e>
/FRA <FEFF005500740069006c006900730065007a00200063006500730020006f007000740069006f006e00730020006100660069006e00200064006500200063007200e900650072002000640065007300200064006f00630075006d0065006e00740073002000410064006f00620065002000500044004600200070006f007500720020006400650073002000e90070007200650075007600650073002000650074002000640065007300200069006d007000720065007300730069006f006e00730020006400650020006800610075007400650020007100750061006c0069007400e90020007300750072002000640065007300200069006d007000720069006d0061006e0074006500730020006400650020006200750072006500610075002e0020004c0065007300200064006f00630075006d0065006e00740073002000500044004600200063007200e900e90073002000700065007500760065006e0074002000ea0074007200650020006f007500760065007200740073002000640061006e00730020004100630072006f006200610074002c002000610069006e00730069002000710075002700410064006f00620065002000520065006100640065007200200035002e0030002000650074002000760065007200730069006f006e007300200075006c007400e90072006900650075007200650073002e>
/ITA <FEFF005500740069006c0069007a007a006100720065002000710075006500730074006500200069006d0070006f007300740061007a0069006f006e00690020007000650072002000630072006500610072006500200064006f00630075006d0065006e00740069002000410064006f006200650020005000440046002000700065007200200075006e00610020007300740061006d007000610020006400690020007100750061006c0069007400e00020007300750020007300740061006d00700061006e0074006900200065002000700072006f006f0066006500720020006400650073006b0074006f0070002e0020004900200064006f00630075006d0065006e007400690020005000440046002000630072006500610074006900200070006f00730073006f006e006f0020006500730073006500720065002000610070006500720074006900200063006f006e0020004100630072006f00620061007400200065002000410064006f00620065002000520065006100640065007200200035002e003000200065002000760065007200730069006f006e006900200073007500630063006500730073006900760065002e>
/JPN <FEFF9ad854c18cea51fa529b7528002000410064006f0062006500200050004400460020658766f8306e4f5c6210306b4f7f75283057307e30593002537052376642306e753b8cea3092670059279650306b4fdd306430533068304c3067304d307e3059300230c730b930af30c830c330d730d730ea30f330bf3067306e53705237307e305f306f30d730eb30fc30d57528306b9069305730663044307e305930023053306e8a2d5b9a30674f5c62103055308c305f0020005000440046002030d530a130a430eb306f3001004100630072006f0062006100740020304a30883073002000410064006f00620065002000520065006100640065007200200035002e003000204ee5964d3067958b304f30533068304c3067304d307e30593002>
/KOR <FEFFc7740020c124c815c7440020c0acc6a9d558c5ec0020b370c2a4d06cd0d10020d504b9b0d1300020bc0f0020ad50c815ae30c5d0c11c0020ace0d488c9c8b85c0020c778c1c4d560002000410064006f0062006500200050004400460020bb38c11cb97c0020c791c131d569b2c8b2e4002e0020c774b807ac8c0020c791c131b41c00200050004400460020bb38c11cb2940020004100630072006f0062006100740020bc0f002000410064006f00620065002000520065006100640065007200200035002e00300020c774c0c1c5d0c11c0020c5f40020c2180020c788c2b5b2c8b2e4002e>
/NLD (Gebruik deze instellingen om Adobe PDF-documenten te maken voor kwaliteitsafdrukken op desktopprinters en proofers. De gemaakte PDF-documenten kunnen worden geopend met Acrobat en Adobe Reader 5.0 en hoger.)
/NOR <FEFF004200720075006b00200064006900730073006500200069006e006e007300740069006c006c0069006e00670065006e0065002000740069006c002000e50020006f0070007000720065007400740065002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740065007200200066006f00720020007500740073006b00720069006600740020006100760020006800f800790020006b00760061006c00690074006500740020007000e500200062006f007200640073006b0072006900760065007200200065006c006c00650072002000700072006f006f006600650072002e0020005000440046002d0064006f006b0075006d0065006e00740065006e00650020006b0061006e002000e50070006e00650073002000690020004100630072006f00620061007400200065006c006c00650072002000410064006f00620065002000520065006100640065007200200035002e003000200065006c006c00650072002000730065006e006500720065002e>
/PTB <FEFF005500740069006c0069007a006500200065007300730061007300200063006f006e00660069006700750072006100e700f50065007300200064006500200066006f0072006d00610020006100200063007200690061007200200064006f00630075006d0065006e0074006f0073002000410064006f0062006500200050004400460020007000610072006100200069006d0070007200650073007300f5006500730020006400650020007100750061006c0069006400610064006500200065006d00200069006d00700072006500730073006f0072006100730020006400650073006b0074006f00700020006500200064006900730070006f00730069007400690076006f0073002000640065002000700072006f00760061002e0020004f007300200064006f00630075006d0065006e0074006f00730020005000440046002000630072006900610064006f007300200070006f00640065006d0020007300650072002000610062006500720074006f007300200063006f006d0020006f0020004100630072006f006200610074002000650020006f002000410064006f00620065002000520065006100640065007200200035002e0030002000650020007600650072007300f50065007300200070006f00730074006500720069006f007200650073002e>
/SUO <FEFF004b00e40079007400e40020006e00e40069007400e4002000610073006500740075006b007300690061002c0020006b0075006e0020006c0075006f0074002000410064006f0062006500200050004400460020002d0064006f006b0075006d0065006e007400740065006a00610020006c0061006100640075006b006100730074006100200074007900f6007000f60079007400e400740075006c006f0073007400750073007400610020006a00610020007600650064006f007300740075007300740061002000760061007200740065006e002e00200020004c0075006f0064007500740020005000440046002d0064006f006b0075006d0065006e00740069007400200076006f0069006400610061006e0020006100760061007400610020004100630072006f0062006100740069006c006c00610020006a0061002000410064006f00620065002000520065006100640065007200200035002e0030003a006c006c00610020006a006100200075007500640065006d006d0069006c006c0061002e>
/SVE <FEFF0041006e007600e4006e00640020006400650020006800e4007200200069006e0073007400e4006c006c006e0069006e006700610072006e00610020006f006d002000640075002000760069006c006c00200073006b006100700061002000410064006f006200650020005000440046002d0064006f006b0075006d0065006e00740020006600f600720020006b00760061006c00690074006500740073007500740073006b0072006900660074006500720020007000e5002000760061006e006c00690067006100200073006b0072006900760061007200650020006f006300680020006600f600720020006b006f007200720065006b007400750072002e002000200053006b006100700061006400650020005000440046002d0064006f006b0075006d0065006e00740020006b0061006e002000f600700070006e00610073002000690020004100630072006f0062006100740020006f00630068002000410064006f00620065002000520065006100640065007200200035002e00300020006f00630068002000730065006e006100720065002e>
/DEU <FEFF004a006f0062006f007000740069006f006e007300200066006f00720020004100630072006f006200610074002000440069007300740069006c006c0065007200200037002e000d00500072006f006400750063006500730020005000440046002000660069006c0065007300200077006800690063006800200061007200650020007500730065006400200066006f0072002000680069006700680020007100750061006c0069007400790020007000720069006e00740069006e0067002e000d0028006300290020003200300031003000200053007000720069006e006700650072002d005600650072006c0061006700200047006d006200480020>
/ENU (Use these settings to create Adobe PDF documents for quality printing on desktop printers and proofers. Created PDF documents can be opened with Acrobat and Adobe Reader 5.0 and later.)
>>
/Namespace [
(Adobe)
(Common)
(1.0)
]
/OtherNamespaces [
<<
/AsReaderSpreads false
/CropImagesToFrames true
/ErrorControl /WarnAndContinue
/FlattenerIgnoreSpreadOverrides false
/IncludeGuidesGrids false
/IncludeNonPrinting false
/IncludeSlug false
/Namespace [
(Adobe)
(InDesign)
(4.0)
]
/OmitPlacedBitmaps false
/OmitPlacedEPS false
/OmitPlacedPDF false
/SimulateOverprint /Legacy
>>
<<
/AddBleedMarks false
/AddColorBars false
/AddCropMarks false
/AddPageInfo false
/AddRegMarks false
/ConvertColors /NoConversion
/DestinationProfileName ()
/DestinationProfileSelector /NA
/Downsample16BitImages true
/FlattenerPreset <<
/PresetSelector /MediumResolution
>>
/FormElements false
/GenerateStructure true
/IncludeBookmarks false
/IncludeHyperlinks false
/IncludeInteractive false
/IncludeLayers false
/IncludeProfiles true
/MultimediaHandling /UseObjectSettings
/Namespace [
(Adobe)
(CreativeSuite)
(2.0)
]
/PDFXOutputIntentProfileSelector /NA
/PreserveEditing true
/UntaggedCMYKHandling /LeaveUntagged
/UntaggedRGBHandling /LeaveUntagged
/UseDocumentBleed false
>>
]
>> setdistillerparams
<<
/HWResolution [2400 2400]
/PageSize [2834.646 2834.646]
>> setpagedevice
|