Формализация согласования экспертных оценок при реализации метода Делфи
Запропоновано формалізацію процедури формування узгоджених експертних оцінок в термінах нечітких інтервальних оцінок і інтервальної метрики, яка становить основу методу Делфі. Даний метод реалізовано з залученням прийомів штучного інтелекту та автоматизованого інструментарію, що сприяє проведенню ек...
Gespeichert in:
| Datum: | 2012 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2012
|
| Schriftenreihe: | Кибернетика и системный анализ |
| Schlagworte: | |
| Online Zugang: | http://dspace.nbuv.gov.ua/handle/123456789/84145 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Формализация согласования экспертных оценок при реализации метода Делфи / Н.Д. Панкратова, Л.Ю. Малафеева // Кибернетика и системный анализ. — 2012. — Т. 48, № 5. — С. 82-94. — Бібліогр.: 10 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-84145 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-841452015-07-04T03:01:32Z Формализация согласования экспертных оценок при реализации метода Делфи Панкратова, Н.Д. Малафеева, Л.Ю. Системный анализ Запропоновано формалізацію процедури формування узгоджених експертних оцінок в термінах нечітких інтервальних оцінок і інтервальної метрики, яка становить основу методу Делфі. Даний метод реалізовано з залученням прийомів штучного інтелекту та автоматизованого інструментарію, що сприяє проведенню експертного оцінювання в режимі on-line. A formalization of the procedure of forming concordant expert opinions in terms of fuzzy interval estimates and interval metric, which is the basis of the Delphi method, is proposed. Its implementation involves techniques of artificial intelligence and automated tools that allow on-line expert estimation. 2012 Article Формализация согласования экспертных оценок при реализации метода Делфи / Н.Д. Панкратова, Л.Ю. Малафеева // Кибернетика и системный анализ. — 2012. — Т. 48, № 5. — С. 82-94. — Бібліогр.: 10 назв. — рос. 0023-1274 http://dspace.nbuv.gov.ua/handle/123456789/84145 519.711.3 ru Кибернетика и системный анализ Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Системный анализ Системный анализ |
| spellingShingle |
Системный анализ Системный анализ Панкратова, Н.Д. Малафеева, Л.Ю. Формализация согласования экспертных оценок при реализации метода Делфи Кибернетика и системный анализ |
| description |
Запропоновано формалізацію процедури формування узгоджених експертних оцінок в термінах нечітких інтервальних оцінок і інтервальної метрики, яка становить основу методу Делфі. Даний метод реалізовано з залученням прийомів штучного інтелекту та автоматизованого інструментарію, що сприяє проведенню експертного оцінювання в режимі on-line. |
| format |
Article |
| author |
Панкратова, Н.Д. Малафеева, Л.Ю. |
| author_facet |
Панкратова, Н.Д. Малафеева, Л.Ю. |
| author_sort |
Панкратова, Н.Д. |
| title |
Формализация согласования экспертных оценок при реализации метода Делфи |
| title_short |
Формализация согласования экспертных оценок при реализации метода Делфи |
| title_full |
Формализация согласования экспертных оценок при реализации метода Делфи |
| title_fullStr |
Формализация согласования экспертных оценок при реализации метода Делфи |
| title_full_unstemmed |
Формализация согласования экспертных оценок при реализации метода Делфи |
| title_sort |
формализация согласования экспертных оценок при реализации метода делфи |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2012 |
| topic_facet |
Системный анализ |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/84145 |
| citation_txt |
Формализация согласования экспертных оценок при реализации метода Делфи / Н.Д. Панкратова, Л.Ю. Малафеева // Кибернетика и системный анализ. — 2012. — Т. 48, № 5. — С. 82-94. — Бібліогр.: 10 назв. — рос. |
| series |
Кибернетика и системный анализ |
| work_keys_str_mv |
AT pankratovand formalizaciâsoglasovaniâékspertnyhocenokprirealizaciimetodadelfi AT malafeevalû formalizaciâsoglasovaniâékspertnyhocenokprirealizaciimetodadelfi |
| first_indexed |
2025-07-06T11:05:57Z |
| last_indexed |
2025-07-06T11:05:57Z |
| _version_ |
1836895392788119552 |
| fulltext |
ÓÄÊ 519.711.3
Í.Ä. ÏÀÍÊÐÀÒÎÂÀ, Ë.Þ. ÌÀËÀÔÅÅÂÀ
ÔÎÐÌÀËÈÇÀÖÈß ÑÎÃËÀÑÎÂÀÍÈß ÝÊÑÏÅÐÒÍÛÕ ÎÖÅÍÎÊ
ÏÐÈ ÐÅÀËÈÇÀÖÈÈ ÌÅÒÎÄÀ ÄÅËÔÈ
Êëþ÷åâûå ñëîâà: ìåòîä Äåëôè, ýêñïåðòíûå îöåíêè, ïîêàçàòåëü ñòåïåíè
âàæíîñòè, àíàëèç ñîãëàñîâàííîñòè.
ÂÂÅÄÅÍÈÅ
Ïðè ðåàëèçàöèè èííîâàöèîííûõ ïðîåêòîâ îäíîé èç íàèáîëåå èñïîëüçóåìûõ
â ìèðå òåõíîëîãèé ÿâëÿåòñÿ ìåòîäîëîãèÿ ïðåäâèäåíèÿ, ïîçâîëÿþùàÿ ïðåäñòà-
âèòü ïðîöåññ ïðèíÿòèÿ ðåøåíèé ïî îòíîøåíèþ ê ïîâåäåíèþ ðàññìàòðèâàåìîé
ñëîæíîé ñèñòåìû â áóäóùåì [1]. Ïðè ïîñòðîåíèè àëüòåðíàòèâ ñöåíàðèåâ ïðè-
ìåíÿþòñÿ ìåòîäû êà÷åñòâåííîãî àíàëèçà, êîòîðûå, êàê ïðàâèëî, âêëþ÷àþò
ôîðìèðîâàíèå îïðîñíûõ ôîðì, ñîãëàñîâàíèå ýêñïåðòíûõ îöåíîê, îáîñíîâàíèå
äîñòîâåðíîñòè ïîëó÷åííûõ ðåçóëüòàòîâ.
 ãîñóäàðñòâåííûõ ïðîãðàììàõ ðàçâèòèÿ ìíîãèõ ñòðàí íà ïðîòÿæåíèè äåñÿ-
òèëåòèé äëÿ ðàçðàáîòêè ñòðàòåãèè íà óðîâíå ìåãàïîëèñîâ, ðåãèîíîâ è ãîñóäàðñòâà
â öåëîì èñïîëüçóåòñÿ ìåòîä Äåëôè [2]. Îäíàêî â íàñòîÿùåå âðåìÿ, íåñìîòðÿ íà àê-
òóàëüíîñòü ýòîãî ìåòîäà, ïðàêòè÷åñêè îòñóòñòâóþò ìàòåìàòè÷åñêàÿ ôîðìàëèçàöèÿ
è åäèíûé ñèñòåìíûé ïîäõîä ê ôîðìèðîâàíèþ ñîãëàñîâàííûõ ýêñïåðòíûõ îöåíîê.
 äàííîé ñòàòüå ïðèâîäèòñÿ ôîðìàëèçàöèÿ ïðîöåññà ñîãëàñîâàíèÿ ýêñïåðò-
íûõ ìíåíèé â òåðìèíàõ íå÷åòêèõ èíòåðâàëüíûõ îöåíîê è èíòåðâàëüíîé ìåòðèêè
â öåëÿõ îáåñïå÷åíèÿ âîçìîæíîñòè ïðîâåäåíèÿ îïðîñà â ðåæèìå on-line è ïîñòðî-
åíèÿ îáîñíîâàííûõ àëüòåðíàòèâ ñöåíàðèåâ íà îñíîâå ÷åëîâåêî-ìàøèííîé ïëàò-
ôîðìû ñöåíàðíîãî àíàëèçà.
1. ÑÎÄÅÐÆÀÒÅËÜÍÀß ÏÎÑÒÀÍÎÂÊÀ ÇÀÄÀ×È
Ìåòîä Äåëôè — ïðîöåññ ýêñïåðòíîãî îöåíèâàíèÿ, ñîñòîÿùèé èç äâóõ èëè áîëåå
òóðîâ, â öåëÿõ ïîëó÷åíèÿ ñóæäåíèé î ïðîáëåìàõ, êîòîðûå õàðàêòåðèçóþòñÿ íå-
òî÷íûìè, íåïîëíûìè çíàíèÿìè è îðèåíòèðîâàíû íà áóäóùåå. Ãëàâíàÿ íàïðàâëåí-
íîñòü èñïîëüçîâàíèÿ äàííîãî ìåòîäà — îöåíêà ñðåäíåñðî÷íûõ è äîëãîñðî÷íûõ
ïðîáëåì äëÿ âûÿâëåíèÿ âîçìîæíûõ ìàñøòàáîâ òåõ èëè èíûõ ñîáûòèé â ôèêñè-
ðîâàííûé ïåðèîä âðåìåíè, äâèæóùèõ ñèë, îãðàíè÷åíèé, ôàêòîðîâ, ýêîíîìè÷åñ-
êèõ è ñîöèàëüíûõ ïîñëåäñòâèé îïðåäåëåííûõ òåíäåíöèé [3].
Ïî êàæäîìó ñôîðìèðîâàííîìó êëàñòåðó â ðåæèìå on-line ïðèâëåêàåòñÿ
ãðóïïà ïðîôåññèîíàëüíûõ ýêñïåðòîâ. Íà îñíîâàíèè ïðåäîñòàâëåííûõ ìàòåðèà-
ëîâ è íåîáõîäèìîé äîïîëíèòåëüíîé èíôîðìàöèè î ïðåäìåòíîé îáëàñòè îíè ôîð-
ìèðóþò ñîâîêóïíîñòü ãèïîòåç î âîçìîæíûõ ñöåíàðèÿõ ðàçâèòèÿ áóäóùåãî. Ïðè
ýòîì ýêñïåðòû ðàáîòàþò íåçàâèñèìî äðóã îò äðóãà âî èçáåæàíèå ëèøíèõ äåáàòîâ
è âëèÿíèÿ àâòîðèòåòíûõ ó÷àñòíèêîâ. Àíîíèìíîñòü îïðîñà ÿâëÿåòñÿ îäíèì èç
îñíîâíûõ ôàêòîðîâ ïîïóëÿðíîñòè è ýôôåêòèâíîñòè ìåòîäà Äåëôè.
Ïîñëå ïðîöåäóðû ôîðìèðîâàíèÿ ýêñïåðòíûõ îöåíîê è àíàëèçà èõ ñîãëàñî-
âàííîñòè â öåëÿõ ïîâûøåíèÿ óðîâíÿ îáîñíîâàííîñòè ýêñïåðòíûõ ìíåíèé ïðè íå-
îáõîäèìîñòè âîçìîæíî ïðîâåäåíèå ñëåäóþùåãî òóðà.  òàêîì ñëó÷àå ýêñïåðòû
çíàêîìÿòñÿ ñ ðåçóëüòàòàìè ñôîðìèðîâàííûõ ñîãëàñîâàííûõ ýêñïåðòíûõ îöåíîê
ïðåäûäóùåãî òóðà è îñóùåñòâëÿåòñÿ «îáðàòíàÿ ñâÿçü», ò.å. îíè êîððåêòèðóþò
ñâîè ñóæäåíèÿ.
Îñíîâíûå ýòàïû ýêñïåðòíîãî îöåíèâàíèÿ íà îñíîâå ìåòîäà Äåëôè ïðåäñòàâ-
ëåíû íà ðèñ. 1.
82 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5
� Í.Ä. Ïàíêðàòîâà, Ë.Þ. Ìàëàôååâà, 2012
Õàðàêòåðíîé îñîáåííîñòüþ ìåòîäà Äåëôè ÿâëÿåòñÿ óìåíüøåíèå ðàçáðîñà
îöåíîê ñ êàæäûì ïîñëåäóþùèì òóðîì è èõ ðàñòóùàÿ ñîãëàñîâàííîñòü. Äëÿ ðåà-
ëèçàöèè ïðîöåäóðû Äåëôè ðàçðàáîòàíà ôîðìàëèçàöèÿ ìàòåìàòè÷åñêîãî àïïàðà-
òà, ïðèìåíåíèå êîòîðîãî ïîçâîëÿåò ñ òðåáóåìîé ïðàêòè÷åñêîé òî÷íîñòüþ âûïîë-
íèòü ñîãëàñîâàíèå ýêñïåðòíûõ îöåíîê äëÿ äîñòèæåíèÿ êîíñåíñóñà.
2. ÌÀÒÅÌÀÒÈ×ÅÑÊÀß ÏÎÑÒÀÍÎÂÊÀ ÇÀÄÀ×È
Ïðèâåäåì ìàòåìàòè÷åñêóþ ïîñòàíîâêó çàäà÷è äëÿ îáùåãî ñëó÷àÿ [4].
Ðàññìîòðèì êîíå÷íîå ìíîæåñòâî îáúåêòîâ
O O n Nn� �{ }| ,1 .
Êàæäûé îáúåêò õàðàêòåðèçóåòñÿ êîíå÷íûì ìíîæåñòâîì ïîêàçàòåëåé
I I p P O On np n n� � � �{ }| ,1 .
Äëÿ êàæäîãî ïîêàçàòåëÿ îáúåêòà ôîðìèðóåòñÿ ãðóïïà ýêñïåðòîâ
E E k K I Inp npk np np n� � � �{ }| ,1 .
Äëÿ êàæäîãî ýêñïåðòà îöåíèâàåòñÿ óðîâåíü êîìïåòåíòíîñòè
� �np npk np npk npk K E E� � � �{ }| ,1 .
Êàæäûé ýêñïåðò ïðîâîäèò ýêñïåðòèçó íà îñíîâå ïðåäëîæåííîé åìó èí-
ôîðìàöèè â âèäå áàçîâîé 7-óðîâíåâîé øêàëû Ìèëëåðà [5] êà÷åñòâåííîãî è
êîëè÷åñòâåííîãî îöåíèâàíèÿ ïîêàçàòåëåé (òàáë. 1). Ïðèíèìàÿ âî âíèìàíèå àíî-
íèìíîñòü ïðîöåäóðû îïðîñà, ò.å. îòñóòñòâèå îáìåíà èíôîðìàöèåé ìåæäó ýêñïåð-
òàìè, íàèáîëåå âåðîÿòíî ñëó÷àéíîå ðàñïðåäåëåíèå îöåíîê êàæäîãî ïîêàçàòåëÿ
ïî÷òè íà âñåì èíòåðâàëå [ ; ]0 1 s-ãî óðîâíÿ øêàëû.
Îöåíêà k-ì ýêñïåðòîì p-ãî ïîêàçàòåëÿ n-ãî îáúåêòà óêàçûâàåòñÿ äëÿ êàæäîãî
óðîâíÿ s S�[ ; ]1 â âèäå ìíîæåñòâà Q Q s Snpk npks� �{ }| ,1 , îïðåäåëÿåìîãî øêàëîé
îöåíèâàíèÿ.  îáùåì ñëó÷àå îöåíêà Qnpks ñòàâèòñÿ â ñîîòâåòñòâèå êàæäîìó s-ìó
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5 83
Ðèñ. 1. Ñòðóêòóðíàÿ ñõåìà àëãîðèòìà ýêñïåðòíîãî îöåíèâàíèÿ íà îñíîâå ìåòîäà Äåëôè
Îðãàíèçàöèîííûé ýòàï
Ïîäãîòîâêà îïðîñíûõ ôîðì
Ôîðìèðîâàíèå ýêñïåðòíûõ ãðóïï
Ýêñïåðòíîå îöåíèâàíèå
Ôîðìèðîâàíèå ñîãëàñîâàííûõ
ýêñïåðòíûõ îöåíîê
Ïðåäñòàâëåíèå ðåçóëüòàòîâ òóðà
Íåîáõîäèìîñòü â ñëåäóþùåì òóðå
Íîâûé òóð
Êîíåö
Íåò
Äà
Ïðåäëîæåíèå ýêñïåðòàì
ïåðåñìîòðåòü ñâîè îöåíêè
óðîâíþ, êîòîðûé ïðèíèìàåò çíà÷åíèÿ ñåðåäèíû èíòåðâàëîâ [ ; ] [ ; ]x xs s
� � � 0 1 , ò.å.
xs �( , ; , ; , ; , ; , ; , ; , )0 07 0 21 0 36 0 5 0 64 0 79 0 93 .
Îöåíêà Qnpk — ñîâîêóïíîñòü ïàð ( , )� �npks npks , ãäå �npks — ìíåíèå ýêñïåðòà
î âîçìîæíîñòè íàõîæäåíèÿ çíà÷åíèÿ p-ïîêàçàòåëÿ äëÿ s-ãî óðîâíÿ â èíòåðâàëå
[ ; ]x xs s
� � , à � npks — ïîêàçàòåëü óâåðåííîñòè ýêñïåðòà â ñâîåì ìíåíèè [4]. Ôóí-
êöèè �npk è � npk ïðèíèìàþò çíà÷åíèÿ èç èíòåðâàëà [ ; ]0 1 .
Òàêèì îáðàçîì, ðåçóëüòàòû ýêñïåðòèçû âñåõ ïîêàçàòåëåé îáúåêòîâ âñåìè
ýêñïåðòàìè ôîðìèðóþòñÿ ñèñòåìîé ýêñïåðòíîãî îöåíèâàíèÿ â âèäå
Q Q n N p P k K s Snpks n np� � � � �{ | , ; , ; , ; ,1 1 1 1 }.
Ïðîöåäóðà ôîðìèðîâàíèÿ ðåçóëüòàòîâ îöåíêè âñåõ îáúåêòîâ â âèäå èòîãîâî-
ãî ìàññèâà ñîçäàåò èíôîðìàöèîííóþ îñíîâó äëÿ ïðèíÿòèÿ äàëüíåéøèõ ðåøåíèé.
 öåëÿõ ïîâûøåíèÿ óðîâíÿ îáîñíîâàííîñòè ýêñïåðòíûõ îöåíîê è ñíèæåíèÿ
óðîâíÿ ñóáúåêòèâèçìà èíäèâèäóàëüíûõ ìíåíèé ðàññìàòðèâàåòñÿ ïðîöåññ ñîãëà-
ñîâàíèÿ ýêñïåðòíûõ îöåíîê äëÿ êàæäîãî ïîêàçàòåëÿ êàæäîãî îáúåêòà.
3. ÔÎÐÌÀËÈÇÀÖÈß ÏÐÎÖÅÄÓÐÛ ÝÊÑÏÅÐÒÍÎÃÎ ÎÖÅÍÈÂÀÍÈß
Ýêñïåðòíûå îöåíêè êàæäîãî ïîêàçàòåëÿ êàæäîãî îáúåêòà ýêñïåðòèçû öåëåñî-
îáðàçíî àíàëèçèðîâàòü íåçàâèñèìî êàê ðåçóëüòàò íåçàâèñèìîñòè èõ ôîðìèðî-
âàíèÿ ýêñïåðòàìè. Ñòðóêòóðíàÿ ñõåìà àëãîðèòìà ôîðìèðîâàíèÿ ñîãëàñîâàííûõ
ýêñïåðòíûõ îöåíîê íà îñíîâå ìåòîäà Äåëôè ïðåäñòàâëåíà íà ðèñ. 2.
Ïðèâåäåì äåòàëüíîå îïèñàíèå êàæäîãî ýòàïà àëãîðèòìà.
3.1. Âûáîð ìåòðèêè íà ìíîæåñòâå ýêñïåðòíûõ îöåíîê. Îäíîé èç îñíîâ-
íûõ çàäà÷ àíàëèçà ýêñïåðòíûõ îöåíîê ÿâëÿåòñÿ îïðåäåëåíèå èõ ìåðû ñîãëàñî-
âàííîñòè. Òàêèì îáðàçîì, íà ìíîæåñòâå Qnp ýêñïåðòíûõ îöåíîê ïîêàçàòåëÿ I np
îáúåêòà On íåîáõîäèìî çàäàòü ìåòðèêó r Q Q Rnp np np: � , îïðåäåëÿþùóþ äëÿ
ëþáîé ïàðû îöåíîê Q Q Qnpk npk npi j
, � ; k k Ki j np, � , ìåðó èõ ðàçëè÷èÿ êàê ðàññòî-
ÿíèå ìåæäó íèìè:
r Q Qnpk k npk npki j i j
� �( , ). (1)
Ðàññìîòðèì ìåòðè÷åñêîå ïðîñòðàíñòâî ( , )X � è ìíîæåñòâî C âñåõ ïîäìíî-
æåñòâ ýòîãî ïðîñòðàíñòâà. Äëÿ ýëåìåíòîâ A B C, � ââåäåì ìåòðèêó
� � � �C A B B A A B( , ) inf ( | , )�
,
ãäå A�
, B�
— ñîîòâåòñòâåííî îêðåñòíîñòè ìíîæåñòâ A è B. Åñëè ( , )X � —
ïîëíîå ìåòðè÷åñêîå ïðîñòðàíñòâî, òî ( , )C � �
òàêæå ÿâëÿåòñÿ ïîëíûì ìåòðè-
÷åñêèì ïðîñòðàíñòâîì [6].
Ðàññìîòðèì ïðîñòðàíñòâî ýêñïåðòíûõ îöåíîê ñ ìåòðèêîé (1). Ïðèíèìàÿ âî âíè-
84 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5
Íîìåð
óðîâíÿ, s
Êà÷åñòâåííàÿ
õàðàêòåðèñòèêà
s-ãî óðîâíÿ
Êîëè÷åñòâåííàÿ
õàðàêòåðèñòèêà
s-ãî óðîâíÿ
Îöåíêà ïîêàçàòåëÿ
îáúåêòà, �npks
Îöåíêà ïîêàçàòåëÿ
óâåðåííîñòè
ýêñïåðòà, � npks
1 ×ðåçâû÷àéíî íèçêèé [ ; ]x x1 1
� �
�npk1 � npk1
2 Î÷åíü íèçêèé [ ; ]x x2 2
� �
�npk2 � npk2
3 Íèçêèé [ ; ]x x3 3
� �
�npk3 � npk3
4 Ñðåäíèé [ ; ]x x4 4
� �
�npk4 � npk4
5 Âûñîêèé [ ; ]x x5 5
� �
�npk5 � npk5
6 Î÷åíü âûñîêèé [ ; ]x x6 6
� �
�npk6 � npk6
7 ×ðåçâû÷àéíî âûñîêèé [ ; ]x x7 7
� �
�npk7 � npk7
Ò à á ë è ö à 1
ìàíèå, ÷òî � npks — ïîêàçàòåëü óâåðåííîñòè ýêñïåðòà â ïîñòàâëåííîé îöåíêå,
( )1� � npks — ñîîòâåòñòâåííî ïîêàçàòåëü åãî íåóâåðåííîñòè, à � �npks npks( )1� —
âçâåøåííàÿ ïîïðàâêà îöåíêè ýêñïåðòà. Ñ ó÷åòîì ñêàçàííîãî âìåñòî òî÷å÷íîé
îöåíêè, ïðåäñòàâëåííîé íà ðèñ. 3, à, ïîëó÷àåì òî÷å÷íóþ îöåíêó ñ îòêëîíåíèÿìè,
ãðàôè÷åñêîå ïðåäñòàâëåíèå êîòîðîé äàíî íà ðèñ. 3, á.
Äëÿ ó÷åòà ïîêàçàòåëÿ óâåðåííîñòè � npks ïðè àíàëèçå ñîãëàñîâàííîñòè ýêñ-
ïåðòíûõ îöåíîê è ôîðìèðîâàíèè îêîí÷àòåëüíîãî ðåçóëüòàòà ýêñïåðòèçû êàæäîé
îöåíêå Qnpk äëÿ êàæäîãî s-ãî óðîâíÿ ïîñòàâèì â ñîîòâåòñòâèå ñëåäóþùèé èíòåð-
âàë (ðèñ. 3, â):
d d dnpks npks npks� �� �[ ; ]
� � � �[max ( , ( ( ))); min ( , (0 1 1� � � � �npks npks npks npks npks ( )))]1� � npks . (2)
Òàêèì îáðàçîì, âìåñòî ìíîæåñòâà òî÷å÷íûõ îöåíîê Qnp ïîëó÷àåì ìíîæåñò-
âî èíòåðâàëüíûõ îöåíîê
Q Q k Knp npk np� �{ }| ,1 , Q Q Q s Snpk npks npks� �� �{ }[ ; ]| ,1 .
Íà ìíîæåñòâå èíòåðâàëîâ D d n N p Pnpks n� � �{ | , , , ,1 1 k K s Snp� �1 1, , , } ââå-
äåì èíòåðâàëüíóþ ìåòðèêó
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5 85
Ðèñ. 2. Ñòðóêòóðíàÿ ñõåìà àëãîðèòìà ôîðìèðîâàíèÿ ñîãëàñîâàííûõ ýêñïåðòíûõ îöåíîê
Íåîáõîäèìîñòü â ñëåäóþùåì òóðå
Êîíåö
Íåò
Äà
...
Íîâûé òóð
Ïðåäëîæåíèå
ýêñïåðòàì ïåðåñìîòðåòü
ñâîè îöåíêè
Ïîëó÷åíèå äàííûõ îò ýêñïåðòîâ
Ôîðìèðîâàíèå ñîãëàñîâàííûõ ýêñïåðòíûõ îöåíîê
2.1. Âû÷èñëåíèå ìàòåìàòè÷åñêîãî ñðåäíåãî
1. Âûáîð ìåòðèêè íà ìíîæåñòâå ýêñïåðòíûõ îöåíîê
2. Âû÷èñëåíèå ïîêàçàòåëÿ ñòåïåíè âàæíîñòè
ýêñïåðòíîãî îöåíèâàíèÿ
2.2. Âû÷èñëåíèå èíòåãðèðîâàííîé ýêñïåðòíîé îöåíêè
2.3. Âû÷èñëåíèå ãàóññîâñêîãî ðàñïðåäåëåíèÿ
2.4. Âû÷èñëåíèå ïîêàçàòåëÿ ñòåïåíè âàæíîñòè
3. Âû÷èñëåíèå íàèìåíåå óäàëåííîé ýêñïåðòíîé îöåíêè
4. Âû÷èñëåíèå äîâåðèòåëüíîãî èíòåðâàëà
5. Àíàëèç ñîãëàñîâàííîñòè ýêñïåðòíûõ îöåíîê
...
Ýêñïåðòíûå
îöåíêè
� �d d d npk s npk s nnpkikjs npkis npkjs i j
d d d� � �� �
, max (| | , |
pk s npk si j
d� �� | ) , (3)
êîòîðàÿ ïðåäñòàâëÿåò ñîáîé ìåðó ðàçëè÷èÿ ìåæäó èíòåðâàëàìè [ ; ]d dnpk s npk si i
� � è
[ ; ]d dnpk s npk sj j
� � . Çàìåòèì, ÷òî ìåòðèêà (3) íà ìíîæåñòâå èíòåðâàëîâ èìååò ìåñòî
è â òîì ñëó÷àå, êîãäà èíòåðâàëû ïåðåñåêàþòñÿ èëè ñîäåðæàòñÿ îäèí â äðóãîì
(ðèñ. 3, ã).
Íà ìíîæåñòâå ïîñòðîåííûõ èíòåðâàëüíûõ îöåíîê ââîäèòñÿ ìåòðèêà
� �d d d
s
S
npkis npkjs npkikjsS
, �
�
�1
1
.
Ïîñëåäóþùèå ýòàïû ñòðóêòóðíîé ñõåìû àëãîðèòìà ôîðìèðîâàíèÿ ñîãëàñî-
âàííûõ ýêñïåðòíûõ îöåíîê (ðèñ. 2) ðàññìàòðèâàþòñÿ â ñîîòâåòñòâèè ñ ïîëó÷åí-
íûì ìåòðè÷åñêèì ïðîñòðàíñòâîì.
3.2. Âû÷èñëåíèå ïîêàçàòåëÿ ñòåïåíè âàæíîñòè ýêñïåðòíîãî îöåíèâàíèÿ.
Íà ýòàïå ïðîöåäóðû ôîðìèðîâàíèÿ ñîãëàñîâàííûõ ýêñïåðòíûõ îöåíîê íåîáõî-
äèì ìåõàíèçì îöåíèâàíèÿ ñòåïåíè âàæíîñòè èíäèâèäóàëüíûõ îöåíîê ýêñïåðòîâ,
âûðàæåííûõ â êîëè÷åñòâåííîì âèäå.
Ïî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå [7] ñóììà áîëüøîãî ÷èñëà ñëó÷àéíûõ
âåëè÷èí, âëèÿíèå êàæäîé èç êîòîðûõ áëèçêî ê íóëþ, èìååò ðàñïðåäåëåíèå, áëèç-
êîå ê íîðìàëüíîìó.
Ñ ó÷åòîì ýòîãî ôàêòà íà ìíîæåñòâå Qnp èíòåðâàëüíûõ ýêñïåðòíûõ îöåíîê
ââîäèòñÿ ïîêàçàòåëü ñòåïåíè âàæíîñòè ýêñïåðòíîãî îöåíèâàíèÿ
W w w w Q p P n Nnp npk npk np npk n� � � � � �{ }| ( ) , , ,1 1 ,
86 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5
Ðèñ. 3. Ãðàôè÷åñêîå ïðåäñòàâëåíèå ýêñïåðòíûõ îöåíîê: òî÷å÷íàÿ îöåíêà (à); òî÷å÷íàÿ îöåíêà
ñ îòêëîíåíèÿìè (á); èíòåðâàëüíàÿ îöåíêà (â); ðàññòîÿíèå ìåæäó èíòåðâàëüíûìè îöåíêàìè (ã)
à á
ãâ
xs xs
xsxs
÷òî ïîçâîëÿåò îïðåäåëèòü âåñ ìíåíèÿ êàæäîãî k-ãî ýêñïåðòà
w w Q Q Qnpk np npk npk npk� � �( ) ( ( ,
~
))1 � � , (4)
ãäå � npk — ïîêàçàòåëü êîìïåòåíòíîñòè k-ãî ýêñïåðòà îòíîñèòåëüíî p-ãî ïîêà-
çàòåëÿ n-ãî îáúåêòà,
~
Q — èíòåðâàëüíàÿ îöåíêà, êîòîðàÿ ïîëó÷àåòñÿ ïóòåì äèñ-
êðåòèçàöèè ãàóññîâñêîé ïëîòíîñòè. Òàêèì îáðàçîì, âåñ ýêñïåðòíîãî ìíåíèÿ
òåì áîëüøå, ÷åì áëèæå îöåíêà ýêñïåðòà ê ãàóññîâñêîé ïëîòíîñòè íà ìíîæå-
ñòâå ýêñïåðòíûõ îöåíîê.
Ïðèâåäåì àëãîðèòì âû÷èñëåíèÿ ãàóññîâñêîé ïëîòíîñòè.
1. Îïðåäåëÿåòñÿ ìàòåìàòè÷åñêîå ñðåäíåå M M M s Snps nps nps� �� �{ }[ ; ], ,1 ìíî-
æåñòâà ïîñòðîåííûõ èíòåðâàëüíûõ ýêñïåðòíûõ îöåíîê äëÿ êàæäîãî s-óðîâíÿ:
M MQ
K
Qnps nps npks
k
K np
� � �
�
� � �1
1
; M MQ
K
Qnps nps npks
k
K np
� � �
�
� � �1
1
. (5)
2. Âû÷èñëÿåòñÿ èíòåãðèðîâàííàÿ ýêñïåðòíàÿ îöåíêà Q Q Q s Snp nps nps� �
� �
{ }[ ; ], ,1
ïî êàæäîìó óðîâíþ s, íàèìåíåå óäàëåííàÿ îò âû÷èñëåííîãî ìàòåìàòè÷åñêîãî
ñðåäíåãî:
Q Q Mnps
Q
npks npks
npks
� �� �
�
arg min (| | ); Q Q Mnps
Q
npks npks
npks
� �� �
�
arg min(| | ) . (6)
3. Ââîäèòñÿ (ñ ó÷åòîì òîãî, ÷òî ïëîùàäü ïîä êðèâîé ãàóññîâñêîé ïëîòíîñòè
âñåãäà ðàâíà åäèíèöå [8]) êîððåêòèðóþùèé êîýôôèöèåíò íîðìèðîâàíèÿ ê èíòåðâà-
ëó [ ; ]0 1 â öåëÿõ êîððåêòíîãî ïîñòðîåíèÿ èíòåðâàëüíîé ãàóññîâñêîé ïëîòíîñòè â âèäå
K
S Q
np
np
�
�
�
1
( )
; K
S Q
np
np
�
�
�
1
( )
, (7)
ãäå S Q np( )
�
(ðèñ. 4, à) è S Q np( )
�
— ïëîùàäè ïîä êðèâûìè ñîîòâåòñòâåííî íè-
æíåé è âåðõíåé ãðàíèö ïîñòðîåííîé èíòåãðèðîâàííîé ýêñïåðòíîé îöåíêè.
Äëÿ âû÷èñëåíèÿ ïëîùàäè ïîä êðèâîé äîñòàòî÷íî ó÷åñòü çíà÷åíèå êàæäîãî
óðîâíÿ xs �( , ; , ; , ; , ; , ; , ; , )0 07 0 21 0 36 0 5 0 64 0 79 0 93 , êîòîðîìó ñîîòâåòñòâóåò íåêîòîðîå
çíà÷åíèå èíòåãðèðîâàííîé ýêñïåðòíîé îöåíêè.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5 87
Ðèñ. 4. Ãðàôèêè ïîñòðîåíèÿ èíòåðâàëüíîé ãàóññîâñêîé ïëîòíîñòè: ïëîùàäü ïîä êðèâîé íèæíåé
ãðàíèöû èíòåãðèðîâàííîé ýêñïåðòíîé îöåíêè (à); èíòåðâàëüíàÿ ãàóññîâñêàÿ ïëîòíîñòü (á)
à
S Q( )ïð
�
xs
á
S Q( )ïð
�
xs
4. Îïðåäåëÿåòñÿ èíòåðâàëüíàÿ ãàóññîâñêàÿ ïëîòíîñòü
~
[
~
;
~
],Q Q Qnp nps nps� � �{
s S�1, } (ðèñ. 4, á), ãðàíèöû êîòîðîé çàäàþòñÿ ôîðìóëîé ãàóññîâñêîé ïëîòíîñòè
[7] ñ ó÷åòîì êîýôôèöèåíòà íîðìèðîâàíèÿ ê èíòåðâàëó [ ; ]0 1 :
~
~
(
~
)
~
Q
K D
enps
np
x M
D
s
�
� �
� �
�
�
�1
2
2
2
�
,
~
~
(
~
)
~
Q
K D
enps
np
x M
D
s
�
� �
� �
�
�
�1
2
2
2
�
. (8)
Èíòåãðèðîâàííàÿ ýêñïåðòíàÿ îöåíêà äîëæíà áûòü ìàêñèìàëüíî ïðèáëèæåíà
ê èíòåðâàëüíîé ãàóññîâñêîé ïëîòíîñòè, ò.å. äëÿ íàõîæäåíèÿ ãàóññîâñêîé ïëîò-
íîñòè íåîáõîäèìî ðåøèòü çàäà÷ó îïòèìèçàöèè
�(
~
; ) minQ Qnps nps
s
S
�
�
1
,
êîòîðàÿ ñâîäèòñÿ ê ñëåäóþùåé çàäà÷å:
1
2
2
2
K D
e Q
np
x M
D
nps
s
s
� �
� �
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
�
��
~
(
~
)
~
�
� �
� �
�
�
�
�
�
�
�
�
�
�
�
�
�
�
1
21
2
2
S
np
x M
D
nps
K D
e Q
s
min,
~
(
~
)
~
�
�
�
�
�
�
�
�
�
�
�
�
�
��
�
�
�
�
�
�
�
s
S
1
min.
Çàäà÷ó îïòèìèçàöèè ðåøàåì ñ ïîìîùüþ ÷èñëåííûõ ìåòîäîâ, íàïðèìåð ìå-
òîäîì ðàâíîìåðíîãî ïîèñêà [9].
Òàêèì îáðàçîì, wnpk — ïîêàçàòåëü ñòåïåíè âàæíîñòè ìíåíèÿ k-ãî ýêñïåðòà
â ñîîòâåòñòâèè ñ (4) ðàññ÷èòûâàåòñÿ ñ ó÷åòîì èíòåðâàëüíîé ãàóññîâñêîé ïëîò-
íîñòè
~
[
~
;
~
], ,Q Q Q s Snp nps nps� �� �{ }1 è ââåäåííîé äëÿ îáùåãî ñëó÷àÿ èíòåðâàëüíîé
ìåòðèêè (3), êîòîðàÿ â òåðìèíàõ èíòåðâàëüíûõ îöåíîê èìååò âèä
�( ;
~
) max (|
~
| , |
~
Q Q Q Q Q Qnpks npks npks npks npks npk� � �� � �
s
� | ) . (9)
3.3. Âû÷èñëåíèå íàèìåíåå óäàëåííîé ýêñïåðòíîé îöåíêè. Íà ìíîæåñòâå
ýêñïåðòíûõ îöåíîê â öåëÿõ äàëüíåéøåãî ñîãëàñîâàíèÿ ýêñïåðòíûõ cóæäåíèé
îïðåäåëÿåòñÿ îöåíêà, íàèìåíåå óäàëåííàÿ îò ìíåíèé äðóãèõ ýêñïåðòîâ.
Ïðèâåäåì àëãîðèòì âû÷èñëåíèÿ óêàçàííîé îöåíêè.
1. Ñòðîèòñÿ ìàòðèöà ðàññòîÿíèé d Q Qnpk k npk npki j i j
� �( , ) ìåæäó îöåíêàìè
ýêñïåðòîâ ïî ìåòðèêå � np :
D d k k Knp npk k i j npi j
� �{ }| , ,1 . (10)
2. Âû÷èñëÿåòñÿ âåêòîð, êàæäàÿ êîìïîíåíòà êîòîðîãî ðàâíà ñóììå âñåõ ýëå-
ìåíòîâ ñîîòâåòñòâóþùåé ñòðîêè ìàòðèöû Dnp :
S S S d k Knp npk npk npk k
k
K
j npj i j
i
np
� � �
�
�{ }| , ,
1
1 . (11)
3. Íàõîäèòñÿ ìèíèìàëüíàÿ êîìïîíåíòà âåêòîðà S np , êîòîðàÿ ñîîòâåòñòâóåò
çíà÷åíèþ îöåíêè ýêñïåðòà, íàèìåíåå óäàëåííîé îò ìíåíèé äðóãèõ ýêñïåðòîâ:
M Snp
k K
npk�
�
arg min( )
,1
. (12)
3.4. Âû÷èñëåíèå äîâåðèòåëüíîãî èíòåðâàëà. Äîâåðèòåëüíûé èíòåðâàë Tnp
äîëæåí ñîäåðæàòü ôèêñèðîâàííóþ ÷àñòü ýêñïåðòíûõ îöåíîê, íàèìåíåå óäàëåí-
88 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5
íûõ îò M np ïî ìåòðèêå �( , )Q Mnpk np . Âûâîäû ýêñïåðòîâ, êîòîðûå âîéäóò â äî-
âåðèòåëüíûé èíòåðâàë, áóäóò ñ÷èòàòüñÿ ñîãëàñîâàííûìè.
 ïðîöåññå ôîðìèðîâàíèÿ äîâåðèòåëüíîãî èíòåðâàëà äëÿ ó÷åòà âåñà îöåíêè
êàæäîãî ýêñïåðòà èñïîëüçóåòñÿ ïîêàçàòåëü ñòåïåíè âàæíîñòè (4), ÷òî ïîçâîëÿåò
óòî÷íèòü ìåòðèêó (9):
~ ( , )( )� �npk np npk npkM Q w� �1 .
Òàêèì îáðàçîì, ýêñïåðòíûå îöåíêè ñ íàèìåíüøèì çíà÷åíèåì ïîêàçàòåëÿ
ñòåïåíè âàæíîñòè áîëåå óäàëåíû îò M np , ÷òî äàåò âîçìîæíîñòü ñêîððåêòèðîâàòü
â ñòîðîíó óìåíüøåíèÿ èõ âëèÿíèå íà ðåçóëüòàòû ýêñïåðòèçû.
Äëÿ îïðåäåëåíèÿ äîâåðèòåëüíîãî èíòåðâàëà â ïåðâîì òóðå ìîãóò èñïîëüçîâàòü-
ñÿ íåñêîëüêî ïðèåìîâ. Ðàññìîòðèì íåêîòîðûå èç íèõ:
Q Tnpk np� , åñëè ~ max (~ )� �npk
Q
npkP
npk
� ,
ãäå P — àïðèîðíî çàäàííûé ïîêàçàòåëü îòíîøåíèÿ ðàäèóñà äîâåðèòåëüíîãî
èíòåðâàëà ê íàèáîëåå óäàëåííîé îò M np îöåíêè ýêñïåðòà;
Q Tnpk np� , åñëè Qnpk
Q
npk
npk
� arg min (~ )�
ïðè card card( ) ( )
( )
T E Snp np
Tnp� ,
ãäå S
Tnp( )
— àïðèîðíî çàäàííûé ïîêàçàòåëü îòíîøåíèÿ ÷èñëà ñîãëàñîâàííûõ
ýêñïåðòíûõ îöåíîê, ïðèíàäëåæàùèõ äîâåðèòåëüíîìó èíòåðâàëó Tnp , ê îáùåìó
êîëè÷åñòâó îöåíîê â ýêñïåðòíîé ãðóïïå Enp ;
Q Tnpk np� , åñëè ~ ( )
� npk
T
R np�
1
, (13)
ãäå R
Tnp
1
( )
— àïðèîðíî çàäàííûé ðàäèóñ.
Ïîñëå ïðîöåäóðû ôîðìèðîâàíèÿ äîâåðèòåëüíîãî èíòåðâàëà îïðåäåëÿåòñÿ
ðàäèóñ ìíîæåñòâà ýêñïåðòíûõ îöåíîê êàê ðàññòîÿíèå îò íàèáîëåå óäàëåííîé
îöåíêè èç äîâåðèòåëüíîãî èíòåðâàëà ê M np :
R
T
Q
np
npk
( )
max(~)� � .
Ðàäèóñ R
Tnp( )
ôèêñèðóåòñÿ íà óðîâíå ïåðâîãî òóðà, è äîâåðèòåëüíûé èíòåð-
âàë â ñëåäóþùèõ òóðàõ âû÷èñëÿåòñÿ ïî ôîðìóëå
Q Tnpk np� , åñëè ~ ( )
�� R
Tnp .
3.5. Àíàëèç ñîãëàñîâàííîñòè ýêñïåðòíûõ îöåíîê. Â êàæäîì òóðå ñ ïî-
ìîùüþ ñôîðìèðîâàííîãî äîâåðèòåëüíîãî èíòåðâàëà íà ïîñëåäíåì ýòàïå àëãî-
ðèòìà âû÷èñëÿåòñÿ ïîêàçàòåëü ñîãëàñîâàííîñòè ýêñïåðòíûõ îöåíîê, ÷òîáû îïðå-
äåëèòü íåîáõîäèìîñòü â ñëåäóþùåì òóðå ýêñïåðòèçû.
Êðèòåðèåì ñîãëàñîâàííîñòè ýêñïåðòíûõ ìíåíèé ÿâëÿåòñÿ ïîêàçàòåëü ñîãëà-
ñîâàííîñòè S
Tnp( )
— îòíîøåíèå êîëè÷åñòâà ñîãëàñîâàííûõ îöåíîê, êîòîðûå ïî-
ïàëè â äîâåðèòåëüíûé èíòåðâàë Tnp , ê îáùåìó êîëè÷åñòâó îöåíîê â ýêñïåðòíîé
ãðóïïå Enp :
S
T
E
T np
np
np( ) ( )
( )
�
ñard
ñard
. (14)
Êðèòåðèåì îêîí÷àíèÿ ïðîöåäóðû ýêñïåðòèçû ìîæåò áûòü, íàïðèìåð, ïðåâû-
øåíèå ïîêàçàòåëåì S
Tïð( )
íåêîòîðîãî àïðèîðíî çàäàííîãî óðîâíÿ S * , ôèêñèðî-
âàííîå êîëè÷åñòâî òóðîâ è ò.ä.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5 89
Áóäåì ñ÷èòàòü, ÷òî âûâîäû ãðóïïû ýêñïåðòîâ ñîãëàñîâàíû, åñëè ïîêàçàòåëü
ñîãëàñîâàííîñòè (14) ÿâëÿåòñÿ óñòîé÷èâûì, ò.å. äëÿ êàæäîãî m-ãî òóðà ýêñïåðòè-
çû âûïîëíÿåòñÿ ñëåäóþùåå ñîîòíîøåíèå:
S Snp
T
np
Tm m( ) ( )� �1 . (15)
Åñëè â íåðàâåíñòâå (15) ìåíÿåòñÿ çíàê íà ïðîòèâîïîëîæíûé, òî ìíåíèÿ ýêñ-
ïåðòîâ ðàñõîäÿòñÿ.  ýòîì ñëó÷àå ðàáî÷àÿ ãðóïïà ìîæåò ïðèíÿòü ðåøåíèå î ïðîâå-
äåíèè ñëåäóþùåãî òóðà ýêñïåðòíîãî îöåíèâàíèÿ. Ýêñïåðòàì ïðåäëàãàåòñÿ ïå-
ðåñìîòðåòü ñâîè ñóæäåíèÿ è ñäåëàòü ïåðåîöåíêó ïîêàçàòåëåé íà îñíîâå îáúÿâëåí-
íûõ ðåçóëüòàòîâ ïðåäûäóùåãî òóðà â öåëÿõ óòî÷íåíèÿ è ïîâûøåíèÿ óðîâíÿ
ñîãëàñîâàííîñòè ýêñïåðòíûõ ìíåíèé è äîñòèæåíèÿ êîíñåíñóñà.
Íà ïîñëåäíåì òóðå ýêñïåðòíîãî îöåíèâàíèÿ â êà÷åñòâå îêîí÷àòåëüíîé ñîãëà-
ñîâàííîé îöåíêè �Qnp ïîêàçàòåëÿ I np îáúåêòà On ãðóïïîé ýêñïåðòîâ Enp ïðèíèìà-
åòñÿ îöåíêà, íàèáîëåå ïðèáëèæåííàÿ ê M np .
Ñîãëàñîâàííàÿ ýêñïåðòíàÿ îöåíêà �Qnp îáúåêòèâíî ïîäòâåðæäàåò îáîñíîâàí-
íîñòü ïðèíÿòèÿ ïîêàçàòåëåì I np çíà÷åíèÿ, êîòîðîå ñîîòâåòñòâóåò îïðåäåëåííîìó
s-ìó óðîâíþ øêàëû Ìèëëåðà. Òî÷å÷íàÿ îöåíêà ñ íàèáîëüøåé âîçìîæíîñòüþ ðåà-
ëèçàöèè è ìàêñèìàëüíîé ñòåïåíüþ óâåðåííîñòè â ïîñòàâëåííîé îöåíêå âû÷èñëÿ-
åòñÿ ñëåäóþùèì îáðàçîì:
s Q s M M M Mnp np nps nps nps( � ) ( ) max( ) min (| | )� � � �� �arg , (16)
� ( ) /
( � ) ( � )
Q M Mnp
nps Q nps Q
np np
� �� � 2 .
ÏÐÈÌÅÐ
Ðàññìàòðèâàåòñÿ çàäà÷à âûÿâëåíèÿ íàèáîëåå ïðèåìëåìûõ íèø ðûíêà ñáûòà
èííîâàöèîííîãî îáîðóäîâàíèÿ òèïà òî÷êà-ìíîãîòî÷êà äëÿ îáåñïå÷åíèÿ øèðî-
êîïîëîñíîé áåñïðîâîäíîé ñâÿçè.
Ýêñïåðòû E E kk11 11 1 16� �{ }| , â ñîîòâåòñòâèè ñ èõ óðîâíÿìè êîìïåòåíòíîñ-
òè � �11 11 1 16� �{ }k k| , , çíà÷åíèÿ êîòîðûõ ïðèâåäåíû â òàáë. 2, àíîíèìíî, íåçà-
âèñèìî äðóã îò äðóãà, îöåíèëè îáúåêò O1 � «Èííîâàöèîííîå îáîðóäîâàíèå øè-
ðîêîïîëîñíîé áåñïðîâîäíîé ñâÿçè» ïî êðèòåðèþ I1 � «Íèøè ïðèìåíèìîñòè ðàç-
ðàáîòàííîãî èííîâàöèîííîãî îáîðóäîâàíèÿ íà ðûíêå ñáûòà».
Ïðîöåäóðà îöåíèâàíèÿ ïðîâåäåíà äëÿ 16 ýêñïåðòîâ ñ èñïîëüçîâàíèåì øêàëû
Ìèëëåðà ïî ñëåäóþùèì óðîâíÿì (s �1 7, ).
1. Ñïðîñ íà òàêîå îáîðóäîâàíèå ñëèøêîì ìàë, òàê êàê âûñîêîñêîðîñòíîé
Èíòåðíåò óæå ïðîâåäåí ïðåèìóùåñòâåííî ïî âñåé Óêðàèíå ( [ ; , ])x1 0 014� .
2. Ñóùåñòâóþò íåçàíÿòûå íèøè, ãäå òàêîå îáîðóäîâàíèå ïðèìåíèìî, íî íå
áîëåå 5% îò îáúåìà ÐÐË-ðåøåíèé (x2 014 0 24�( , ; , ] ).
3. Îïåðàòîðû, ïðåäîñòàâëÿþùèå óñëóãè êîðïîðàòèâíîãî äîñòóïà (Óêðòåëå-
êîì, Àëüòåðíåò, CDMA, Ïàí-òåëåêîì è äðóãèå), çàèíòåðåñîâàíû â òàêîì îáîðó-
äîâàíèè (x3 0 24 0 43�( , ; , ] ).
4. Ñîòîâûå îïåðàòîðû (Beeline, MTC, Êèåâñòàð è äðóãèå) çàèíòåðåñîâàíû
â òàêîì îáîðóäîâàíèè äëÿ ïîñòðîåíèÿ îïîðíîé ñåòè â ðàéîíàõ ñ âûñîêîé ïëîòíî-
ñòüþ àáîíåíòîâ â öåëÿõ ðàçâèòèÿ óñëóã 3G/LTE/mobileTV (x4 0 43 0 57�( , ; , ] ).
90 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5
Ïîêàçàòåëü
êîìïåòåíò-
íîñòè
Çíà÷åíèÿ ïîêàçàòåëÿ êîìïåòåíòíîñòè ýêñïåðòîâ
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
�k 0,80 0,40 1,00 1,00 0,60 0,80 0,80 0,20 1,00 0,60 0,80 1,00 0,80 0,95 0,85 1,00
Ò à á ë è ö à 2
5. Îïåðàòîðû WiMAX/LTE çàèíòåðåñîâàíû â òàêèõ ñèñòåìàõ (x5 �
�( , ; , ]0 57 0 72 ).
6. Ëþáîé îïåðàòîð áóäåò çàèíòåðåñîâàí â òàêîì âûñîêîñêîðîñòíîì è íåäî-
ðîãîì áåñïðîâîäíîì îáîðóäîâàíèè (x6 0 72 0 86�( , ; , ] ).
7. Ðûíîê íèêåì íå çàíÿò, ñïðîñ áóäåò áîëüøîé (x7 0 86 100�( , ; , ] ).
Ïîëó÷åííûå òî÷å÷íûå îöåíêè ýêñïåðòîâ ïðèâåäåíû â òàáë. 3.
Ñîãëàñîâàííûå ýêñïåðòíûå îöåíêè ôîðìèðóþòñÿ â ñîîòâåòñòâèè ñî ñòðóê-
òóðíîé ñõåìîé àëãîðèòìà, ïðåäñòàâëåííîé íà ðèñ. 2. Ïî òî÷å÷íûì îöåíêàì â ñî-
îòâåòñòâèè ñ (2) ñòðîÿòñÿ èíòåðâàëüíûå ýêñïåðòíûå îöåíêè (òàáë. 4).
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5 91
Íîìåð
ýêñïåðòà
Òî÷å÷íûå ýêñïåðòíûå îöåíêè ïî 7-óðîâíåâîé øêàëå Ìèëëåðà
1 2 3 4 5 6 7
�11 1k �11 1k �11 2k �11 2k �11 3k �11 3k �11 4k �11 4k �11 5k �11 5k �11 6k �11 6k �11 7k �11 7k
1 0,00 0,70 0,60 0,85 0,05 0,80 0,10 0,60 0,15 0,75 0,65 0,80 0,65 0,85
2 0,00 0,90 0,10 0,80 0,05 0,85 0,95 0,95 1,00 1,00 0,70 1,00 0,70 0,95
3 0,20 0,90 0,80 0,96 0,40 0,85 0,45 0,95 0,85 0,88 0,50 0,78 0,50 0,82
4 0,60 1,00 0,80 1,00 0,65 1,00 0,40 0,98 0,70 1,00 0,65 0,93 0,65 1,00
5 0,20 0,98 0,65 1,00 0,25 1,00 0,60 1,00 0,00 1,00 0,63 1,00 0,63 1,00
6 0,40 1,00 0,45 0,80 0,65 1,00 0,80 0,95 0,85 0,98 0,82 0,90 0,82 1,00
7 0,00 1,00 0,80 0,85 0,09 1,00 0,20 1,00 0,65 0,80 0,24 1,00 0,24 1,00
8 0,00 1,00 0,20 1,00 0,85 1,00 0,93 1,00 1,00 1,00 0,95 1,00 0,95 1,00
9 0,20 1,00 0,80 0,95 0,74 1,00 0,28 1,00 0,65 1,00 0,40 0,97 0,40 1,00
10 0,20 0,96 0,85 1,00 0,80 0,87 0,22 1,00 0,46 1,00 0,40 1,00 0,40 1,00
11 0,00 1,00 0,80 1,00 0,67 1,00 0,40 1,00 1,00 0,97 0,43 1,00 0,43 0,94
12 0,00 1,00 0,30 0,99 0,65 1,00 0,67 0,98 0,85 0,94 0,80 1,00 0,80 1,00
13 0,40 0,99 0,65 1,00 0,00 1,00 0,80 1,00 0,88 0,95 0,19 0,93 0,19 1,00
14 0,20 1,00 0,50 0,85 0,60 0,85 0,65 0,90 0,90 1,00 0,77 1,00 0,77 0,95
15 0,50 1,00 0,89 0,92 0,65 0,93 0,47 0,95 0,80 0,90 0,82 0,80 0,82 1,00
16 0,22 0,96 0,85 0,95 0,42 0,90 0,59 1,00 0,90 1,00 0,68 1,00 0,68 0,95
Ò à á ë è ö à 3
�
Íîìåð
ýêñïåðòà
Èíòåðâàëüíûå ýêñïåðòíûå îöåíêè ïî 7-óðîâíåâîé øêàëå Ìèëëåðà
1 2 3
d k11 1
�
�11 1k d k11 1
� d k11 2
�
�11 2k d k11 2
� d k11 3
�
�11 3k d k11 3
�
1 0,00 0,00 0,00 0,51 0,60 0,69 0,04 0,05 0,06
2 0,00 0,00 0,00 0,08 0,10 0,12 0,04 0,05 0,06
3 0,18 0,20 0,22 0,77 0,80 0,83 0,34 0,40 0,46
4 0,60 0,60 0,60 0,80 0,80 0,80 0,65 0,65 0,65
5 0,20 0,20 0,20 0,65 0,65 0,65 0,25 0,25 0,25
6 0,40 0,40 0,40 0,36 0,45 0,54 0,65 0,65 0,65
7 0,00 0,00 0,00 0,68 0,80 0,92 0,09 0,09 0,09
8 0,00 0,00 0,00 0,20 0,20 0,20 0,85 0,85 0,85
9 0,20 0,20 0,20 0,76 0,80 0,84 0,74 0,74 0,74
10 0,19 0,20 0,21 0,85 0,85 0,85 0,70 0,80 0,90
11 0,00 0,00 0,00 0,80 0,80 0,80 0,67 0,67 0,67
12 0,00 0,00 0,00 0,30 0,30 0,30 0,65 0,65 0,65
13 0,40 0,40 0,40 0,65 0,65 0,65 0,00 0,00 0,00
14 0,20 0,20 0,20 0,43 0,50 0,58 0,51 0,60 0,69
15 0,50 0,50 0,50 0,82 0,89 0,96 0,60 0,65 0,70
16 0,21 0,22 0,23 0,81 0,85 0,89 0,38 0,42 0,46
Ò à á ë è ö à 4
Äëÿ âû÷èñëåíèÿ ïîêàçàòåëåé ñòåïåíè âàæíîñòè ýêñïåðòíûõ îöåíîê îïðåäå-
ëÿåòñÿ ãàóññîâñêàÿ ïëîòíîñòü ïî àëãîðèòìó, ïðèâåäåííîìó â ï. 3.2:
1) îïðåäåëÿåòñÿ ìàòåìàòè÷åñêîå ñðåäíåå (5) èíòåðâàëüíûõ ýêñïåðòíûõ
îöåíîê:
M11 019 018 0 59 0 66 0 45 0 49� ([ , ; , ], [ , ; , ], [ , ; , ],
[ , ; , ], [ , ; , ], [ , ; , ], [ , ; , ])0 52 0 55 0 70 0 76 0 47 0 64 0 46 0 49 ;
2) âû÷èñëÿåòñÿ èíòåãðèðîâàííàÿ ýêñïåðòíàÿ îöåíêà (6):
Q11 019 010 0 22 0 24 0 40 0 44 0 58 0 6� ([ , ; , ], [ , ; , ], [ , ; , ], [ , ; , 3],
[ , ; , ], [ , ; , ], [ , ; , ])0 67 0 71 0 60 0 63 0 42 0 44 ;
3) âû÷èñëÿåòñÿ êîððåêòèðóþùèé êîýôôèöèåíò íîðìèðîâàíèÿ ê èíòåðâàëó
[ ; ]0 1 (7):
Knp
� � 2 05, ; Knp
� �194, ;
4) îïðåäåëÿåòñÿ ãàóññîâñêàÿ ïëîòíîñòü (8) ñ ó÷åòîì êîýôôèöèåíòà íîðìèðîâàíèÿ:
~
([ , ; , ], [ , ; , ], [ , ; , ], [ , ; ,Q11 0 09 010 0 22 0 24 0 40 0 44 0 58 0� 63],
[ , ; , ], [ , ; , ], [ , ; , ])0 67 0 71 0 60 0 63 0 42 0 44 .
Ïîêàçàòåëè ñòåïåíè âàæíîñòè w Qnp npk( ) â ñîîòâåòñòâèè ñ (4) èìåþò ñëåäóþ-
ùèå çíà÷åíèÿ:
w Q w Q w Q w11 11 1 11 11 2 11 11 3 10 50 0 29 0 76( ) , , ( ) , , ( ) , ,. . .� � � 1 11 4 0 75( ) ,.Q � ,
w Q w Q w Q w11 11 5 11 11 6 11 11 7 10 47 0 62 0 52( ) , , ( ) , , ( ) , ,. . .� � � 1 11 8 014( ) ,.Q � ,
w Q w Q w Q11 11 9 11 11 10 11 11 110 74 0 40 0 58( ) , , ( ) , , ( ) , ,. . .� � � w Q11 11 12 0 86( ) ,. � ,
w Q w Q w Q11 11 13 11 11 14 11 11 150 52 0 79 0 59( ) , , ( ) , , ( ) ,. . .� � � , ( ) ,.w Q11 11 16 0 82� .
Îïðåäåëÿåòñÿ íàèìåíåå óäàëåííàÿ ýêñïåðòíàÿ îöåíêà M np ïî àëãîðèòìó,
ïðèâåäåííîìó â ï. 3.3:
92 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5
Èíòåðâàëüíûå ýêñïåðòíûå îöåíêè ïî 7-óðîâíåâîé øêàëå Ìèëëåðà
4 5 6 7
d k11 4
�
�11 4k d k11 4
� d k11 5
�
�11 5k d k11 5
�
d k11 6
�
�11 6k d k11 6
� d k11 7
�
�11 7k d k11 7
�
0,06 0,10 0,14 0,11 0,15 0,19 0,52 0,65 0,78 0,04 0,65 0,06
0,90 0,95 1,00 1,00 1,00 1,00 0,70 0,70 0,70 0,90 0,70 1,00
0,43 0,45 0,47 0,75 0,85 0,95 0,39 0,50 0,61 0,53 0,50 0,77
0,39 0,40 0,41 0,70 0,70 0,70 0,60 0,65 0,70 0,35 0,65 0,35
0,60 0,60 0,60 0,00 0,00 0,00 0,63 0,63 0,63 0,40 0,63 0,40
0,76 0,80 0,84 0,83 0,85 0,87 0,74 0,82 0,90 0,47 0,82 0,47
0,20 0,20 0,20 0,52 0,65 0,78 0,24 0,24 0,24 0,15 0,24 0,15
0,93 0,93 0,93 1,00 1,00 1,00 0,95 0,95 0,95 0,94 0,95 0,94
0,28 0,28 0,28 0,65 0,65 0,65 0,39 0,40 0,41 0,60 0,40 0,60
0,22 0,22 0,22 0,46 0,46 0,46 0,40 0,40 0,40 0,65 0,40 0,65
0,40 0,40 0,40 0,97 1,00 1,03 0,43 0,43 0,43 0,61 0,43 0,69
0,66 0,67 0,68 0,80 0,85 0,90 0,80 0,80 0,80 0,40 0,80 0,40
0,80 0,80 0,80 0,84 0,88 0,92 0,18 0,19 0,20 0,03 0,19 0,03
0,59 0,65 0,72 0,90 0,90 0,90 0,77 0,77 0,77 0,43 0,77 0,47
0,45 0,47 0,49 0,72 0,80 0,88 0,66 0,82 0,98 0,37 0,82 0,37
0,59 0,59 0,59 0,90 0,90 0,90 0,68 0,68 0,68 0,48 0,68 0,54
�
1) còðîèòñÿ ìàòðèöà ðàññòîÿíèé (10) ìåæäó îöåíêàìè ýêñïåðòîâ:
D11
2
15
16
0 00 0 49 0
�
ýêñïåðò 1
ýêñïåðò
ýêñïåðò
ýêñïåðò
�
�, , ,44 0 41
0 50 0 00 0 53 0 34
0 44 0 53 0 00 0 20
0 41 0
,
, , , ,
, , , ,
,
�
� � � � �
�
, , ,34 0 20 0 00�
;
2) âû÷èñëÿåòñÿ âåêòîð (11) èç ñîîòâåòñòâóþùèõ ñòðîê ïîëó÷åííîé ìàòðèöû:
S np � [ , , , , ]6 22 615 4 57 3 73� ;
3) íàõîäèòñÿ îöåíêà (12), íàèìåíåå óäàëåííàÿ îò ìíåíèé äðóãèõ ýêñïåðòîâ,
êîòîðàÿ ñîîòâåòñòâóåò ýêñïåðòó ¹ 16:
M11 16� ýêñïåðò (3,74).
 äîâåðèòåëüíûé èíòåðâàë T11, ðàññ÷èòàííûé ñ èñïîëüçîâàíèåì ñîîòíîøå-
íèÿ (13) ñ ó÷åòîì R
T
1
11 0 5
( )
,� , âîøëè ýêñïåðòû ïîä íîìåðàìè 3 –7, 9 –16. Ïîêàçà-
òåëü óðîâíÿ ñîãëàñîâàííîñòè S
T11 0 81� , , êîòîðûé ïðåâûøàåò àïðèîðíî çàäàí-
íûé ïîðîã ñîãëàñîâàííîñòè S * ,� 0 8, óêàçûâàåò íà ñîãëàñîâàííîñòü ýêñïåðòíûõ
îöåíîê â äàííîì òóðå ýêñïåðòíîãî îöåíèâàíèÿ.
Òî÷å÷íàÿ îöåíêà ñ íàèáîëüøåé âîçìîæíîñòüþ ðåàëèçàöèè è ìàêñèìàëüíîé
ñòåïåíüþ óâåðåííîñòè â ïîñòàâëåííîé îöåíêå ïî ôîðìóëå (16) ñîîòâåòñòâóåò
óðîâíþ s Q( )11 5� .
Òàêèì îáðàçîì, áîëüøèíñòâî ýêñïåðòîâ ñîøëèñü âî ìíåíèè, ÷òî îïåðàòîðû
WiMAX / LTE áóäóò çàèíòåðåñîâàíû â ïðåäëàãàåìîì èííîâàöèîííîì îáîðóäî-
âàíèè òèïà òî÷êà-ìíîãîòî÷êà.
ÇÀÊËÞ×ÅÍÈÅ
Ïðåäëîæåííàÿ ñòðàòåãèÿ ôîðìèðîâàíèÿ ñîãëàñîâàííûõ ýêñïåðòíûõ îöåíîê ïðè
ðåàëèçàöèè ìåòîäà Äåëôè ñ èñïîëüçîâàíèåì èíòåðâàëüíûõ îöåíîê è èíòåð-
âàëüíîé ìåòðèêè îñóùåñòâëÿåòñÿ â èíòåðàêòèâíî-äèàëîãîâîì ðåæèìå ñîãëàñî-
âàíèÿ àíîíèìíûõ ýêñïåðòíûõ ìíåíèé. Äàííàÿ ïðîöåäóðà ïðîâîäèòñÿ â íå-
ñêîëüêî òóðîâ è ïðîäîëæàåòñÿ äî òåõ ïîð, ïîêà íå áóäåò äîñòèãíóò êîíñåíñóñ
â îòíîøåíèè ðåøàåìîé ïðîáëåìû.
Ïðåäñòàâëåíèå ìàòåìàòè÷åñêîãî àïïàðàòà â òåðìèíàõ èíòåðâàëüíûõ îöåíîê
è èíòåðâàëüíîé ìåòðèêè ñ ó÷åòîì êîìïåòåíòíîñòè ýêñïåðòîâ è èõ óâåðåííîñòè
â ïîñòàâëåííîé îöåíêå ïîçâîëÿåò ôîðìàëèçîâàòü ïðîöåññ ñîãëàñîâàíèÿ íà âûñî-
êîì óðîâíå îáîáùåííîñòè, ïðîâîäèòü ðåàëèçàöèþ ïðîöåäóðû ñîãëàñîâàíèÿ íà
ëþáîì ìåòðè÷åñêîì ïðîñòðàíñòâå è ðåøàòü çàäà÷è òåõíîëîãè÷åñêîãî
ïðåäâèäåíèÿ èç ðàçíûõ ïðåäìåòíûõ îáëàñòåé.
Îñíîâíûìè ïðåèìóùåñòâàìè è îñîáåííîñòÿìè èíòåðàêòèâíî-äèàëîãîâîãî
ïðîöåññà ôîðìèðîâàíèÿ ñîãëàñîâàííûõ ýêñïåðòíûõ ìíåíèé ïðè ðåàëèçàöèè
ìåòîäà Äåëôè ÿâëÿþòñÿ:
� âîçìîæíîñòü ó÷åòà íîâûõ èäåé ýêñïåðòîâ;
� àêöåíòèðîâàíèå âíèìàíèÿ íà äèàìåòðàëüíî ïðîòèâîïîëîæíûõ ìíåíèÿõ;
� îáåñïå÷åíèå ñîãëàñîâàíèÿ ïðîòèâîïîëîæíûõ ñóæäåíèé (ôîðìèðîâàíèå
ñîãëàñîâàííîãî ìíåíèÿ, êîòîðîå ïðåäñòàâëÿåò ëó÷øèé âàðèàíò, à íå âûáîð îäíîé
èç ïðîòèâîïîëîæíîñòåé);
� îáåñïå÷åíèå ñòèìóëà äëÿ êðåàòèâíîñòè.
Äàííàÿ ôîðìàëèçàöèÿ ñ èñïîëüçîâàíèåì ïðèåìîâ èñêóññòâåííîãî èíòåëëåê-
òà ÿâëÿåòñÿ îñíîâîé âû÷èñëèòåëüíîãî àëãîðèòìà è àâòîìàòèçèðîâàííîãî èíñòðó-
ìåíòàðèÿ [8], îáåñïå÷èâàþùåãî ïðîâåäåíèå ýêñïåðòíîãî îöåíèâàíèÿ â ðåæèìå
on-line â ñîñòàâå Èíôîðìàöèîííîé ïëàòôîðìû ñöåíàðíîãî àíàëèçà [10].
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2012, ¹ 5 93
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. Ç ã ó ð î â ñ ê è é Ì . Ç . , Ï à í ê ð à ò î â à Í . Ä . Òåõíîëîãè÷åñêîå ïðåäâèäåíèå. — Ê.:
Ïîëèòåõíèêà, 2005. — 165 ñ.
2. F o r e s i g h t methodologies. Training Module 2. — Vienna: UNIDO CEE / NIS, 2003. —
P. 100–120.
3. Ç ã ó ð î â ñ ê è é Ì . Ç . , Ï à í ê ð à ò î â à Í . Ä . Ñèñòåìíûé àíàëèç. Ïðîáëåìû, ìåòîäîëîãèÿ,
ïðèëîæåíèÿ. — 2-å èçä., ïåðåðàá. è äîï. — Ê.: Íàóê. äóìêà, 2011. — 728 ñ.
4. Ï à í ê ð à ò î â à Í . Ä . Ìàòåìàòè÷åñêîå îáåñïå÷åíèå çàäà÷ òåõíîëîãè÷åñêîãî ïðåäâèäåíèÿ
ïðèìåíèòåëüíî ê îòðàñëè ïðîìûøëåííîñòè // Ñèñòåì. äîñë³äæ. òà ³íôîðì. òåõíîëî㳿. — 2002.
— ¹ 1. — Ñ. 26–33.
5. M i l l e r G . A . The magical number seven plus or minus two: Some limits on our capacity for pro-
cessing information // Psycholog. Rev. — 1956. — 63. — P. 81–97.
6. Ê î ë ì î ã î ð î â À . Í . , Ô î ì è í Ñ . Â . Ýëåìåíòû òåîðèè ôóíêöèé è ôóíêöèîíàëüíîãî
àíàëèçà. — 4-å èçä. — Ì.: Íàóêà. 1976. — 544 ñ.
7. Â å í ò ö å ë ü Å . Ñ . Òåîðèÿ âåðîÿòíîñòåé. — 4-å èçä. — Ì.: Íàóêà, Ôèçìàòãèç, 1969. — 576 ñ.
8. Ì à ë à ô º º â à Ë . Þ . Ðîçðîáêà ñòðóêòóðîâàíî¿ áàçè çíàíü äëÿ ðîçâ’ÿçàííÿ çàäà÷
ç òåõíîëîã³÷íîãî ïåðåäáà÷åííÿ // Íàóê. â³ñò³ ÍÒÓÓ «Êϲ». — 2009. — ¹ 6. — Ñ. 61–68.
9. Ï à í ò å ë å å â À .  . , Ë å ò î â à Ò . À . Ìåòîäû îïòèìèçàöèè â ïðèìåðàõ è çàäà÷àõ: Ó÷åá.
ïîñîá. — 2-å èçä. — Ì.: Âûñø. øê., 2005. — 544 ñ.
10. Ç ã ó ð î â ñ ê è é Ì . Ç . , Ï à í ê ð à ò î â à Í . Ä . Èíôîðìàöèîííàÿ ïëàòôîðìà ñöåíàðíîãî
àíàëèçà çàäà÷ òåõíîëîãè÷åñêîãî ïðåäâèäåíèÿ // Êèáåðíåòèêà è ñèñòåìíûé àíàëèç. — 2003. —
¹ 4. — Ñ. 112–124.
Ïîñòóïèëà 29.03.2012
|