Робастное обучение радиально-базисных сетей
Розглянуто питання сталого навчання радіально-базисних мереж за наявності завад вимірювань, що мають розподіл, відмінний від нормального. Результати моделювання свідчать про те, що в цьому випадку достатньо ефективними є багатокрокові проекційні алгоритми навчання, які мінімізують різноманітні види...
Gespeichert in:
| Datum: | 2011 |
|---|---|
| Hauptverfasser: | , |
| Format: | Artikel |
| Sprache: | Russian |
| Veröffentlicht: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2011
|
| Schriftenreihe: | Кибернетика и системный анализ |
| Schlagworte: | |
| Online Zugang: | http://dspace.nbuv.gov.ua/handle/123456789/84249 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Робастное обучение радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. — 2011. — Т. 47, № 6. — С. 38-46. — Бібліогр.: 17 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-84249 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-842492015-07-05T03:01:58Z Робастное обучение радиально-базисных сетей Руденко, О.Г. Бессонов, А.А. Кибернетика Розглянуто питання сталого навчання радіально-базисних мереж за наявності завад вимірювань, що мають розподіл, відмінний від нормального. Результати моделювання свідчать про те, що в цьому випадку достатньо ефективними є багатокрокові проекційні алгоритми навчання, які мінімізують різноманітні види модульних критеріїв. The paper considers the steady training of radial-basis networks in the presence of non-normally distributed noise. The simulation results show that multistep projection training algorithms, which minimize various module criteria, are rather efficient in this case. Figs: 3. Tabl.: 1. Refs: 17 titles. 2011 Article Робастное обучение радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. — 2011. — Т. 47, № 6. — С. 38-46. — Бібліогр.: 17 назв. — рос. 0023-1274 http://dspace.nbuv.gov.ua/handle/123456789/84249 519.71 ru Кибернетика и системный анализ Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Кибернетика Кибернетика |
| spellingShingle |
Кибернетика Кибернетика Руденко, О.Г. Бессонов, А.А. Робастное обучение радиально-базисных сетей Кибернетика и системный анализ |
| description |
Розглянуто питання сталого навчання радіально-базисних мереж за наявності завад вимірювань, що мають розподіл, відмінний від нормального. Результати моделювання свідчать про те, що в цьому випадку достатньо ефективними є багатокрокові проекційні алгоритми навчання, які мінімізують різноманітні види модульних критеріїв. |
| format |
Article |
| author |
Руденко, О.Г. Бессонов, А.А. |
| author_facet |
Руденко, О.Г. Бессонов, А.А. |
| author_sort |
Руденко, О.Г. |
| title |
Робастное обучение радиально-базисных сетей |
| title_short |
Робастное обучение радиально-базисных сетей |
| title_full |
Робастное обучение радиально-базисных сетей |
| title_fullStr |
Робастное обучение радиально-базисных сетей |
| title_full_unstemmed |
Робастное обучение радиально-базисных сетей |
| title_sort |
робастное обучение радиально-базисных сетей |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2011 |
| topic_facet |
Кибернетика |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/84249 |
| citation_txt |
Робастное обучение радиально-базисных сетей / О.Г. Руденко, А.А. Бессонов // Кибернетика и системный анализ. — 2011. — Т. 47, № 6. — С. 38-46. — Бібліогр.: 17 назв. — рос. |
| series |
Кибернетика и системный анализ |
| work_keys_str_mv |
AT rudenkoog robastnoeobučenieradialʹnobazisnyhsetej AT bessonovaa robastnoeobučenieradialʹnobazisnyhsetej |
| first_indexed |
2025-07-06T11:11:46Z |
| last_indexed |
2025-07-06T11:11:46Z |
| _version_ |
1836895758838661120 |
| fulltext |
ÓÄÊ 519.71
Î.Ã. ÐÓÄÅÍÊÎ, À.À. ÁÅÑÑÎÍÎÂ
ÐÎÁÀÑÒÍÎÅ ÎÁÓ×ÅÍÈÅ ÐÀÄÈÀËÜÍÎ-ÁÀÇÈÑÍÛÕ ÑÅÒÅÉ
Êëþ÷åâûå ñëîâà: íåéðîííàÿ ñåòü, ðîáàñòíîå îáó÷åíèå, íåëèíåéíûé îáúåêò,
èäåíòèôèêàöèÿ, áàçèñíàÿ ôóíêöèÿ.
ÂÂÅÄÅÍÈÅ
Ðàäèàëüíî-áàçèñíûå ñåòè (ÐÁÑ) íàõîäÿò øèðîêîå ïðèìåíåíèå â çàäà÷àõ èäåí-
òèôèêàöèè, óïðàâëåíèÿ, ðàñïîçíàâàíèÿ îáðàçîâ è äð. [1–3]. Íàëè÷èå äîñòàòî÷-
íî ýôôåêòèâíûõ ðåêóððåíòíûõ àëãîðèòìîâ îáó÷åíèÿ äàííûõ ñåòåé ïîçâîëÿåò
ïðèìåíÿòü èõ äëÿ ðåøåíèÿ óêàçàííûõ çàäà÷ â ðåàëüíîì âðåìåíè [4–8]. Íà
ïðàêòèêå êàê îáó÷åíèå ñåòè, òàê è åå äàëüíåéøåå èñïîëüçîâàíèå ïðèõîäèòñÿ
îñóùåñòâëÿòü ñ ó÷åòîì ïðèñóòñòâóþùèõ ïîìåõ èçìåðåíèé.
Áîëüøèíñòâî ñóùåñòâóþùèõ â íàñòîÿùåå âðåìÿ ìåòîäîâ îáó÷åíèÿ îñíîâàíî
íà èñïîëüçîâàíèè æåñòêèõ è òðóäíîïðîâåðÿåìûõ óñëîâèé, ñâÿçàííûõ ñ ãèïîòå-
çîé íîðìàëüíîñòè çàêîíà ðàñïðåäåëåíèÿ ïîìåõ è îáîñíîâàííûõ ññûëêàìè íà
öåíòðàëüíóþ ïðåäåëüíóþ òåîðåìó. Êàê èçâåñòíî [9], íîðìàëüíûì çàêîíîì ïëîò-
íîñòè ðàñïðåäåëåíèÿ îïèñûâàþòñÿ ïîìåõè, ïðèñóòñòâóþùèå â èçìåðåíèÿõ, ïðî-
âîäèìûõ ïðè àáñîëþòíîé ñòàáèëüíîñòè óñëîâèé èçìåðåíèÿ, çàêîíîì Ëàïëàñà,
èìåþùåì áîëåå äëèííûå «õâîñòû» — ïîìåõè, âîçíèêàþùèå ïðè ìàêñèìàëüíîé
íåñòàáèëüíîñòè óñëîâèé. Ñîîòâåòñòâåííî àëãîðèòìû îáó÷åíèÿ â ñëó÷àå ãàóññîâ-
ñêèõ ïîìåõ îñíîâàíû íà ìåòîäå íàèìåíüøèõ êâàäðàòîâ (ÌÍÊ), à â ñëó÷àå ïîìåõ,
ðàñïðåäåëåííûõ ïî çàêîíó Ëàïëàñà, — íà ìåòîäå íàèìåíüøèõ ìîäóëåé (ÌÍÌ).
Îáà ìåòîäà ÿâëÿþòñÿ îïòèìàëüíûìè â ñâîèõ óñëîâèÿõ, è ðåøåíèÿ, ïîëó÷àåìûå ñ
èõ ïîìîùüþ, ìîãóò ñóùåñòâåííî îòëè÷àòüñÿ. Êðîìå òîãî, òàê êàê íà ïðàêòèêå
ýòè êðàéíèå ñëó÷àè ðåàëèçóþòñÿ ÷ðåçâû÷àéíî ðåäêî, íè çàêîí Ãàóññà, íè çàêîí
Ëàïëàñà, êàê ïðàâèëî, íå âûïîëíÿþòñÿ.
 [10, 11] ðàññìîòðåíû íåêîòîðûå òèïû êëàññîâ ðàñïðåäåëåíèé, âñòðå÷àþ-
ùèåñÿ ïðè ðåøåíèè ïðàêòè÷åñêèõ çàäà÷: Ð1 — êëàññ íåâûðîæäåííûõ ðàñïðåäå-
ëåíèé, Ð2 — êëàññ ðàñïðåäåëåíèé ñ îãðàíè÷åííîé äèñïåðñèåé, Ð5 — êëàññ ôè-
íèòíûõ ðàñïðåäåëåíèé (ïîìåõà îãðàíè÷åíà ïî àáñîëþòíîé âåëè÷èíå, à êà-
êèå-ëèáî ñâåäåíèÿ î ïëîòíîñòè åå ðàñïðåäåëåíèÿ îòñóòñòâóþò), Ð3 , Ð4 è Ð6 —
êëàññû ïðèáëèæåííî íîðìàëüíûõ, ïðèáëèæåííî ðàâíîìåðíûõ è ïðèáëèæåííî
ôèíèòíûõ ðàñïðåäåëåíèé ñîîòâåòñòâåííî, îïèñûâàåìûõ ìîäåëüþ Òüþêè–Õüþ-
áåðà [12–14]
p x p x q x( ) ( ) ( ) ( )� � �1 0� � , (1)
ãäå p x0 ( ) — ïëîòíîñòü ñîîòâåòñòâóþùåãî îñíîâíîãî ðàñïðåäåëåíèÿ; q x( ) —
ïëîòíîñòü çàñîðÿþùåãî (ïðîèçâîëüíîãî) ðàñïðåäåëåíèÿ; � �[ , ]0 1 — ïàðàìåòð,
õàðàêòåðèçóþùèé ñòåïåíü çàñîðåíèÿ îñíîâíîãî ðàñïðåäåëåíèÿ.
Äëÿ âñåõ ýòèõ êëàññîâ íàéäåíû íàèìåíåå áëàãîïðèÿòíûå, ò.å. ìèíèìèçèðóþ-
ùèå ôèøåðîâñêóþ èíôîðìàöèþ, ðàñïðåäåëåíèÿ. Òàê, ìèíèìóì ôèøåðîâñêîé
èíôîðìàöèè äëÿ êëàññà P1 äàåò ðàñïðåäåëåíèå Ëàïëàñà p L s*( ) ( , )� �� 0 , äëÿ
êëàññà P2 — ðàñïðåäåëåíèå Ãàóññà p N*( ) ( , )� �� 0 2 , äëÿ êëàññîâ ôèíèòíûõ
38 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6
� Î.Ã. Ðóäåíêî, À.À. Áåññîíîâ, 2011
ðàñïðåäåëåíèé íàèìåíåå áëàãîïðèÿòíîé ïëîòíîñòüþ ÿâëÿåòñÿ
p l l
l
l
*( )
| | ,
| | .
�
��
�
�
�
�
�
�
��
1
2
0
2cos ïðè
ïðè
Äëÿ �-çàñîðåííûõ âåðîÿòíîñòíûõ ðàñïðåäåëåíèé (1) ïëîòíîñòü ðàñïðåäåëå-
íèÿ p*, äàþùåãî ìèíèìóì ôèøåðîâñêîé èíôîðìàöèè, ñîäåðæèò íåêîòîðóþ öåí-
òðàëüíóþ îáëàñòü p p� �( ) ( )1 0� � è «õâîñòû» ñ ýêñïîíåíöèàëüíî óáûâàþùåé
ïëîòíîñòüþ p ce x
0 ( ) | |� �� � .
Èñïîëüçîâàíèå ýòèõ ðàñïðåäåëåíèé ïîçâîëèëî ïîëó÷èòü íåëèíåéíûå îöåíêè
îãðóáëåííîãî èëè ðîáàñòíîãî ìåòîäà ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ, ðàáîòîñïî-
ñîáíûå ïðàêòè÷åñêè äëÿ ëþáûõ ðàñïðåäåëåíèé ïîìåõ.
Ðåêóððåíòíûå îäíîìåðíûå àëãîðèòìû îöåíèâàíèÿ, áàçèðóþùèåñÿ íà ìåòîäå
ñòîõàñòè÷åñêîé àïïðîêñèìàöèè è òðåáóþùèå ìèíèìàëüíûõ âû÷èñëèòåëüíûõ çà-
òðàò, îáåñïå÷èâàÿ ïðè ýòîì òó æå àñèìïòîòè÷åñêóþ òî÷íîñòü îöåíèâàíèÿ, ÷òî è
íåðåêóððåíòíûå, ïðèâåäåíû â [10]. Â ðàáîòå [11] ðàçðàáîòàíû ìíîãîìåðíûå àá-
ñîëþòíî îïòèìàëüíûå àëãîðèòìû îöåíèâàíèÿ ïàðàìåòðîâ ëèíåéíîé ðåãðåññèîí-
íîé ìîäåëè, èìåþùèå ñòðóêòóðó, àíàëîãè÷íóþ ñòðóêòóðå ðåêóððåíòíîãî ÌÍÊ, è
ðàáîòîñïîñîáíûå ïîñëå êîëè÷åñòâà òàêòîâ, ïðåâûøàþùåãî ÷èñëî íåèçâåñòíûõ
ïàðàìåòðîâ.
Öåëü íàñòîÿùåé ñòàòüè — èññëåäîâàíèå ðîáàñòíûõ ïðîåêöèîííûõ àëãîðèò-
ìîâ, ñ ïîìîùüþ êîòîðûõ îáó÷åíèå ìîæíî îñóùåñòâëÿòü, íà÷èíàÿ ñ ïåðâîãî
òàêòà ïîñòóïëåíèÿ èíôîðìàöèè.
ÏÎÑÒÀÍÎÂÊÀ ÇÀÄÀ×È
Ðàññìîòðèì íåëèíåéíûé îáúåêò, îïèñûâàåìûé óðàâíåíèåì
y k f k k( ) ( , ( )) ( )* *� �w x � , (2)
ãäå f *( )
— íåèçâåñòíàÿ íåëèíåéíàÿ ôóíêöèÿ; x k x k x k x kN
T( ) ( ( ), ( ), , ( ))� 1 2 � —
âåêòîð íåçàâèñèìûõ ïåðåìåííûõ; w
* * * *( , , , )� w w wN
T
1 2 � — âåêòîð íåèçâåñòíûõ
ïàðàìåòðîâ; �( )k — ïîìåõà.
Ïðåäñòàâëåíèå íåëèíåéíîñòè f *( )
ðàäèàëüíî-áàçèñíîé ñåòüþ
f k kT( ( )) ( )x c� � , (3)
ãäå �( ) ( , ( ), ( ), , ( ))k k k kN� 1 1 2� � �� — âåêòîð âûáðàííûõ áàçèñíûõ ôóíê-
öèé (ÁÔ); c � ( , , , )c c cN
T
0 1 � — âåêòîð âåñîâûõ êîýôôèöèåíòîâ, ïîçâîëÿåò
ñâåñòè çàäà÷ó èäåíòèôèêàöèè ê çàäà÷å îáó÷åíèÿ ñåòè, êîòîðîå äîëæíî îáåñïå-
÷èòü îïðåäåëåíèå åå ïàðàìåòðîâ, â ÷àñòíîñòè âåêòîðà c.
Ïðè èñïîëüçîâàíèè ãàóññîâñêèõ ôóíêöèé
�i
i
i
( ) exp
| | | |
x
x
� �
�
�
��
�
�
�
��
�
�
2
2
, (4)
â êà÷åñòâå áàçèñíûõ, ãäå � i , � i — öåíòðû è ðàäèóñû ÁÔ ñîîòâåòñòâåííî;
| | | |
— åâêëèäîâà íîðìà, â ðåçóëüòàòå îáó÷åíèÿ ïîìèìî îöåíîê êîýôôèöèåí-
òîâ ci äîëæíû áûòü ïîëó÷åíû è îöåíêè � i è � i .
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6 39
Ââåäÿ âåêòîð îöåíîê íàñòðàèâàåìûõ ïàðàìåòðîâ
w � ( , , , , , , , )c c cT
N N
T
N
T
0 1 1 1� � � �� , (5)
íåéðîñåòåâóþ ìîäåëü (3) ìîæíî ïðåäñòàâèòü â âèäå
� ( ) ( , ( ))y k f k� w x . (6)
Çàäà÷à îáó÷åíèÿ ñåòè çàêëþ÷àåòñÿ â ìèíèìèçàöèè íåêîòîðîé âûïóêëîé
ôóíêöèè ïîòåðü F e[ ] , ãäå e k y k y k( ) ( ) � ( )� � .
Ðîáàñòíûå îöåíêè îïðåäåëÿþòñÿ èç óñëîâèÿ
w w( ) min ( )k I k� arg , I F e kk
i
k
( ) [ ( , ( ))]w w x�
�
�
1
, F e p
e
( ) ln ( )� �
�
�
�
(7)
è ÿâëÿþòñÿ îïòèìàëüíûìè â ìèíèìàêñíîì ñìûñëå íà ñîîòâåòñòâóþùèõ êëàñ-
ñàõ ðàñïðåäåëåíèé.
Îïòèìàëüíàÿ ôóíêöèÿ ïîòåðü, ò.å. ôóíêöèÿ, ìèíèìèçèðóþùàÿ àñèìïòîòè-
÷åñêóþ ìàòðèöó êîâàðèàöèè îøèáîê îöåíèâàíèÿ, ðàâíà ëîãàðèôìó ïëîòíîñòè
ðàñïðåäåëåíèÿ ïîìåõè ïðè � � e( , )x w , âçÿòîé ñ îáðàòíûì çíàêîì,
F e p e0 0[ ( , )] ln ( )| ( , )x w x w� � �� � ,
ò.å. ëîãàðèôìè÷åñêîé ôóíêöèè íåïðàâäîïîäîáèÿ.
Òàêèì îáðàçîì, îïòèìàëüíîé ôóíêöèåé ïîòåðü äëÿ êëàññà Ð1 áóäåò ìîäóëü-
íàÿ, äëÿ êëàññà Ð2 — êâàäðàòè÷íàÿ, äëÿ êëàññà Ð5 â âèäå
F e
e
c
0 [ ( , )] lnx w � � �
�
�
�
�
�cos
�
.
Èì ñîîòâåòñòâóþò êðèâûå 3, 1 è 2 íà ðèñ. 1.
Äëÿ �-çàñîðåííûõ âåðîÿòíîñòíûõ ðàñïðåäåëåíèé ôóíêöèÿ F0 ÿâëÿåòñÿ íåëè-
íåéíîé íà íåêîòîðîì èíòåðâàëå, îïðåäåëÿåìîì ïàðàìåòðàìè ïîìåõ, è ëèíåéíîé
âíå ýòîãî èíòåðâàëà.
 ñèëó òîãî, ÷òî ìîäóëüíûé êðèòåðèé ïîçâîëÿåò ïîëó÷èòü îöåíêó, ìåíåå
÷óâñòâèòåëüíóþ ê «õâîñòàì» ðàñïðåäåëåíèÿ ïîìåõè, ÷åì ÌÍÊ-îöåíêà, ïðåä-
ñòàâëÿþò èíòåðåñ òàêèå ðàçíîâèäíîñòè ìîäóëüíîãî êðèòåðèÿ, êàê ôóíêöèîíàë
40 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6
Ðèñ. 1
F
9
8
7
6
5
4
3
2
1
1 2 30–1–2–3
0
2
3
1
4
5
e
À. Ôîðñàéòà, ïðåäñòàâëåííûé íà ðèñ. 2,
F e k e k[ ( )] | ( )|� �, (8)
è ôóíêöèîíàë âèäà
F e k e k[ ( )] | ( )|� arctg �, (9)
ãäå 0 2� �� (ðèñ. 3).
Êðèâûå, ñîîòâåòñòâóþùèå ôóíêöèîíàëàì (8) è (9) ïðè � �1 , îáîçíà÷åíû íà
ðèñ. 1 öèôðàìè 3 è 5; êðèâàÿ 4, ñîîòâåòñòâóþùàÿ ôóíêöèîíàëó Ä. Ýíäðþñà
F e k
e
c
e c
e c
[ ( )]
, | | ,
, | | ,
�
� �
�
�
�
�
� �
�
�
��
1
0
cos �
�
çàíèìàåò íåêîòîðîå ïðîìåæóòî÷íîå ïîëîæåíèå ìåæäó êðèâûìè 3 è 5.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6 41
Ðèñ. 2
F
8
7
6
5
4
3
2
1
0
1 9,
1 5,
1 0,
0 5,
� � 0 1,
1 2 30–1–2–3
e
Ðèñ. 3
1,5
1
0,5
0
1 2 30–1–2–3
1 9,
1 5,
1 0,
0 5,
� � 0 1,
e
F
ÎÏÒÈÌÀËÜÍÛÅ ÀËÃÎÐÈÒÌÛ ÎÁÓ×ÅÍÈß
Åñëè ïëîòíîñòü ðàñïðåäåëåíèÿ ïîìåõ p0 ( )� ïîëíîñòüþ íåèçâåñòíà, à èçâåñòíî
ëèøü, ÷òî îíà ïðèíàäëåæèò íåêîòîðîìó êëàññó pk , òî äëÿ íàèìåíåå áëàãîïðè-
ÿòíîé íà ýòîì êëàññå ïëîòíîñòè ðàñïðåäåëåíèÿ p*( )� ìîæíî ïîëó÷èòü ñîîò-
âåòñòâóþùèé îïòèìàëüíûé àëãîðèòì. Åñëè p p0 ( ) ( )*� �� , ýòîò àëãîðèòì áóäåò
àáñîëþòíî îïòèìàëüíûì äëÿ êëàññà pk .
Îïòèìàëüíûå àëãîðèòìû îáó÷åíèÿ ñåòè ïðåäñòàâëÿþò ñîáîé ãðàäèåíòíûå
ïðîöåäóðû âèäà
w w( ) ( ) ( ) [ ( )]k k H k F e k� � � �1 0 , (10)
ãäå H k( ) — ìàòðèöà óñèëåíèÿ.
Ó÷èòûâàÿ (4) è òî, ÷òî � � � �F e k F e k f k0 [ ( )] [ ( )] ( ), ãäå
� � ��f k k k c k T( ) [ , ( ( )), ( ( )) ( ( ) ) , ( (1 2 21 1 1 1
2
1 1� � �x x x x� � k c k)) | | ( ) | | ,1 1
3
1
2� �� �x �
� , ( ( )), ( ( )) ( ( ) ) , ( ( ))� � �N N N N N
T
N N N
k k c k k cx x x x2 22� � �� � � �3 2| | ( ) | | ] ,x k N
T�
ìîæíî çàïèñàòü îïòèìàëüíûå àëãîðèòìû îáó÷åíèÿ ñëåäóþùèì îáðàçîì:
w w( ) ( )
( ) ( )
( ) ( ) ( )
[ ( )]k k
P k f k
f k P k f k
F e k
T
� � �
� �
�� � �
�1
1
1
,
(11)
P k P k
P k f k f k P k
f k P k
T
T
( ) ( )
( ) ( ) ( ) ( )
( ) ( )
� � �
� � � �
�� � �
1
1 1
1 f k( )
. (12)
Çäåñü
� �
�
�F e k
e k p N
e k p[ ( )]
( ) ( ) ( , ) ,
( ( )) ( )
äëÿ
sign äëÿ
0
2
0
0� �
�
�
L s
e k
s e k
p C s
( , ),
( )
( )
( ) ( , );
0
2
0
2 2 0
�
�
��
�
�
�
�
�
�
�
�
�
äëÿ
( )
( )
( )
13
14
15
� �
�
�
�
� �
�
�
�
�
1 0
0
0
2
0
2
0
äëÿ
äëÿ
äëÿ
p N
s p L s
s p
( ) ( , ) ,
( ) ( , ),
( ) ( , ).�
��
�
�
� C s0 �
( )
( )
( )
16
17
18
Êàê ñëåäóåò èç ïðèâåäåííûõ ñîîòíîøåíèé, åñëè àëãîðèòì ÌÍÊ (11)–(13),
(16) èíâàðèàíòåí ê ïàðàìåòðó ìàñøòàáà íîðìàëüíîãî ðàñïðåäåëåíèÿ �
�
2 , òî îöåí-
êè ÌÍÌ (11), (12), (14), (17) è îöåíêà, ñîîòâåòñòâóþùàÿ ðàñïðåäåëåíèþ Êîøè,
çàâèñÿò îò ïàðàìåòðà s� . Ïðè íåèçâåñòíîé âåëè÷èíå s� â ýòèõ àëãîðèòìàõ ñëåäóåò
èñïîëüçîâàòü îöåíêó �s, ïîëó÷àåìóþ, íàïðèìåð, ñ ïîìîùüþ àëãîðèòìà
ñòîõàñòè÷åñêîé àïïðîêñèìàöèè.
Äëÿ �-çàñîðåííûõ âåðîÿòíîñòíûõ ðàñïðåäåëåíèé îïòèìàëüíûå àëãîðèòìû
îáó÷åíèÿ ïðåäñòàâëÿþò ñîáîé êîìáèíèðîâàííûå ïðîöåäóðû âèäà
w w( ) ( )
( ) [ ( )] ( )| | ( ) | ,
( )
k k
H k F e k f k e k
H k
� � �
� � � �
�
1 1
2
ïðè �
� �
� f k e k e k( ) ( )| | ( ) |sign ïðè ��
(19)
ãäå H k1 ( ), H k2 ( ) — ìàòðèöû óñèëåíèÿ.
42 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6
ÏÐÎÅÊÖÈÎÍÍÛÅ ÀËÃÎÐÈÒÌÛ ÎÁÓ×ÅÍÈß
Ðàññìîòðåííûå âûøå àëãîðèòìû îáó÷åíèÿ áóäóò ðàáîòîñïîñîáíûìè ïîñëå
k N� �1 òàêòîâ. Åñëè k N� �1 , îáó÷åíèå ñåòè ìîæåò îñóùåñòâëÿòüñÿ ñ ïî-
ìîùüþ ïðîåêöèîííûõ àëãîðèòìîâ [15]. Ñëåäóåò òàêæå îòìåòèòü, ÷òî ïðèìåíå-
íèå ýòèõ àëãîðèòìîâ öåëåñîîáðàçíî è â ñëó÷àå, êîãäà èññëåäóåìûé îáúåêò ÿâ-
ëÿåòñÿ íåñòàöèîíàðíûì è åãî ïàðàìåòðû èçìåíÿþòñÿ ñ òå÷åíèåì âðåìåíè.
l-øàãîâûé ïðîåêöèîííûé àëãîðèòì îáó÷åíèÿ èìååò âèä
w w( ) ( ) ( ) ( )[ ( ) ( )] [ ( )]k k k f k f k f k F e kl l
T
l l� � � � � � ��1 1 , (20)
ãäå � � �F e k F e kl
T[ ( )] ( [ ( )], , , , )0 0 0� ; � � � � � � � �f k f k f k f k ll ( ) ( ( ), ( ), , ( )) —1 1�
ìàòðèöû ( )N l� �1 ; ( )k — ïàðàìåòð, óäîâëåòâîðÿþùèé óñëîâèÿì Äâîðåöêîãî.
Áîëåå óäîáíàÿ â âû÷èñëèòåëüíîì îòíîøåíèè ïðîöåäóðà, èñïîëüçóþùàÿ ðå-
êóððåíòíîå âû÷èñëåíèå ìàòðèöû [ ( ) ( )]� � �f k f k
l
T
l
1 âìåñòî åå íåïîñðåäñòâåííîãî
îáðàùåíèÿ, ìîæåò áûòü ïîëó÷åíà ñ ó÷åòîì ïðàâèë ôîðìèðîâàíèÿ ìàòðèö
� � � � � � ��f k f k f k ll l( ) ( ( ) ( ))1 11 � , � � � � ��f k f k f kl l( ) ( ( ) ( ))� 1 1 .
 ýòîì ñëó÷àå ìîæíî çàïèñàòü
w w( ) ( ) ( )
( )
( ) ( ) ( )
[k k k
R k
f k R k f k
F el
T
l
l� � �
�
� � �
��
�
1
1
1
1
1
( )]k ,
(21)
ãäå
R k I f k f k f k fl l l
T
l l� � � �
�
�� � �� � � � � �1 1 1 1
11 1 1 1( ) ( )[ ( ) ( )]
1
1T k( )� �
� � � ��
�
�I f k f k
l l
T
1 1
1 1( ) ( ) .
Çäåñü � ��
�f k
l 1
1( ) — ìàòðèöà, ïñåâäîîáðàòíàÿ ê � ��f kl 1 1( ).
Ìàòðèöà R kl ( ) òàêæå âû÷èñëÿåòñÿ ðåêóððåíòíî. Åñëè ïîëó÷åíèå ñîîòíîøå-
íèé äëÿ åå âû÷èñëåíèÿ ïðè ïîñòóïëåíèè íîâîé èíôîðìàöèè äîñòàòî÷íî òðè-
âèàëüíî, òî äëÿ ðåàëèçàöèè ïðîöåäóðû ñáðîñà ñëåäóåò âîñïîëüçîâàòüñÿ òåîðåìîé
Ãðåâèëÿ è ñëåäóþùèìè ñîîòíîøåíèÿìè ìåæäó ìàòðèöàìè � �
�f k
l 1
( ) è � �f k
l
( ) [16]:
( ( ) ) ( )( ( ))� � � ��
�
�f k f k I K k
l l
T
�0
1
g .
Çäåñü äëÿ ðàññìàòðèâàåìîãî ñëó÷àÿ l N�
K k
I f k f k
I f k f k
l l
T
l l
( )
( ( ) ( ))
( ( ) ( ))
�
�� �
�� �
� �
�
� �
�
1 1
1 1
g
g g
,
g � ( , , , )0 0 1�
T — âåêòîð l�1.
Ïðîâîäÿ íåñëîæíûå âû÷èñëåíèÿ, ïîëó÷èì, ÷òî ïðè ïîñòóïëåíèè íîâîé èí-
ôîðìàöèè íà k-ì òàêòå ìàòðèöà R kl ( ) ïåðåñ÷èòûâàåòñÿ ïî ôîðìóëå
R k R k
R k f k f k R k
f k
l l
l
T
l
T
( ) ( )
( ) ( ) ( ) ( )
(
� � �
� � � �
�
�
� �
1
1 11
1 1
) ( ) ( )R k f kl� � �1 1
, (22)
à ïðè ñáðîñå óñòàðåâøåé èíôîðìàöèè î ( )k l� �1 -ì òàêòå — ïî ôîðìóëå
R k R k
f k l f k
f k l
l l
T
( ) ( )
� ( ) � ( )
| | � ( )| |
� � � �
� � � �
� � �
�1 1
1
1
1 2
, (23)
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6 43
ãäå
� � � � � � � ��
� ( ) ( ) ( )f k l U k f k ll1 1 11 , R I0 � ,
U k f k f kl l
T
l� � �
�� � � � � �1 1 11 1 1( ) ( ( ) ( )) .
Âõîäÿùàÿ â (22), (23) ìàòðèöà U kl ( ), â ñâîþ î÷åðåäü, ïðè ïîñòóïëåíèè íî-
âîé èíôîðìàöèè è ñáðîñå óñòàðåâøåé âû÷èñëÿåòñÿ ñîîòâåòñòâåííî ïî ñëåäóþ-
ùèì ôîðìóëàì:
U k U k
U k R k f k f k U k
f k
l l
l l
T
l
T� � � �
� � �
�
1 1( ) ( )
( ( ) ( )) ( ) ( ) ( )
( � � �
�
1 1) ( ) ( )U k f kl
�
� � � �
� � � �
�
R k f k f k R k
f k U k f k
l
T
l
T
l
( ) ( ) ( ) ( )
( ) ( ) ( )
1 1
1 1
�
� � � � � � �R k f k f k U k f k f k R k
R k
l
T
l
T
l
l
( ) ( ) ( ) ( ) ( ) ( ) ( )
| | (
1 1 1
) ( )| |� �f k 1 2
; (24)
U k U kl l( ) ( )� � � ��1 11
�
� � � � � � � �� � � ��U k f k l f k l f k l f k Ul
T
l1 1 1 1 1( ) � ( ) � ( ) � ( ) � ( ) � �
� � �
�1
2
1
1
( )
| | � ( )| |
k
f k l
�
� � � � � � �
� � �
��
� ( ) ( ) � ( )
| | � ( )| |
� (
f k l U k f k l
f k l
f kl1 1 1
1
1
4
� � � � �l f k lT1 1) � ( ) .
(25)
Òàêèì îáðàçîì, ïðîöåäóðû (21), (22), (24) ñîîòâåòñòâóþò íàêîïëåíèþ,
à (21), (23), (25) — ñáðîñó óñòàðåâøåé èíôîðìàöèè.
ÌÎÄÅËÈÐÎÂÀÍÈÅ
Ðàññìîòðåíà çàäà÷à èäåíòèôèêàöèè íåëèíåéíîãî äèíàìè÷åñêîãî îáúåêòà ïðè
íàëè÷èè ðàçëè÷íûõ ïîìåõ â âûõîäíûõ ñèãíàëàõ. Îáúåêò îïèñûâàëñÿ óðàâíå-
íèåì
y k
u k y k
u k y k
( ) , sin
( ) ( )
( ) ( )
�
� � �
� � � �
�
�
0 725
16 1 8 1
3 4 1 4 12 2
�
�
�
�
�
�
� � � � �0 2 1 0 2 1, ( ) , ( ) ,u k y k � (26)
ãäå u k( ) — âõîäíîé ñèãíàë, ïðåäñòàâëÿþùèé ñòàöèîíàðíóþ ñëó÷àéíóþ ïîñëå-
äîâàòåëüíîñòü ñ ðàâíîìåðíûì çàêîíîì ðàñïðåäåëåíèÿ â èíòåðâàëå [ , ]�1 1 , ãåíå-
ðèðóåìóþ äàò÷èêîì ñëó÷àéíûõ ÷èñåë; � — ïîìåõà èçìåðåíèé ñ ïëîòíîñòüþ
âåðîÿòíîñòè (1).
Ïðè èññëåäîâàíèè èñïîëüçîâàíî 10 000 îáó÷àþùèõ ïàð. Êîëè÷åñòâî íåéðî-
íîâ äëÿ ñåòåé âî âñåõ ýêñïåðèìåíòàõ áûëî âçÿòî ðàâíûì 15. Îáùåå êîëè÷åñòâî
íåèçâåñòíûõ ïàðàìåòðîâ N , îïðåäåëÿåìûõ â ïðîöåññå îáó÷åíèÿ ñåòåé, ðàâíî 61.
Íåêîòîðûå ðåçóëüòàòû ñðàâíèòåëüíîãî àíàëèçà ðåêóððåíòíûõ àëãîðèòìîâ ÌÍÊ,
ÌÍÌ, êîìáèíèðîâàííûõ àëãîðèòìîâ, ïîñòðîåííûõ íà èõ îñíîâå, è äâàäöàòè-
øàãîâîãî ïðîåêöèîííîãî àëãîðèòìà ( )l � 20 ïðè èñïîëüçîâàíèè ðàçëè÷íûõ
ôóíêöèîíàëîâ ïðèâåäåíû â òàáë. 1. Çäåñü ïðåäñòàâëåíû çíà÷åíèÿ ñðåäíåêâàäðà-
44 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6
òè÷íîé îøèáêè, âû÷èñëåííîé ïî ôîðìóëå
�
�
�
� ( ( ) � ( ))*y i y i
i
2
1
2500
2500
,
(27)
ãäå y* — ýòàëîííîå çíà÷åíèå âûõîäíîãî ñèãíàëà â ñëó÷àå îòñóòñòâèÿ ïîìåõ
èçìåðåíèé; �y — ðåàëüíûé âûõîäíîé ñèãíàë ñåòåé.
 ïîñëåäíèõ äâóõ ñòðîêàõ òàáëèöû ïðèâåäåíû ðåçóëüòàòû ìîäåëèðîâàíèÿ
ðàáîòû àëãîðèòìîâ — êîìáèíàöèè ÌÍÊ è ÌÍÌ, ïðè÷åì â ïåðâîì àëãîðèòìå
èñïîëüçîâàëñÿ ÌÍÊ, êîãäà îøèáêà îáó÷åíèÿ íå ïðåâûøàëà íåêîòîðîãî çàðàíåå
çàäàííîãî çíà÷åíèÿ eäîï (òàê êàê âûõîäíîé ñèãíàë îáúåêòà èçìåíÿåòñÿ îò �1äî 1,
â ýêñïåðèìåíòå áûëî ïðèíÿòî eäîï �1 2, ), è ÌÍÌ — ïðè íàðóøåíèè ýòîãî óñëî-
âèÿ. Âî âòîðîì àëãîðèòìå èñïîëüçîâàíû äâå ñåòè, îáó÷åííûå ñ ïîìîùüþ ðàçëè÷-
íûõ àëãîðèòìîâ, à äëÿ ïîëó÷åíèÿ çíà÷åíèÿ âûõîäíîãî ñèãíàëà ñåòè îñóùåñòâëÿ-
ëîñü âçâåøåííîå ñóììèðîâàíèå ñèãíàëîâ îáåèõ ñåòåé ñ êîýôôèöèåíòîì, çàâè-
ñÿùèì îò ñòåïåíè çàñîðåíèÿ �.
ÇÀÊËÞ×ÅÍÈÅ
 îñíîâå ðîáàñòíûõ ìåòîäîâ îáó÷åíèÿ ëåæàò òå èëè èíûå êðèòåðèè, ïîçâîëÿ-
þùèå «ïîäàâëÿòü» íåæåëàòåëüíûå ñâîéñòâà âûáîðîê äàííûõ, èñïîëüçóåìûõ
â àëãîðèòìàõ. Åñòåñòâåííîé ïëàòîé çà íàäåæíîñòü ïîëó÷àåìûõ îöåíîê ÿâëÿåò-
ñÿ íåêîòîðàÿ ïîòåðÿ ýôôåêòèâíîñòè ïî ñðàâíåíèþ ñ îïòèìàëüíûìè ìåòîäàìè
îáó÷åíèÿ ïðè èçâåñòíûõ ñòàòèñòè÷åñêèõ õàðàêòåðèñòèêàõ îáðàáàòûâàåìûõ
äàííûõ. Îäíàêî åñëè èíôîðìàöèÿ î âèäå ïëîòíîñòåé ðàñïðåäåëåíèÿ îòñóòñòâó-
åò, òî ðîáàñòíûå ìåòîäû èìåþò íåñîìíåííîå ïðåèìóùåñòâî, à ãîâîðèòü îá èõ
îïòèìàëüíîñòè èëè íåîïòèìàëüíîñòè íåò íèêàêèõ îñíîâàíèé [17].
Òàêèì îáðàçîì, ïðè íàëè÷èè èíôîðìàöèè î âèäå ïëîòíîñòè ðàñïðåäåëåíèÿ
ïîìåõ âûáîð àëãîðèòìà îáó÷åíèÿ ìîæíî îñóùåñòâèòü äîñòàòî÷íî ïðîñòî. Åñëè
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6 45
Îñíîâíîå
ðàñïðåäåëåíèå
Ëàïëàñà
(M � 0,
s� � 8)
Íîðìàëüíîå
(M � 0,
� � 0 4, )
Ðàâíîìåðíîå
(M � 0,
� � 0 8, )
Ëàïëàñà
(M � 0,
s� � 8)
Íîðìàëüíîå
(M � 0,
� � 0 4, )
Áåç
ïîìåõè
Çàñîðÿþùåå
ðàñïðåäåëåíèå
– – –
Íîðìàëüíîå
(M � 0,
� � 2)
Íîðìàëüíîå
(M � 0,
� � 2)
–
� 0 0 0 0,05 0,1 0,05 0,1 –
ÌÍÊ 2,1020 3,0170 3,6120 6,9518 8,0786 6,6651 8,3679 0,6403
ÌÍÌ 1,8929 3,4673 3,1307 2,3542 3,0718 4,3433 6,2069 1,1007
Ïðîåê-
öèîí-
íûé
àëãî-
ðèòì
|| ( )| |e k 2 1,9735 2,8915 2,1381 4,6996 5,5332 5,6818 5,7541 0,6867
| ( )|e k 1,7208 2,1284 2,7486 1,7290 2,9641 3,4821 4,6333 1,0394
arctg | ( )|e k 1,8083 2,6765 2,7507 1,7075 2,1231 3,5512 4,1693 0,9796
� ln cos( ( ))e k 1,8541 1,9581 1,8949 1,9299 5,1369 4,5750 5,3119 0,8727
1 �
�
�
�
�
�
�cos
( )e k
c
1,7109
c � 0 5,
2,6738
c � 0 5,
2,7633
c � 0 5,
1,9723
c � 0 5,
4,0251
c � 1 5,
2,9376
c � 0 5,
4,2039
c � 1 5,
0,7165
c � 0 5,
ÌÍÊ�ÌÍÌ
(eäîï � 1 2, )
1,6343 2,9408 2,5359 2,9170 3,6414 5,2157 6,4183 –
Äâå ñåòè:
( , ) *� �4 0 6� ÌÍÊ +
( , ) *4 0 4� � ÌÍÌ
– – – 3,7110 4,3165 5,9186 6,2804 –
Ò à á ë è ö à 1
òàêîé èíôîðìàöèè íåò, òî â êà÷åñòâå ôóíêöèè ïîòåðü öåëåñîîáðàçíî ïðèìåíèòü
êàêóþ-ëèáî èç ðàññìîòðåííûõ ðàçíîâèäíîñòåé ìîäóëüíûõ êðèòåðèåâ, à â êà÷åñ-
òâå àëãîðèòìà îáó÷åíèÿ — ìíîãîøàãîâûå ïðîåêöèîííûå ïðîöåäóðû. Ïðè ýòîì,
îäíàêî, îñòàåòñÿ îòêðûòûì âîïðîñ î âûáîðå îïòèìàëüíîãî îáúåìà l èñïîëüçóå-
ìîé â ýòèõ àëãîðèòìàõ èíôîðìàöèè. Êðîìå òîãî, ïðåäñòàâëÿåò èíòåðåñ äàëüíåé-
øåå èññëåäîâàíèå êîìáèíèðîâàííûõ àëãîðèòìîâ îáó÷åíèÿ, êîòîðûå ïîëó÷àþò
â ðåçóëüòàòå ìèíèìèçàöèè ðàçëè÷íûõ ôóíêöèîíàëîâ.
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. M o o d y J . , D a r k e n C . Fast learning in networks of locally-tuned processing units // Neural
Computation. — 1989. — 1. — P. 281–294.
2. Õ à é ê è í Ñ . Íåéðîííûå ñåòè: ïîëíûé êóðñ. — Ì.: Èçä. äîì «Âèëüÿìñ», 2006. — 1104 ñ.
3. Á î ä ÿ í ñ ê è é Å . Â . , Ð ó ä å í ê î Î . Ã . Èñêóññòâåííûå íåéðîííûå ñåòè: àðõèòåêòóðû,
îáó÷åíèå, ïðèìåíåíèÿ. — Õàðüêîâ: ÒÅËÅÒÅÕ, 2004. — 372 ñ.
4. S p o o n e r J . T . , P a s s i n o K . M . Decentralized adaptive control of nonlinear systems using ra-
dial basis neural networks // IEEE Trans. Automat. Control. — 1999. — 44, N 11. — P. 2050–2057.
5. Y u D . L . , Y u D . W . A new structure adaptation algorithm for RBF networks and its application
// Neural Comput.&Application. — 2007. — 16. — P. 91–100.
6. S h i l l i n g R . J . , C a r r o l l J . J . , A l - A j l o u n i A . F . Approximation of nonlinear systems
with radial basis function neural networks // IEEE Trans. Neural Networks. — 2001. — 12, N 6. —
P. 1–15.
7. Ð ó ä å í ê î Î . Ã . , Á å ñ ñ î í î â À . À . Èäåíòèôèêàöèÿ íåëèíåéíûõ íåñòàöèîíàðíûõ
îáúåêòîâ â ðåàëüíîì âðåìåíè ñ ïîìîùüþ ðàäèàëüíî-áàçèñíûõ ñåòåé // Êèáåðíåòèêà è
ñèñòåìíûé àíàëèç. — 2003. — ¹ 6. — C. 177–185.
8. Ð ó ä å í ê î Î . Ã . , Á å ñ ñ î í î â À . À . Àäàïòèâíîå óïðàâëåíèå ìíîãîìåðíûìè íåëèíåéíûìè
îáúåêòàìè íà îñíîâå ðàäèàëüíî-áàçèñíûõ ñåòåé // Òàì æå. — 2005. — ¹ 2. — Ñ. 168–176.
9.  à ï í è ê  . Ì . Âîññòàíîâëåíèå çàâèñèìîñòåé ïî ýìïèðè÷åñêèì äàííûì. — Ì.: Íàóêà,
1979. — 448 ñ.
10. Ö û ï ê è í ß . Ç . , Ï î ë ÿ ê Á . Ò . Îãðóáëåííûé ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ //
Äèíàìèêà ñèñòåì. — Ãîðüêèé, 1977. — Âûï. 12. — Ñ. 22–46.
11. Ö û ï ê è í ß . Ç . Îñíîâû èíôîðìàöèîííîé òåîðèè èäåíòèôèêàöèè. — Ì.: Íàóêà, 1984. —
320 ñ.
12. Õ ü þ á å ð Ï . Ðîáàñòíîñòü â ñòàòèñòèêå. — Ì.: Ìèð, 1984. — 304 ñ.
13. Ì ó ä ð î â Â . È . , Ê ó ø ê î Â . Ë . Ìåòîäû îáðàáîòêè èçìåðåíèé (Êâàçèïðàâäîïîäîáíûå
îöåíêè). — Ì.: Ñîâ. ðàäèî, 1976. — 192 ñ.
14. Ñ ì î ë ÿ ê Ñ . À . , Ò è ò à ð å í ê î Á . Ï . Óñòîé÷èâûå ìåòîäû îöåíèâàíèÿ: ñòàòèñòè÷åñêàÿ
îáðàáîòêà íåîäíîðîäíûõ ñîâîêóïíîñòåé. — Ì.: Ñòàòèñòèêà, 1980. — 208 ñ.
15. Ë è á å ð î ë ü Á . Ä . , Ð ó ä å í ê î Î . Ã . Î âëèÿíèè ïîìåõ èçìåðåíèé íà ñâîéñòâà ïðîåê-
öèîííûõ àëãîðèòìîâ èäåíòèôèêàöèè // Äîï. ÍÀÍ Óêðà¿íè. — 1995. — ¹ 3. — C. 28–30.
16. À ë ü á å ð ò À . Ðåãðåññèÿ, ïñåâäîèíâåðñèÿ è ðåêóððåíòíîå îöåíèâàíèå. — Ì.: Íàóêà, 1977. —
224 ñ.
17. R e y W . J . J . Robust statistical methods. — Berlin; Heidelberg; New York: Springer, 1978. — 128 p.
Ïîñòóïèëà 07.07.2009
46 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2011, ¹ 6
|