Диффузные алгоритмы обучения нейронных сетей прямого распространения
Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове...
Збережено в:
| Дата: | 2013 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2013
|
| Назва видання: | Кибернетика и системный анализ |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/86230 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-86230 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-862302015-09-11T03:01:49Z Диффузные алгоритмы обучения нейронных сетей прямого распространения Скороход, Б.А Кибернетика Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації. The problem of training feedforward neural networks is considered. To solve it, new algorithms are proposed. They are based on the asymptotic analysis of extended Kalman filter (EKF) and on a separable network structure. Linear weights are interpreted as diffusion random variables with zero expectation and covariance matrix proportional to an arbitrarily large parameter λ. Asymptotic expressions as λ→∞ for the EKF are derived. They are called diffusion learning algorithms (DLA). It is shown that they, unlike their prototype EKF with large yet finite λ are robust with respect to the accumulation of rounding errors and that under certain simplifying assumptions, the ELM (extreme learning machine) algorithm follows from the DLA. A numerical example shows that the accuracy of the DLA may be higher than that of the ELM algorithm. 2013 Article Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. 0023-1274 http://dspace.nbuv.gov.ua/handle/123456789/86230 004.032.26 ru Кибернетика и системный анализ Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Кибернетика Кибернетика |
| spellingShingle |
Кибернетика Кибернетика Скороход, Б.А Диффузные алгоритмы обучения нейронных сетей прямого распространения Кибернетика и системный анализ |
| description |
Розглянуто задачу навчання нейронних мереж прямого поширення. Для її розв’язання запропоновано нові алгоритми, що грунтуються на асимптотичному аналізі поведінки розширеного фільтра Калмана і сепарабельній структурі мережі. Лінійнi ваги інтерпретуються як дифузні випадкові величини, що мають нульове математичне сподівання і матрицю коваріації, пропорційну великому параметру λ. Знайдено асимптотичні зображення при λ→∞ РФК — дифузні алгоритми навчання (ДАН). Показано, що на відміну від їх прототипу РФК з великим, але скінченним λ, їм властива робастність відносно накопичення помилок округлення. Із ДАН при певних спрощуючих припущеннях отримуємо ELM-алгоритм (extreme learning machine). Показано, що ДАН можуть перевершувати ELM-алгоритм за точністю апроксимації. |
| format |
Article |
| author |
Скороход, Б.А |
| author_facet |
Скороход, Б.А |
| author_sort |
Скороход, Б.А |
| title |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_short |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_full |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_fullStr |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_full_unstemmed |
Диффузные алгоритмы обучения нейронных сетей прямого распространения |
| title_sort |
диффузные алгоритмы обучения нейронных сетей прямого распространения |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2013 |
| topic_facet |
Кибернетика |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/86230 |
| citation_txt |
Диффузные алгоритмы обучения нейронных сетей прямого распространения / Б.А Скороход // Кибернетика и системный анализ. — 2013. — Т. 49, № 3. — С. 14-25. — Бібліогр.: 19 назв. — рос. |
| series |
Кибернетика и системный анализ |
| work_keys_str_mv |
AT skorohodba diffuznyealgoritmyobučeniânejronnyhsetejprâmogorasprostraneniâ |
| first_indexed |
2025-07-06T13:41:42Z |
| last_indexed |
2025-07-06T13:41:42Z |
| _version_ |
1836905191874494464 |
| fulltext |
ÓÄÊ 004.032.26
Á.À. ÑÊÎÐÎÕÎÄ
ÄÈÔÔÓÇÍÛÅ ÀËÃÎÐÈÒÌÛ ÎÁÓ×ÅÍÈß ÍÅÉÐÎÍÍÛÕ ÑÅÒÅÉ
ÏÐßÌÎÃÎ ÐÀÑÏÐÎÑÒÐÀÍÅÍÈß
Êëþ÷åâûå ñëîâà: íåéðîííûå ñåòè ïðÿìîãî ðàñïðîñòðàíåíèÿ, àëãîðèòìû îáó-
÷åíèÿ, ðàñøèðåííûé ôèëüòð Êàëìàíà.
ÂÂÅÄÅÍÈÅ
Íåéðîííûå ñåòè ïðÿìîãî ðàñïðîñòðàíåíèÿ (ÍÑÏÐ) øèðîêî èñïîëüçóþòñÿ â ðàç-
íûõ ïðèëîæåíèÿõ, ñâÿçàííûõ ñ òàêèìè çàäà÷àìè, êàê ïðîãíîçèðîâàíèå âðåìåí-
íûõ ðÿäîâ, êëàññèôèêàöèÿ äàííûõ, èäåíòèôèêàöèÿ è óïðàâëåíèå íåëèíåéíûìè
îáúåêòàìè. Îáçîðû ïî ìåòîäàì èõ ðåøåíèÿ ïðèâåäåíû â [1–3].
Îáó÷åíèå ÍÑÏÐ ìîæåò ðàññìàòðèâàòüñÿ êàê çàäà÷à ìèíèìèçàöèè ñðåäíåêâàä-
ðàòè÷åñêîé îøèáêè îòíîñèòåëüíî íåèçâåñòíûõ ïàðàìåòðîâ, âõîäÿùèõ â åå îïèñàíèå
(âåñîâ è ñìåùåíèé) ïðè çàäàííîì îáó÷àþùåì ìíîæåñòâå. Àëãîðèòì îáðàòíîãî
ðàñïðîñòðàíåíèÿ (ÀÎÐ) ðàçðàáîòàí â [4] è óñïåøíî ïðèìåíÿåòñÿ äëÿ èõ îáó÷å-
íèÿ. Âìåñòå ñ òåì èçâåñòíà ïðèñóùàÿ ÀÎÐ ìåäëåííàÿ ñêîðîñòü ñõîäèìîñòè, ÷òî
ñóùåñòâåííî çàòðóäíÿåò èëè äåëàåò ïðàêòè÷åñêè íåâîçìîæíûì èñïîëüçîâàíèå
àëãîðèòìà â ñëîæíûõ çàäà÷àõ.
 ìíîãî÷èñëåííûõ ïóáëèêàöèÿõ, ïîñâÿùåííûõ ÍÑÏÐ, ïðåäëîæåíû ðàçëè÷-
íûå àëãîðèòìû îáó÷åíèÿ, ïðåâîñõîäÿùèå ÀÎÐ ïî ñêîðîñòè ñõîäèìîñòè è ïîëó-
÷àåìîé òî÷íîñòè àïïðîêñèìàöèè.  [5, 6] ïðèìåíÿþòñÿ ìåòîäû Ëåâåíáåðãà–Ìàê-
âàðäòà è êâàçèíüþòîíîâñêèå, èñïîëüçóþùèå èíôîðìàöèþ î ìàòðèöå ïðîèçâîäíûõ
âòîðîãî ïîðÿäêà êðèòåðèÿ êà÷åñòâà.  [7–9] àëãîðèòìû îáó÷åíèÿ îñíîâûâàþòñÿ íà
ðàñøèðåííîì ôèëüòðå Êàëìàíà (ÐÔÊ), èñïîëüçóþùåì àïïðîêñèìàöèîííóþ êîâà-
ðèàöèîííóþ ìàòðèöó îøèáêè îöåíèâàíèÿ. Äëÿ ÍÑÏÐ ñ ëèíåéíîé ôóíêöèåé àêòè-
âàöèè (ÔÀ) â âûõîäíîì ñëîå â [10–12] ïðåäñòàâëåíû àëãîðèòìû, ó÷èòûâàþùèå ñå-
ïàðàáåëüíóþ ñòðóêòóðó ñåòè [13]. Â ñîîòâåòñòâèè ñ VP-àëãîðèòìîì (variable
projection) [10] èñõîäíàÿ çàäà÷à îïòèìèçàöèè ïðåîáðàçóåòñÿ ê ýêâèâàëåíòíîé îò-
íîñèòåëüíî íåëèíåéíî âõîäÿùèõ ïàðàìåòðîâ (âåñîâ è ñìåùåíèé ñêðûòîãî ñëîÿ).
Ïðè ýòîì óìåíüøàåòñÿ êàê ðàçìåðíîñòü çàäà÷è, òàê è åå îáóñëîâëåííîñòü, ÷òî
ïîçâîëÿåò ñîêðàòèòü êîëè÷åñòâî èòåðàöèé äëÿ ïîëó÷åíèÿ ðåøåíèÿ. Âìåñòå ñ òåì
òàêîé ïîäõîä ìîæåò èñïîëüçîâàòüñÿ òîëüêî â ïàêåòíîì ðåæèìå, è äàæå ïðè àääè-
òèâíî âõîäÿùèõ îøèáêàõ èçìåðåíèé âûõîäîâ ÍÑÏÐ â ïðåîáðàçîâàííûé êðèòå-
ðèé îíè âõîäÿò íåëèíåéíî. Êðîìå òîãî, ñóùåñòâåííî óñëîæíÿåòñÿ ïðîöåäóðà
îïðåäåëåíèÿ ÷àñòíûõ ïðîèçâîäíûõ êðèòåðèÿ ïî ïàðàìåòðàì.  [11, 12] ïðåäëàãà-
åòñÿ ELM (extreme learning machine) àëãîðèòì, ñ ïîìîùüþ êîòîðîãî îáó÷àþòñÿ
òîëüêî ëèíåéíî âõîäÿùèå ïàðàìåòðû (âåñà âûõîäíîãî ñëîÿ), à íåëèíåéíûå âûáè-
ðàþòñÿ ñëó÷àéíî, áåç ó÷åòà îáó÷àþùåé âûáîðêè, ÷òî ñîêðàùàåò âðåìÿ îáó÷åíèÿ,
íî ìîæåò ïðèâîäèòü ê íåâûñîêîé òî÷íîñòè àïïðîêñèìàöèè.
 äàííîé ðàáîòå ïðåäëàãàþòñÿ è èññëåäóþòñÿ íîâûå àëãîðèòìû îáó÷åíèÿ
äâóõñëîéíûõ ÍÑÏÐ ñ íåëèíåéíûìè ÔÀ â ñêðûòîì ñëîå è ëèíåéíûìè — â âû-
õîäíîì. Èçâåñòíî, ÷òî òàêèå íåéðîííûå ñåòè ìîãóò îáëàäàòü óíèâåðñàëüíûìè
àïïðîêñèìèðóþùèìè ñâîéñòâàìè (äëÿ ñèãìîèäíûõ ôóíêöèé äîêàçàòåëüñòâî
ïðèâåäåíî â [14]). Àëãîðèòìû îñíîâûâàþòñÿ íà ÐÔÊ è ó÷åòå ñåïàðàáåëüíîé
ñòðóêòóðû ÍÑÏÐ, êàê â VP- è ELM-àëãîðèòìàõ, íî ïðè ýòîì îäíîâðåìåííî îáó-
÷àþòñÿ âñå íåéðîíû. Áîëåå òî÷íî, ëèíåéíî âõîäÿùèå âåñà èíòåðïðåòèðóþòñÿ êàê
äèôôóçíûå — ñëó÷àéíûå âåëè÷èíû, èìåþùèå íóëåâîå ìàòåìàòè÷åñêîå îæèäà-
14 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3
© Á.À. Ñêîðîõîä, 2013
íèå è ìàòðèöó êîâàðèàöèè, ïðîïîðöèîíàëüíóþ ïðîèçâîëüíî áîëüøîìó ïàðàìåò-
ðó � [15]. Íàõîäÿòñÿ àñèìïòîòè÷åñêèå ïðåäñòàâëåíèÿ ÐÔÊ ïðè � � � , êîòîðûå
ìû íàçûâàåì äèôôóçíûìè àëãîðèòìàìè îáó÷åíèÿ (ÄÀÎ). Ïîêàçàíî, ÷òî îíè, â
îòëè÷èå îò èõ ïðîòîòèïà ÐÔÊ ñ áîëüøèì, íî êîíå÷íûì � , îáëàäàþò ñâîéñòâîì
ðîáàñòíîñòè ïî îòíîøåíèþ ê íàêîïëåíèþ îøèáîê îêðóãëåíèÿ, è èç ÄÀÎ ïðè
îïðåäåëåííûõ óïðîùàþùèõ ïðåäïîëîæåíèÿõ ñëåäóåò ELM-àëãîðèòì. Ïðèâåäåí
÷èñëåííûé ïðèìåð, ïîêàçûâàþùèé, ÷òî ÄÀÎ ìîãóò ïðåâîñõîäèòü ELM-àëãîðèòì
ïî òî÷íîñòè àïïðîêñèìàöèè.
1. ÎÑÍÎÂÍÛÅ ÄÎÏÓÙÅÍÈß È ÑÎÎÒÍÎØÅÍÈß ÄËß ÐÔÊ
Ðàññìîòðèì äâóõñëîéíóþ ÍÑÏÐ ñ íåëèíåéíûìè ÔÀ â ñêðûòîì ñëîå è ëèíåé-
íûìè â âûõîäíîì:
y w a z bit ik
j
n
kj jt k
k
m
� �
�
�
�
�
�
���
�
�
�
1
1
1
, i r�1, ..., , t N�1, ..., . (1)
Çäåñü z j njt , , ...,�1 , — âõîäû, y i rit , , ...,�1 , — âûõîäû, akj , bk , k m�1, ..., ,
j n�
1 1, ..., , — âåñà è ñìåùåíèÿ ñêðûòîãî ñëîÿ, w i r k mik , , , ..., , , , ...,� �1 2 1 2 , —
âåñà âûõîäíîãî ñëîÿ, �( ) ( )x C R� 1 — ÔÀ, C R1 ( ) — ïðîñòðàíñòâî äèôôåðåí-
öèðóåìûõ ôóíêöèé íà äåéñòâèòåëüíîé ïðÿìîé, èëè, â áîëåå êîìïàêòíîé ôîð-
ìå, èñïîëüçóþòñÿ âåêòîðíî-ìàòðè÷íûå îáîçíà÷åíèÿ
y W z z f zt t m t t� �( ( ), ..., ( )) ( , , )� � � � � �1
T t N�1, ..., , (2)
ãäå y y y Rt t rt
r� � � �( )1 �
T , z z z Rt t n t
n� � � �
( , )1 1 1�
T , W w wr� �( , ..., )
1
T T T
� �R r m , w w w wi i i im� � �( , )1 2 � , i r�1 2, , ..., , � � �k k kn� � �( )1 � , k m�1, ..., ,
� � �� � � �( )
1
T T T
� m
mnR , � � � � �( )w w Rr
rm
1
T T T
� , R l , R l p� — ïðîñòðàíñòâà
âåêòîðîâ è ìàòðèö ðàçìåðíîñòåé l è l p� ñîîòâåòñòâåííî, (.)T — îïåðàöèÿ
òðàíñïîíèðîâàíèÿ ñîîòâåòñòâóþùåé ìàòðèöû.
Îáó÷åíèå íåéðîííûõ ñåòåé ïðè ïîñëåäîâàòåëüíîé îáðàáîòêå è îáó÷àþùåì
ìíîæåñòâå { }z yt t t
N, �1
ðàññìàòðèâàåòñÿ êàê çàäà÷à îöåíêè ñîñòîÿíèÿ íåëèíåéíîé
äèíàìè÷åñêîé ñèñòåìû
� � � �t t t t� �� �1 1, ,
y f z t Nt t t t t� � �( , , ) , , ..., ,� � � 1 (3)
ãäå � t
rR� — ñëó÷àéíûé ïðîöåññ ñ íåêîððåëèðîâàííûìè çíà÷åíèÿìè, íóëå-
âûì ìàòåìàòè÷åñêèì îæèäàíèåì è ìàòðèöåé êîâàðèàöèè E Vt t t[ ]� �T � , õàðàê-
òåðèçóþùèé îøèáêè èçìåðåíèÿ âûõîäà. Íà÷àëüíîå ñîñòîÿíèå (3) óäîâëåòâîðÿ-
åò ñëåäóþùèì óñëîâèÿì:
À1) âåêòîðû � �1 1, ñëó÷àéíû è íåêîððåëèðîâàíû ìåæäó ñîáîé è � t ,
t N�1, ..., ;
À2) çàäàíà âûáîðêà âåñîâ è ñìåùåíèé ñêðûòîãî ñëîÿ íåéðîííûõ ñåòåé
m mn� � �� � �( )1 �
T èç íåïðåðûâíîãî ðàñïðåäåëåíèÿ ñ ìàòðèöåé êîâàðèàöèè S � ,
îïðåäåëÿåìàÿ õàðàêòåðîì ðåøàåìîé çàäà÷è è èñïîëüçóåìîé ÔÀ, ïðè ýòîì � �1 � m ;
À3) àïðèîðíàÿ èíôîðìàöèÿ îòíîñèòåëüíî âåñîâ âûõîäíîãî ñëîÿ � îòñóò-
ñòâóåò, è îíè èíòåðïðåòèðóþòñÿ êàê ñëó÷àéíûå âåëè÷èíû, èìåþùèå íóëåâîå ìà-
òåìàòè÷åñêîå îæèäàíèå è ìàòðèöó êîâàðèàöèè, ïðîïîðöèîíàëüíóþ áîëüøåìó
ïàðàìåòðó � � 0, ò.å.
E ( )� � 0, E I rm( )�� �T � , (4)
ãäå I Rrm
rm rm� � — åäèíè÷íàÿ ìàòðèöà.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3 15
Îöåíêà ñîñòîÿíèÿ (3) xt t t� ( , )� �T T T ñ ïîìîùüþ ÐÔÊ óäîâëåòâîðÿåò íåëè-
íåéíîìó ðàçíîñòíîìó óðàâíåíèþ [16]
� � (
~
( , � )x x K y f z xt t t t t t� � �
1 , � ( , )x m rm1 0�
�
T T T , t N�1, ..., , (5)
ãäå
~
( , ) ( , , )f z x f zt t t t t� � � , 0rm
rmR� — âåêòîð ñ íóëåâûìè ýëåìåíòàìè,
K P C Nt t t t�
T 1, N C P C Vt t t t t� �T , (6)
P P P C N C Pt t t t t t t�
�
1
1T , P S I rm1 � block diag ( � �, ) , (7)
C C C C
f z x
Rt t t t
t t
t x x
r mn
t t
� �
�
�
�
�
�(( ) , ( ) ) ,
~
( , )
,
�
� � �
�
T T T
C
f z x
Rt
t t
t x x
r rm
t t
�
�
�
�
�
�
�
�
~
( , )
,
�
(8)
ìàòðèöà Ct îïðåäåëÿåòñÿ ïî âûðàæåíèÿì
�
�
�
y
w z zit
k
ik k t t
�
� �( ) ( )1 , i r�1, ..., , k m�1, ..., , (9)
�
�
�
y
w
z z zit
l
t t m t( ( ), ( ), ..., ( ))� � � � � �1 2
T , i r�1, ..., , (10)
� ( ) ( )1 x — ïðîèçâîäíàÿ �( )x .
Ïðè ïàêåòíîé îáðàáîòêå è îáó÷àþùåì ìíîæåñòâå { }z yt t t
N, �1
îáó÷åíèå ðàñ-
ñìàòðèâàåòñÿ êàê çàäà÷à îöåíêè ñîñòîÿíèÿ íåëèíåéíîé äèíàìè÷åñêîé ñèñòåìû
� �t t� �1 , � �t t� �1 , Y F Zt t t t� �( , , )� � � , t M�1, ..., , (11)
ãäå F Z f z f zt t t t N t t( , , ) ( ( , , ), ..., ( , , ))� � � � � �� T T T
1 , Z z z
N
� ( , ..., )
1
T T T ,
M — êîëè÷åñòâî èòåðàöèé. Ïðåäïîëàãàåòñÿ, ÷òî íà÷àëüíîå ñîñòîÿíèå (11),
êàê è ïðè ïîñëåäîâàòåëüíîì îáó÷åíèè, óäîâëåòâîðÿåò óñëîâèÿì À1)–À3).
Îöåíêà ñîñòîÿíèÿ (11) ñ ïîìîùüþ ÐÔÊ óäîâëåòâîðÿåò íåëèíåéíîìó ðàç-
íîñòíîìó óðàâíåíèþ
� � (
~
( , � )x x K Y F Z xt t t t� � �
1 , � ( , )x rm1 0� � T T T , t M�1, ..., , (12)
ãäå
~
( , � ) ( , , )F Z x F Zt t t� � � , Y y y
N
� � �( )
1
T T T
� ,
K P C Nt t t t�
T 1, N C P C Vt t t t t� �T ,
(13)
P P P C N C Pt t t t t t t�
�
1
1T , P S I rm1 � block diag ( � �, ) , (14)
C C Ct t t� (( ) , ( ) )� �T T T , C
F Z x
Rt
t
t x x
Nr mn
t t
�
�
�
�
�
�
�
�
~
( , � )
�
, (15)
C
F Z x
Rt
t
t x x
Nr rm
t t
�
�
�
�
�
�
�
�
~
( , � )
�
,
ìàòðèöà Ct îïðåäåëÿåòñÿ ïî âûðàæåíèÿì (9), (10).
16 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3
2. ÀÑÈÌÏÒÎÒÈÊÀ ÐÔÊ
Ðàññìîòðèì íåñêîëüêî âñïîìîãàòåëüíûõ óòâåðæäåíèé.
Ëåììà 1. Ïðè t N�1, ..., ñïðàâåäëèâû ïðåäñòàâëåíèÿ
P S R M Rt t t t t� �
~ ~ ~1 T , (16)
K S R M R C Nt t t t t t t
� � � �
(
~ ~ ~
)1 1
1
1
1T T , (17)
ãäå
~
S
S
t
t mn rm
rm mn rm rm
�
�
�
��
��
�
� �
0
0 0
,
~
R
R
I
t
t
rm
�
�
�
��
�� , (18)
S S S C N C St t t t t t t�
�
1 1
1( )� �T , N C S C Vt t t t t1 � �� �( )T , S S1 � � , (19)
R I S C N C R S C N Ct t t t t t t t t t�
�
1 1
1
1
1( ( ) ) ( )� � � �T T , R mn rm1 0� � , (20)
M M C R C N C R C M
I
t t t t t t t t t
rm
�
� � � � �1 1
1
1( ) ( ),� � � �
�
T , � � 0 . (21)
Äîêàçàòåëüñòâî. Ïóñòü
~
Pt è Pt — äâà ïðîèçâîëüíûõ ðåøåíèÿ (7). Òîãäà [17]
Q P Pt t t�
~
, t N�1, ..., , ãäå
Q A Q A A Q C N C Q At t t t t t t t t t t�
�
1 2
1T T , Q P P1 1 1�
~
, (22)
A I P C N Ct t t t t�
T
3
1 , N C P C Vt t t t t2 � �
~ T , N C P C Vt t t t t3 � �T .
Ïîëîæèì
~
P P1 1� , P S1 0� block diag ( � , ) . Òîãäà
~
P Pt t� , P St t�
~
è P S Qt t t� �
~
.
Ïîêàæåì, ÷òî Q R M Rt t t t�
~ ~1 T . Òàê êàê
~ ~
,R A Rt t t� �1
~
( , ..., )R e ep q1 � , (23)
ãäå p mn q mn rm� � � �1, , e Ri
q� — i-åäèíè÷íûé âåêòîð, òî
~ ~ ~ ~ ~ ~
R M R R M R R M R Ct t t t t t t t t t� �
� �
� �
�
1 1
1
1 1
1
1 1
1T T T T N C R M R
t t t t t2
1 1
1
�
~ ~ T .
Ýòî ðàâåíñòâî âûïîëíÿåòñÿ, ïðè óñëîâèè, ÷òî M t
1 óäîâëåòâîðÿåò ðàçíîñòíî-
ìó óðàâíåíèþ
M M M R C N C R M
t t t t t t t t t�
�
1
1 1 1
2
1 1~ ~T T . (24)
Ïðåîáðàçîâûâàÿ åãî ñ ïîìîùüþ òîæäåñòâà [15]
( ) ( )P H R H P PH HPH R HP
� �
�1 1 1 1T T T ,
ñ P M H C R R Nt t t t� � �
1
2,
~
, , ïîëó÷èì
M M R C N C R
t t t t t t t�
� �
1
1
2
1 1(
~ ~
)T T , (25)
îòñþäà ñëåäóþò (16).
Äîêàæåì (17). Ñíà÷àëà ïîêàæåì, ÷òî
K P C N S C N A Q C Nt t t t t t t t t t t
� � �
T T T1
3
1
2
1~
.
Òàê êàê P S Qt t t� �
~
, òî äîëæíî áûòü (
~
)
~
S Q C S C N N A Q Ct t t t t t t t t t� � �
T T T
3
1
2 .
Ïðåîáðàçîâûâàÿ ïðàâóþ ÷àñòü ýòîãî âûðàæåíèÿ, óñòàíàâëèâàåì, ÷òî
~ ~
( )S C N N A Q C S C I N C Q Ct t t t t t t t t m t t t t
T T T T
3
1
2 3
1
� � � �
�
� �
(
~
) (
~
)I S C N C Q C S Q Ct t t t t t t t t
T T T
3
1 .
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3 17
Èñïîëüçóÿ (23), (25), íàõîäèì
A Q C N A R M R C Nt t t t t t t t t t
T T T
2
1 1
2
1
� �
~ ~
� �� �
~
(
~ ~
)
~
R M M R C N C R M R C Nt t t t t t t t t t t t1 1
1
1
1 1
2
1T T T T �
� �� �
~
(
~ ~ ~ ~
)R M R C R C N C R M R Ct t t t t t t t t t t t1 1
1
1
1 1T T T T T T N
t2
1
�
� �� �
~ ~
(
~ ~
)R M R C N N C R M R C Nt t t t t t t t t t t t1 1
1
1
1
1
1
2
T T T T 1
1 1
1
1
1� � �
~ ~
R M R C Nt t t t t
T T ,
îòñþäà ñëåäóåò (17).
Ëåììà äîêàçàíà.
Ëåììà 2. Äëÿ ëþáûõ ( )m n� -ìàòðèö F t Nt , , ...,�1 , ñïðàâåäëèâû ðàâåíñòâà
( )I Fn t t t
��� � T 0 , t N�1, ..., , (26)
ãäå � t s s
s
t
F F�
�
� ( )T
1
, (.)� — ïñåâäîîáðàòíàÿ ìàòðèöà ñîîòâåòñòâóþùåé ìàòðèöû.
Äîêàçàòåëüñòâî. Áåç îãðàíè÷åíèÿ îáùíîñòè áóäåì ïîëàãàòü, ÷òî Ft � 0 .
Îáîçíà÷èì
~
( , , )F F Ft t�
1
T T
� . Ïóñòü l lt k t t1, ( ),� �� — ëþáûå ëèíåéíî íåçàâèñè-
ìûå ñòîëáöû ìàòðèöû
~
Ft òàêèå, ÷òî ïîñëåäíèé lk t t( ), èç íèõ ñîâïàäàåò ñ ïîñëåä-
íèì íåíóëåâûì ñòîëáöîì ìàòðèöû
~
Ft . Èñïîëüçîâàíèå ñêåëåòíîãî ðàçëîæåíèÿ
äëÿ
~
Ft äàåò
~
F Lt t t� � , ãäå L l lt t k t t� ( , ..., ), ( ),1 , � � �t t tt� � �( )1 � — ( ( ))n k t� -,
( ( ) )k t mt� -ìàòðèöû ðàíãà k t( ), �it i t, , ...,�1 — ( ( ) )k t m� -ìàòðèöû. Ïîêàæåì
âíà÷àëå, ÷òî I I L L L Ln t t t t t t
�
�
� � ( )T T1 . Èìååì � �t t t t t tF F L L� �
~ ~ ~T T , ãäå
~
� � �t t t� T . Òàê êàê
~
�t � 0 — ìàòðèöà Ãðàììà, ïîñòðîåííàÿ ïî ëèíåéíî íåçàâèñè-
ìûì ñòðîêàì ìàòðèöû �t , rank rank T( ) (
~
)L Lt t t� � , è Lt — ìàòðèöà ïîëíîãî ðàíãà
ïî ñòîëáöàì, òî � � �t t t t t t tL L L L� � �
�� �(
~
) ( )
~T T 1 , L L L Lt t t t
�
� ( )T T1 . Òàêèì îáðàçîì,
I I L L L L I L L Ln t t n t t t t t t n t t t t
�
�
� � �� � � � �
~
(
~
)
~
( )
~T T T T �t tL
� �1
�
�
I L L L L L L L L I L Ln t t t t t t t t t t n t t
~
( )
~
( ) (� �T T T T T1 1 1 L Lt t)
1 T .
Ïîñêîëüêó F Lt t t
T � � äëÿ íåêîòîðîé ìàòðèöû �t , òî
( ) ( ( ) )I F I L L L L Ln t t t n q t t t t t t
�
��
� � �T T T1 0 .
Äàëåå áóäåò èñïîëüçîâàòüñÿ îáîçíà÷åíèå O k( )�
äëÿ ôóíêöèé �( , , � )� y xt t ,
óäîâëåòâîðÿþùèõ óñëîâèþ P y xt t
k(|| ( , , � ) || / )� � � � �
� �
1 21 ïðè � � � , k � 0 ,
íåêîòîðûõ ïîñòîÿííûõ � �1 2 0, � è t , ïðèíàäëåæàùèõ îãðàíè÷åííîìó ìíîæåñò-
âó, ãäå || . || — åâêëèäîâà íîðìà ñîîòâåòñòâóþùåé ìàòðèöû.
Ëåììà 3. Ïóñòü ìàòðèöà � t îïðåäåëåíà âûðàæåíèåì
�
�
t s s s s
s
t
F y x F y x� �
�
�1
1
1
�
( , � ) ( , � )T , t N� 2, ..., , (27)
ãäå �1 0� , m n� -ìàòðèöà F y xt t( , � ) óäîâëåòâîðÿþò óñëîâèþ F y x Ot t( , � ) ( )� 1
ïðè � � � è t N� 2, ..., . Òîãäà
� � � � �t n t t tI O
� �
�
� �1
1
1 1( ) ( )� � , t N� 2, ..., , (28)
ïðè � � � , ãäå � t s s s s
s
t
F y x F y x�
�
� ( , � ) ( , � )T
1
1
.
18 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3
Äîêàçàòåëüñòâî. Èìååì � � � �t n a tI� �
1
1( ) /� � . Îòñþäà ñ ïîìîùüþ ôîð-
ìóëû îáðàùåíèÿ âîçìóùåííûõ ìàòðèö [18] ïîëó÷èì
( ) ( ) ( )I V I VV V V In n n� �
� �
� � �
� �1 1, (29)
ãäå V — ïðîèçâîëüíàÿ ñèììåòðè÷åñêàÿ ìàòðèöà, íàõîäèì
� � � �t n tI
� � �1
1
1 1
1
1( )� �
�
� �
�
� �
[( ) ( ) ]I In t t t t n� � � � � � � � � �
1
1
1 1
1
1 1
1
1
1� � .
Ïðåäñòàâèì ìàòðèöó � �
1
1
t â âèäå � �
1
1
�t t t tT D TT , ãäå Tt è Dt — ñîîòâåò-
ñòâåííî îðòîãîíàëüíàÿ è äèàãîíàëüíàÿ ìàòðèöû. Òîãäà
( ) ( )� �t n t t n tI T D I T�
�
� � � �1
1 1� � � �T
�
� � ��
I On t� �1
1 2� � �( ), . (30)
Îòñþäà ñëåäóåò (28).
Òåîðåìà 1. 1. Ïðè îãðàíè÷åííîì N ñïðàâåäëèâû àñèìïòîòè÷åñêèå ïðåäñòàâ-
ëåíèÿ
P R I W W R S R W R Ot t rm t t t t t t t�
� � �� �
~
( )
~ ~ ~ ~
( )T T� � 1 , t N� 2, ..., , (31)
K K Ot t
dif� �
( )� 1 , Ct � 0, t N�1, ..., , � � � , (32)
ãäå
W W C R C N C R C Wt t t t t t t t t mn�
� � � � �1 1
1
1 0( ) ( ),� � � �T , (33)
K S R W R C Nt
dif
t t t t t t
� � � �
�
(
~ ~ ~
)1 1 1
1T T . (34)
2. Åñëè äîïîëíèòåëüíî �( ) ( )x C R� 2 , òî
� � ( )x x Ot t
dif� �
� 1 , t N� 2,... , , � � � , (35)
ãäå
� � (
~
( , � ))x x K y f z x
t
dif
t
dif
t
dif
t t t
dif
� � �
1
, � ( , )x dif
rm1
0� � T T T . (36)
Äîêàçàòåëüñòâî. Ïîêàæåì, ÷òî � ( )x Ot � 1 ïðè � � � , t N� 2, ..., . Îòñþäà
è ëåììû 3, åñëè ïîëîæèòü â (28) F y x N C R Ct t t t t t( , � ) ( )/� �
1
1 2 � � , áóäåì èìåòü
M I O
t n t t t�
� �
�
� �
1
1 1( ) ( )� � �� � , t N�1, ..., , � � � . (37)
Ïîäñòàâëÿÿ (37) â (16), ïîëó÷àåì (31). Âîñïîëüçóåìñÿ èíäóêöèåé. Òàê êàê C1
íå çàâèñèò îò � , òî (31) ñïðàâåäëèâî ïðè t �1 è � ( )x O2 1� , � � � . Ïðåäïîëî-
æèì, ÷òî � ( )x Oi � 1 ïðè � � � è êàæäîì i Z t� �
{ }3 1, ..., .  ñèëó îãðàíè÷åí-
íîñòè Z è � ( )x O2 1� , � � � ýòà îöåíêà áóäåò âûïîëíÿòüñÿ ðàâíîìåðíî íà
{ }1 1, ..., t
, ÷òî âëå÷åò C Oi � ( )1 íà Z è � ( )x Ot � 1 ïðè � � � , t N� 2, ..., .
 ðåçóëüòàòå ïîäñòàíîâêè (37) â (17) è â ñèëó ëåììû 2 ïîëó÷àåì (32).
Âîñïîëüçóåìñÿ èíäóêöèåé äëÿ äîêàçàòåëüñòâà (35). Îáîçíà÷èì e x xt t t
dif�
� � .
Èç (5) è (36) ñëåäóåò
e e K x K x e y K x f z xt t t t t
dif
t t t t t t t� � �
1 ( ( � ) ( � )) ( � )
~
( , � ) �
�
K x e f z x et
dif
t t t t t( � )
~
( , � ) , t N�1, ..., . (38)
Ïîñêîëüêó e1 0� ,
~
( , � )f z xt 1 0� , K K Odif
1 1
1� �
( )� (áåç îãðàíè÷åíèÿ îáùíîñòè
ïîëàãàåì, ÷òî C1 0� ), òî èç (38) ñëåäóåò îöåíêà e O2
1�
( )� , � � � . Ïóñòü t
ïðîèçâîëüíî è e Ot �
( )� 1 , � � � . Åñëè Ct � 0, òî e e Ot t�
� �1
1( )� . Ïðè
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3 19
Ct � 0 âîñïîëüçóåìñÿ îöåíêîé K K Ot t
dif� �
( )� 1 è òåîðåìîé î ñðåäíåì
K x e K x Ot
dif
t t t
dif
t( � ) ( � ) ( )
� �
� 1 ,
~
( , � )
~
( , � ) ( )f z x e f z x Ot t t t t
� �
� 1 , � � � .
Ïîäñòàíîâêà ýòèõ âûðàæåíèé â (38) äàåò e Ot�
�1
1( )� , � � � . Îòñþäà â ñèëó
îãðàíè÷åííîñòè ìíîæåñòâà t N�1, ..., ñëåäóåò îöåíêà (35).
Ñîîòíîøåíèÿ (36), (33), (34), (19), (20) îïðåäåëÿþò ÄÀÎ.
Ñëåäñòâèå 1. Äèôôóçíàÿ ñîñòàâëÿþùàÿ P R I W W Rt
dif
t n q t t t�
�~
( )
~ T � —
êîìïîíåíòà â ðàçëîæåíèè Pt , ïðîïîðöèîíàëüíàÿ áîëüøîìó ïàðàìåòðó, ðàâíà
íóëþ, íà÷èíàÿ ñ t t W t Ntr
t
t� � �min : , , ...,{ }0 2 .
Ñëåäñòâèå 2. Ìàòðèöà Kt íå çàâèñèò îò äèôôóçíîé ñîñòàâëÿþùåé è â îòëè-
÷èå îò ìàòðèöû Pt êàê ôóíêöèÿ � ðàâíîìåðíî îãðàíè÷åíà ïî íîðìå ïðè
t N�1, ..., è � � � .
Ñëåäñòâèå 3. Îøèáêè ÷èñëåííîé ðåàëèçàöèè ìîãóò ïðèâîäèòü ê ðàñõîäè-
ìîñòè ÐÔÊ ïðè áîëüøèõ � . Äåéñòâèòåëüíî, ïóñòü �Wt
� — îøèáêà, ñâÿçàííàÿ
ñ âû÷èñëåíèåì ïñåâäîîáðàòíîé ìàòðèöû Wt
� . Òîãäà èñïîëüçîâàíèå (17) è ëåì-
ìû 3 äàåò
K S R M R C Nt t t t t t t
� � �� �
(
~ ~ ~
)1 1
1
1
1T T
� �
� ��
� �
[
~ ~
(( ( ) ( ))
~
]S R I W W W O R C Nt t rm t t t t t t1 1
11� � T T , t N�1, ..., , � � �. (39)
Ïðè �Wt
� � 0 ìàòðèöà Kt ñòàíîâèòñÿ çàâèñèìîé îò äèôôóçíîé ñîñòàâëÿþùåé.
Ïîñêîëüêó îïåðàöèÿ ïñåâäîîáðàùåíèÿ íå ÿâëÿåòñÿ íåïðåðûâíîé, òî âûçâàííîå
åþ èçìåíåíèå Kt ìîæåò áûòü ñóùåñòâåííûì è ïðèâîäèòü ê ðàñõîäèìîñòè. Áî-
ëåå òîãî, ïîñêîëüêó ìàòðèöà Kt ïðîïîðöèîíàëüíà áîëüøîìó ïàðàìåòðó � , òî
äàæå åñëè è âûïîëíåíî óñëîâèå íåïðåðûâíîñòè îïåðàöèè ïñåâäîîáðàùåíèÿ
rank rank( ) ( )W W Wt t t� � � , äëÿ ïðîèçâîëüíûõ, äîñòàòî÷íî ìàëûõ ïî íîðìå ìàò-
ðèö �Wt , äèôôóçíàÿ ñîñòàâëÿþùàÿ ïî-ïðåæíåìó ìîæåò ïðèâîäèòü ê ïîòåðå
òî÷íîñòè. Êðîìå òîãî, ýòîò ýôôåêò ìîæåò óñèëèâàòüñÿ ïðè ïîñòóïëåíèè èçìåðå-
íèé âûñîêîé òî÷íîñòè è ìàëîé ïî íîðìå ìàòðèöå S t . ÄÀÎ ïðè ÷èñëåííîé ðåà-
ëèçàöèè íå èìåþò óêàçàííûõ îñîáåííîñòåé. Îá ýòîì ñâèäåòåëüñòâóåò îòñóòñò-
âèå â åãî êîíñòðóêöèè äèôôóçíûõ êîìïîíåíò — âåëè÷èí, ïðîïîðöèîíàëüíûõ
áîëüøîìó ïàðàìåòðó, ïðè÷åì õàðàêòåðèñòèêè ïðåäåëüíîãî àëãîðèòìà íå çàâè-
ñÿò îò íåèçâåñòíîé àïðèîðíîé èíôîðìàöèè î íà÷àëüíîì âåêòîðå ñîñòîÿíèÿ.
Çàìå÷àíèå 1. Òåîðåìà 1 è ñëåäñòâèÿ 1–3 ñïðàâåäëèâû äëÿ àëãîðèòìà îáó÷å-
íèÿ â ïàêåòíîì ðåæèìå, îïèñûâàåìîãî ñîîòíîøåíèÿìè (12)–(15).
3. ÑÂßÇÜ Ñ ELM-ÀËÃÎÐÈÒÌÎÌ
Ïîëàãàÿ â ÄÀÎ S � � 0, ïîëó÷àåì
� � ( � ),� � �� �
t t t
dif
t t tK y C� � �
1 , ��1 0� rm , ��
�t m� T , (40)
K W C Vt
dif
t t t
� �, ( )� �
�
1
1T , W W C V C Wt t t t t a rn rn�
�� � �1
1 0( ) ,� �T , (41)
ò.å., êàê è â ELM-àëãîðèòìå, îöåíèâàþòñÿ òîëüêî âåñà âûõîäíîãî ñëîÿ, à âåñà
è ñìåùåíèÿ ñêðûòîãî ñëîÿ â ïðîöåññå îáó÷åíèÿ íå èçìåíÿþòñÿ. Ïîêàæåì, ÷òî
îöåíêè, ïîëó÷àåìûå ñ èñïîëüçîâàíèåì ÄÀÎ è ELM, ñîâïàäàþò.
Ðàññìîòðèì çàäà÷ó ìèíèìèçàöèè âçâåøåííîé ñóììû êâàäðàòîâ
J y C V y Ct i
i
t
i i i i( ) ( ) ( )� � �� ��
�
�
1
1T T (42)
ïðè ôèêñèðîâàííîì � �� . Ïóñòü rank (
~
)C rmt � , ãäå
~
(( ) , ..., ( ) )C C Ct t�
1
� �T T .
20 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3
Òîãäà
� � � �
t
i
t
i i i
i
t
i iC V C C V ymin ( ) ( )�
�
�
�
�
�
�
�
�
� �
1
1
1
1
1T T
i . (43)
Òåîðåìà 2. Îöåíêà ÄÀÎ óäîâëåòâîðÿåò óñëîâèþ �
min� �t t� �1 ïðè ëþáîì
�� �1 � è t ttr � .
Äîêàçàòåëüñòâî. Èìååì
� , ,
,� � �
t t
s
t
t s s
dif
sK y� �
�
� �� � �1 1 1
1
1 1� � , (44)
ãäå ïåðåõîäíàÿ ìàòðèöà �t s, óäîâëåòâîðÿåò óðàâíåíèþ
� � �t s rm t
dif
t t s t t sI K C A� �
�1,
,
, ,( )� � , �s s rmI, � , t s s� �, , ...1 .
Ïîêàæåì, ÷òî
�t s t sW W, �
1 , t tr� , 1 � �s t , (45)
íî âíà÷àëå ïîäòâåðäèì, ÷òî ðåøåíèÿ ìàòðè÷íûõ óðàâíåíèé
G I K C Gt s rn t
dif
t t s,
,
,( )�
�
� � T
1 , G Is s rn, � ,
Z Z C V C Wt s t s t t t s, , ( )�
�
1
1 1� �T , Z Is s rn, �
ñîâïàäàþò, ãäå s R s W s N
s
s� � � �min { : , , , }0 2 � , t s�
1 1, ,� . Äëÿ ýòîãî äîëæ-
íî âûïîëíÿòüñÿ óñëîâèå ( ),
,K Z V C Wt
dif
t s t t s
� �T
�
�1
1 1. Èìååì
Z I C V C Wt s rm
i t
s
i i i s, ( )�
�
�
1
1 1� �T ,
( ) ( ( ) ) (,
,K Z W C V It
dif
t s t t t
t
rm
i t
s
� �T T
� �
� �
�
�1 1
1 1
1
1
C V C Wi i i s
� �)T
�
�
�
�
�
�
�1 1
�
�
�
�
�
�
� �
�( ( ) ) ( )W C V W C V C
t t t s
i t
s
i i i1
1 1
1
1
1� � �T T T
�
�
�
W V C Ws t t s
1 1 1� .
Òàê êàê G A A As t s s t, ...� �
T T T
1 1
, �t s t t sA A A, ...�
1 2
T , òî âûïîëíÿåòñÿ (45). Ïîä-
ñòàíîâêà (45) â (44) äàåò
� ( )� �
t t s
s
t
s s s sW W W C V y� �
�
�
�
�
� �1 1
1
1
1
1
1T . (46)
Ïîêàæåì, ÷òî
W W C C s ts s s s� �
� � �1 1
1( ) ( ) , , ...,� �T T . (47)
Èñïîëüçóÿ ñêåëåòíîå ðàçëîæåíèÿ
~
C Ls s s� � ��1 1 1� , ïîëó÷àåì
W C C L Ls s s s s s� � � � � �� �1 1 1 1 1 1
~ ~ ~T T � , W L L
s s s s�
�
�
�
�
�
��
1 1 1
1
1
( )
~T � , C Ls s s� � ��1 1 1� ,
ãäå
~
� � �s s s� � ��1 1 1
T , �s�1 — íåêîòîðàÿ ìàòðèöà. Ïîñêîëüêó Ls�1 — ìàòðèöà
ïîëíîãî ðàíãà ïî ñòîëáöàì, òî L L L L
s s s s�
�
� �
��
1 1 1
1
1
( )T T è W Ws s� �
� �1 1
� � � �
�L L L Ls s s s1 1 1
1
1
( )T T . Îòñþäà ñëåäóåò (47), ïîäñòàíîâêà êîòîðîãî â (46) äàåò
�
min� �t t� �1 .
Çàìå÷àíèå 2. Ñîîòíîøåíèÿ (40), (41) ïðåäñòàâëÿþò ñîáîé íîâóþ, ðåêóððåíò-
íóþ âåðñèþ (äèôôóçíóþ) ELM-àëãîðèòìà.
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3 21
4. ÄÂÓÕÝÒÀÏÍÛÅ ÀËÃÎÐÈÒÌÛ ÎÁÓ×ÅÍÈß
Ïîëó÷èì óïðîùåííûå ÄÀÎ, èñïîëüçóÿ äâóõýòàïíóþ ïðîöåäóðó îöåíèâàíèÿ [19].
Ôèêñèðóÿ ïîñëåäîâàòåëüíî â (3) �� t è �� t è èñïîëüçóÿ ÐÔÊ, íàõîäèì:
� � ( ( , � , � ))� � � ��
t t t t t t tK y f z� � �
1 , ��
�1 � mT , (48)
� � ( ( , � , � ))� � � ��
t t t t t t tK y f z� � �
1 , ��1 0� rm , (49)
K S C Nt t t t
� ��
( )T 1, K P C Nt t t t
� ��
( )T 1, (50)
S S S C N C St t t t t t t�
�
1 1
1( )� �T , N C S C Vt t t t t1 � �� �( )T , S S1 � � , (51)
P P P C N C Pt t t t t t t�
�
1 2
1( )� �T , N C P C Vt t t t t2 � �� �( )T , P I rm1 � � . (52)
Òåîðåìà 3. 1. Ïðè îãðàíè÷åííîì N ñïðàâåäëèâû àñèìïòîòè÷åñêèå ïðåäñòàâëåíèÿ
P I W W W Ot r t t t�
� �� �
( ) ( )� � 1 , t N� 2, ..., , (53)
K K Ot t
dif� � �� �
, ( )1 , Ct
� � 0, t N� 1,... , , � � � , (54)
ãäå
W W C V Ct t t
T
t t�
� �1
1( )� � , W mn1 0� , (55)
K W C Vt
dif
t t t
� �, ( )� �
�
1
1T . (56)
2. Åñëè äîïîëíèòåëüíî �( ) ( )x C R� 2 , òî
� � ( )� � �t t
dif O� �
1 , � � ( )� � �t t
dif O� �
1 , t N� 1,... , , � � �, (57)
ãäå
� �� � ��
t
dif
t
dif
t tK� � �
1
, � �
,� � ��
t
dif
t
dif
t
dif
tK� � �
1
, (58)
� � �t t t t
dif
t
dify f z�
( , � , � ), �� �
1
dif m� , �� a
dif
rm� 0 . (59)
Äîêàçàòåëüñòâî. Äîêàçàòåëüñòâî òîãî, ÷òî � ( � , � ) ( )x Ot t t� �� �T T T 1 ïðè
� � � , t N� 2, ..., , ïðîâîäèòñÿ òàê æå, êàê è â òåîðåìå 1, ïîýòîìó åãî îïóñêàåì.
Ïîñêîëüêó
P P C V C
t t t t t�
� �
1
1 1 1( )� �T , P I rm1
1
� / � , t N�1, ..., ,
òî èç ëåììû 3, åñëè ïîëîæèòü â (27) F y x V Ct t t t( , � ) /�
1 2 � , áóäåò ñëåäîâàòü (53).
Èìååì
K P C N P P P C Nt t t t t t t t t
� � �� � �
� �
( ) ( )T T
2
1
1 1
1
2
1
� � ��
�P P C V C P C N P C Vt t t t t t t t t t1
1 1
2
1
1( ( ) ) ( ) ( )� � � �T T T
t
1. (60)
 ðåçóëüòàòå ïîäñòàíîâêè (53) â (60) è â ñèëó ëåììû 2 ïîëó÷àåì (54).
Ïóñòü et t t
dif� � ��
� � , et t t
dif� � ��
� � . Òîãäà
e e K K e e y K
t t t t t t t t t t t t� � �
1
� � � � � �� � � �( ( � , � ) ( � , � )) � � � � �( � , � ) ( , � , � )t t t t tf z �
�
K e e f z e et t t t t t t t t t
� � � � �� � � �( � , � ) ( , � , � ) , (61)
e e K K e e y
t t t t t t
dif
t t t t�
� �
1
� � � � � �� � � �( ( � , � ) ( � , � )),
t t t t t t tK f z
�� � � � �( � , � ) ( , � , � )
�
K e e f z e et
dif
t t t t t t t t t
� � � � �� � � �, ( � , � ) ( , � , � ) , t N�1, ..., . (62)
Òàê êàê e e
1 1
0 0� �� �, , f ut( , � , � )� �1 1 0� , K K Odif
1 1
1� � �� �
, ( ) (áåç îãðàíè÷åíèÿ
îáùíîñòè ïîëàãàåì, ÷òî Ct
� � 0), òî èç (61), (62) ñëåäóåò e
2
0� � , e O
2
1� ��
( ) .
� � � . Ïóñòü t ïðîèçâîëüíî è e Ot �
( )� 1 , � � � . Åñëè Ct
� � 0 , òî et� �1
e Ot �
( )� 1 . Ïðè Ct
� � 0 èñïîëüçóåì îöåíêó K K Ot t
dif� � �� �
, ( )1 è òåîðåìó
î ñðåäíåì
22 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3
f z e e f z Ot t t t t t t t( , � , � ) ( , � , � ) ( )� � � � �� �
� �
1 ,
K e e K Ot
dif
t t t t t
dif
t t
� � � �� � � � �, ,
( � , � ) ( � , � ) ( )
� �
1 , � � � .
Ïîäñòàíîâêà ýòèõ âûðàæåíèé â (61), (62) äàåò e Ot�
�1
1( )� , � � � . Îòñþäà
â ñèëó îãðàíè÷åííîñòè ìíîæåñòâà t N�1, ..., ñëåäóþò îöåíêè (57).
Çàìå÷àíèå 3. Òåîðåìà 3 îñòàåòñÿ ñïðàâåäëèâîé äëÿ äâóõýòàïíîãî ÄÀÎ â ïà-
êåòíîì ðåæèìå, ñîîòíîøåíèÿ äëÿ êîòîðîãî íåòðóäíî âûïèñàòü, èñïîëüçóÿ (11).
5. ÀÑÈÌÏÒÎÒÈ×ÅÑÊÈ ÒÎ×ÍÛÅ ÈÇÌÅÐÅÍÈß
Ðàññìîòðèì ïîâåäåíèå ÄÀÎ ïðè ìàëûõ øóìàõ èçìåðåíèÿ, ìàòðèöà èíòåíñèâ-
íîñòè êîòîðûõ Vt âõîäèò â àëãîðèòìû ÷åðåç îáðàòíóþ ìàòðèöó
N C S C V
t t t t t1
1 1
� �( ( ) )� � T . Ñ ó÷åòîì ýòîãî âàæíî ïîíèìàòü, êàê áóäóò âåñòè
ñåáÿ ÄÀÎ ïðè Vt � 0.
Òåîðåìà 4. Ïðè îãðàíè÷åííîì N è V It mn� / �, � � � è S1 0�
~
lim
( )
K K
Q C G
I
t t
dif t t
r rm
t
rm
� �
�
�
�
�
�
� �
�
�
�
��
�
�
�
�
�
1 1
0
T
�
�
�
�
�
�
�
�
�
�
��
�L
G
I
C
C
H
t
t
rm
t
t
t1
( )
( )
�
�
T
T
, (63)
ãäå
Q Q C Ct t t t� � �1 ( )� �T , Q mn mn1 0� � , (64)
G I Q C C G Q Ct mn t t t t t t� �
�
��
1 1 1( ( ) )� � �T , G mn r1 0� � , (65)
L L C G C H C G C Lt t t t t t t t t rm rm� �� � � � �1 1 0( ) ( ),� � � �T , (66)
H I H H I C Q C
H I C Q
t r t t r t t t
t r t t
�
�
� �
� �
�
(
~ ~
)( ( ) ) ,
~
( (
� �
�
T 1
C C H Ct t t t
� � �) ) ( ) ,T T
1
(67)
H S I Q Qt mn t t�
�
1 ( ) . (68)
Äîêàçàòåëüñòâî. Òàê êàê
S
S
C Ct
s a
t
t
T
t
�
� �
�
�
�
��
�
��
�1 1
1 1
�
�� �( ) , t N� 2, ..., ,
òî èç ëåììû 3, åñëè ïîëîæèòü â (27) �1 1
1�
S , F y x Ct t t( , � ) � � , áóäåò ñëåäîâàòü
S S I Q Q Q Ot mn t t t�
� �� �
1
21( ) / ( / )� � , t N� 2, ..., . (69)
Ïîñêîëüêó K S C N S C Vt t t t t t t
� � �� �
�
( ) ( )T T
1
1
1
1, òî èç (69) è ëåììû 2 èìååì
lim ( ) ( )
�
� �
��
�
��S C N Q Ct t t t t
T T
1
1
1
, (70)
íî òàê êàê R I K C R K Ct mn t t t t t� �
1 ( )� � � � , R mn1 0� , òî îòñþäà âûòåêàåò (65).
Ïðåîáðàçóåì N t1 ñ ïîìîùüþ (69):
N C S C V C H C I C Q Ct t t t t t t t mn t t t1 � � � � � �� � � � � �( ) ( ) ( ( ) ) /T T T � �� �O( / )1 2
� � � ��( ( ) )(
~
/ ( / ))I C Q C H I Omn t t t t mn
� � � �T 1 2 .
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3 23
Èñïîëüçîâàíèå ëåììû 3 äàåò
N H I I C Q C O
t t r t t t1
1 1 1 21
�
� � � � �(
~
/ ) ( ( ) ) ( / )� �� � T
�
� � � �� �
� �� �(
~ ~
)( ( ) ) ( ) ( )I H H I C Q C O H Or t t t t t t
T 1 1 1 .
Èìååì
W W C R C H O C R C Wt t t t t t t t t a rm� � � � � � �1 1 0� �� � � �( ) ( ( / ))( ),T
�rm .
Îòñþäà ñëåäóåò, ÷òî
lim / ( ) ( )
�
� � � ��
�� �
� � ��W C G C H C G Ct s s s s s s s
s a
t
T
1
,
lim
( )
(�
�
���
�
�
��
�
��
��
�
�
��
��
R
I
W
R
I
C
C
t
rm
t
t
rm
t
t
1
1
T T
)T
T�
�
�
�
�
�
�
�
�
��
��
�
�
��
��
�
�
�N
G
I
L
G
It
t
rm
t
t
rm
1
1 1
1
( )
( )
C
C
Ht
t
t
�
�
T
T
�
�
�
�
�
�
.
Òåîðåìà 5. Ïðè îãðàíè÷åííîì N èV It mn� / � , � � � è S1 0� ñïðàâåäëèâî
K K Q Ct t t t
�
�
� �� �
��
�lim ( )1
T , K K L Ct t
dif
t t
�
�
� �� �
��
�lim ( ),
1
T ,
ãäå
Q Q C Ct t t t� � �1 ( )� �T , Q mn mn1 0� � , L L C H Ct t t t t� � �1 ( ) )� �T , L rm rm1 0� � .
Äîêàçàòåëüñòâî ïîâòîðÿåò âûâîä ôîðìóëû (70) â òåîðåìå 4.
6. ×ÈÑËÅÍÍÛÉ ÏÐÈÌÅÐ
Ïðîèëëþñòðèðóåì ýôôåêòèâíîñòü ïîëó÷åííûõ â ðàáîòå ðåçóëüòàòîâ íà îäíîì
èç ñòàíäàðòíûõ ïðèìåðîâ, èñïîëüçóåìûõ ïðè òåñòèðîâàíèè àëãîðèòìîâ [11].
Ðàññìîòðèì çàäà÷ó àïïðîêñèìàöèè ôóíêöèè
y x
x x x
( )
sin( ) / ,
,
�
�
�
�
�
�
0
0.1 x
Îáó÷àþùåå è òåñòèðóþùåå ìíîæåñòâà ( , )x yi i âêëþ÷àþò ïî 2000 òî÷åê, à çíà÷å-
íèÿ xi ðàâíîìåðíî ðàñïðåäåëåíû íà èíòåðâàëå [ , ]
10 10 . Ê îáó÷àþùèì çíà÷åíèÿì yi
äîáàâëÿåòñÿ ðàâíîìåðíî ðàñïðåäåëåííûé íà èíòåðâàëå [ . , . ]
02 02 øóì, à òåñòèðóþùåå
ìíîæåñòâî ïðåäïîëàãàåòñÿ íåçàøóìëåííûì. Èñïîëüçóåòñÿ ñèãìîèäíàÿ ÔÀ è ñðàâíè-
âàåòñÿ òî÷íîñòü àïïðîêñèìàöèè ELM è ÄÀÎ ñ ïîñëåäîâàòåëüíîé îáðàáîòêîé.  êà-
÷åñòâå ìåðû òî÷íîñòè èñïîëüçóåòñÿ îöåíêà 90-é ïðîöåíòèëè îøèáêè àïïðîêñèìàöèè
ïî 500 âûáîðêàì. Âåñà è ñìåùåíèÿ ñêðûòîãî ñëîÿ ïðåäïîëàãàþòñÿ ðàâíîìåðíî ðàñ-
ïðåäåëåííûìè ñëó÷àéíûìè âåëè÷èíàìè íà èíòåðâàëàõ [ , ]
1 1 , [ , ]0 1 ñîîòâåòñòâåííî,
Vt � 016 12. / . Ðåçóëüòàòû ìîäåëèðîâàíèÿ ïðèâåäåíû â òàáë. 1, äëÿ àëãîðèòìîâ, ñëåäó-
þùèõ èç òåîðåì 1, 3 (ÄÀÎ1 è ÄÀÎ2 ñîîòâåòñòâåííî). Âèäíî, ÷òî ÄÀÎ ïðåâîñõîäÿò
ïî òî÷íîñòè ELM êàê íà îáó÷àþùåì, òàê è íà òåñòèðóþùåì ìíîæåñòâàõ. ÄÀÎ1 è
ÄÀÎ2 äàþò ïðàêòè÷åñêè íåðàçëè÷èìûå ðåçóëüòàòû ïî òî÷íîñòè, íî ïðè ýòîì ÄÀÎ2
ïðåâîñõîäèò ÄÀÎ1 ïî áûñòðîäåéñòâèþ íà 32 %. Íà ðèñ. 1 ïðèâåäåíû ãðàôèêè àï-
ïðîêñèìèðóþùèõ çàâèñèìîñòåé 1, 2 (ELM è ÄÀÎ1 ñîîòâåòñòâåííî) äëÿ ïÿòè íå-
éðîíîâ ñêðûòîãî ñëîÿ è îäíîãî èñïîëüçîâàííîãî îáó÷àþùåãî ìíîæåñòâà.
24 ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3
Ò à á ë è ö à 1
Êîëè÷åñòâî
íåéðîíîâ
ñêðûòîãî ñëîÿ
Òî÷íîñòü àëãîðèòìîâ
ïðè îáó÷åíèè ïðè òåñòèðîâàíèè
ELM ÄÀÎ1 ÄÀÎ2 ELM ÄÀÎ1 ÄÀÎ2
4 0.315 0.169 0.174 0.295 0.125 0.13
5 0.272 0.159 0.159 0.246 0.108 0.11
6 0.205 0.148 0.147 0.17 0.092 0.092
ÇÀÊËÞ×ÅÍÈÅ
 íàñòîÿùåé ðàáîòå ðàññìîòðåíà çàäà÷à îáó÷åíèÿ ÍÑÏÐ. Äëÿ åå ðåøåíèÿ
ïðåäëîæåíû àëãîðèòìû, îñíîâàííûå íà àñèìïòîòè÷åñêîì àíàëèçå ïîâåäåíèÿ
ÐÔÊ è ñåïàðàáåëüíîé ñòðóêòóðå ñåòè. Ïîëó÷åíèå óñëîâèé ñõîäèìîñòè ðàçðà-
áîòàííûõ àëãîðèòìîâ — îäíî èç íàïðàâëåíèé äàëüíåéøèõ èññëåäîâàíèé.
ÑÏÈÑÎÊ ËÈÒÅÐÀÒÓÐÛ
1. P a l i t A . , P o p o v i c D . Computational intelligence in time series forecasting: Theory and engi-
neering applications. — New York: Springer, 2005. — 372 p.
2. D e v r o y e L . , G y o r f i L . , L u g o s i G . Probabilistic theory of pattern recognition. — New
York: Springer, 1996. — 636 p.
3. N e u r a l systems for control / D.L Elliott, O.M. Omidvar (Eds ). — Boston: Academ. Press, 1997.
— 362 p.
4. R u m e l h a r t D . E , H i n t o n G . E . , W i l l i a m s R . J . Learning internal representation by er-
ror propagation // Parallel Distributed Proces. — Cambridge, MA: MIT, 1986. — P. 318–362.
5. B a t t i t i R . First and second order methods for learning: Between steepest descent and Newton’s
method // Neural Comput. — 1992. — 4, N 2. — P. 141–166.
6. H a g a n M . T . , M e n h a j M . Training multilayer networks with the Marquardt algorithm // IEEE
Transact. on Neural Networks. — 1994. — 5, N 6. — P. 989–993.
7. S i n g h a l S . , W u I . Training multilayer perceptrons with the extended Kalman filter // Advances
in Neural Inform. Proces. Systems. — 1989. — 1. — P. 133–140.
8. Ii g u n i Y . , S a k a i H . , T o k u m a r u H . A real time learning. Algorithm for a multilayered
neural network based on the extended. Kalman filter // Signal Proces., IEEE Transact. — 1992. —
40, N 4. — P. 959–966.
9. B e r t s e k a s D . P . Incremental least squares methods and the extended Kalman filter // SIAM J.
Optim. — 1996. — 6. — P. 807–822.
10. P e r e y r a V . , S c h e r e r G . , W o n g F . Variable projections neural network training // Mathe-
matics and Comput. in Simulat. — 2006. — 73. — P. 231–243.
11. H u a n g G . B . , Z h u Q . Y . , S i e w C . K . Extreme learning machine: Theory and applications //
Neurocomputing. — 2006. — 70, N 1–3. — P. 489–501.
12. H u a n g G . B . , D . H . W a n g D . H . , L a n Y . Extreme learning machines: A survey // Intern.
Journ. of Machine Leaning and Cybernetics. — 2011. — 2, N 2. — P. 107–122.
13. C y b e n k o G . Aproximation by superpositions of a sigmoidal function // Mathematics of Control,
Signals and Systems. — 1989. — 2. — P. 303–314.
14. G o l u b G . H . , P e r e y r a V . Separable nonlinear least squares: The variable projection method
and its applications // Inverse Problems. — 2003. — 19, N 2. — P. 1–26.
15. A n s l e y C . F . , K o h n R . Estimation, filtering and smoothing in state space models with incom-
pletely specified initial conditions // Ann. Statist. — 1985. — N 13. — P. 1286–1316.
16. A n d e r s o n B . D . O . , M o o r e J . B . Optimal filtering. — New York: Prentice-Hall, 1979. —
19. — 368 p.
17. W i m m e r H . R . Stabilizing and unmixed solutions of the discrete time algebraic Riccati equation
// Proc. Workshop on the Riccati equation in Control, Systems, and Sygnals. — 1989. — Italy. —
P. 95–98.
18. À ë á å ð ò A . Ðåãðåññèÿ, ïñåâäîèíâåðñèÿ è ðåêóððåíòíîå îöåíèâàíèå. — M.: Íàóêà, 1977. —
224 c.
19. L j u n g L . System identification. Theory for the user. — New York: Prentice-Hall, 1999. — 603 p.
Ïîñòóïèëà 06.06.2012
ISSN 0023-1274. Êèáåðíåòèêà è ñèñòåìíûé àíàëèç, 2013, ¹ 3 25
10
8
6
4
2 0 2 4 6 8 10
0.5
0
0.5
1
1.5
x
y(x)
2
1
Ðèñ. 1
|