Исследование сходимости одношаговых адаптивных алгоритмов идентификации
Исследован вопрос сходимости регуляризованных одношаговых адаптивных алгоритмов Качмажа и Нагумо-Ноды, которые используются для решения задачи идентификации. Получены оценки скорости сходимости алгоритмов и показано, что введение параметра регуляризации, улучшая вычислительную устойчивость алгоритмо...
Saved in:
| Date: | 2018 |
|---|---|
| Main Authors: | , , |
| Format: | Article |
| Language: | Russian |
| Published: |
Інститут кібернетики ім. В.М. Глушкова НАН України
2018
|
| Series: | Проблемы управления и информатики |
| Subjects: | |
| Online Access: | http://dspace.nbuv.gov.ua/handle/123456789/180610 |
| Tags: |
Add Tag
No Tags, Be the first to tag this record!
|
| Journal Title: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Cite this: | Исследование сходимости одношаговых адаптивных алгоритмов идентификации / Б.Д. Либероль, О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2018. — № 5. — С. 19-32. — Бібліогр.: 24 назв. — рос. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-180610 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-1806102021-10-06T01:26:06Z Исследование сходимости одношаговых адаптивных алгоритмов идентификации Либероль, Б.Д. Руденко, О.Г. Бессонов, А.А. Методы идентификации и адаптивного управления Исследован вопрос сходимости регуляризованных одношаговых адаптивных алгоритмов Качмажа и Нагумо-Ноды, которые используются для решения задачи идентификации. Получены оценки скорости сходимости алгоритмов и показано, что введение параметра регуляризации, улучшая вычислительную устойчивость алгоритмов, несколько замедляет процесс идентификации. Наличие информации о статистических свойствах полезных сигналов и помех позволяет выбрать параметры алгоритмов, обеспечивающие их максимальную скорость сходимости. Досліджено питання збіжності регуляризованих однокрокових адаптивних алгоритмів Качмажа і Нагумо–Ноди, які використовуються для розв’язання задачі ідентифікації. Отримано оцінки швидкості збіжності алгоритмів і показано, що введення параметра регуляризації, покращуючи обчислювальну стійкість алгоритмів, дещо уповільнює процес ідентифікації. Наявність інформації про статистичні властивості корисних сигналів і завад дозволяє обрати параметри алгоритмів, що забезпечують їх максимальну швидкість збіжності. The questions of convergence of regularized one-step adaptive Kacmazh and Nagumo–Noda algorithms that are used for solving the identification problem, are investigated. Estimates of the rate of algorithms convergence are obtained and it is shown that introducing a regularization parameter, that improves the computational stability of algorithms, leads to a certain slowing down of the identification process. The availability of information regarding the statistical properties of useful signals and interference allows us to choose the parameters of the algorithms that ensure their maximum rate of convergence. 2018 Article Исследование сходимости одношаговых адаптивных алгоритмов идентификации / Б.Д. Либероль, О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2018. — № 5. — С. 19-32. — Бібліогр.: 24 назв. — рос. 0572-2691 http://dspace.nbuv.gov.ua/handle/123456789/180610 004.852 ru Проблемы управления и информатики Інститут кібернетики ім. В.М. Глушкова НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Методы идентификации и адаптивного управления Методы идентификации и адаптивного управления |
| spellingShingle |
Методы идентификации и адаптивного управления Методы идентификации и адаптивного управления Либероль, Б.Д. Руденко, О.Г. Бессонов, А.А. Исследование сходимости одношаговых адаптивных алгоритмов идентификации Проблемы управления и информатики |
| description |
Исследован вопрос сходимости регуляризованных одношаговых адаптивных алгоритмов Качмажа и Нагумо-Ноды, которые используются для решения задачи идентификации. Получены оценки скорости сходимости алгоритмов и показано, что введение параметра регуляризации, улучшая вычислительную устойчивость алгоритмов, несколько замедляет процесс идентификации. Наличие информации о статистических свойствах полезных сигналов и помех позволяет выбрать параметры алгоритмов, обеспечивающие их максимальную скорость сходимости. |
| format |
Article |
| author |
Либероль, Б.Д. Руденко, О.Г. Бессонов, А.А. |
| author_facet |
Либероль, Б.Д. Руденко, О.Г. Бессонов, А.А. |
| author_sort |
Либероль, Б.Д. |
| title |
Исследование сходимости одношаговых адаптивных алгоритмов идентификации |
| title_short |
Исследование сходимости одношаговых адаптивных алгоритмов идентификации |
| title_full |
Исследование сходимости одношаговых адаптивных алгоритмов идентификации |
| title_fullStr |
Исследование сходимости одношаговых адаптивных алгоритмов идентификации |
| title_full_unstemmed |
Исследование сходимости одношаговых адаптивных алгоритмов идентификации |
| title_sort |
исследование сходимости одношаговых адаптивных алгоритмов идентификации |
| publisher |
Інститут кібернетики ім. В.М. Глушкова НАН України |
| publishDate |
2018 |
| topic_facet |
Методы идентификации и адаптивного управления |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/180610 |
| citation_txt |
Исследование сходимости одношаговых адаптивных алгоритмов идентификации / Б.Д. Либероль, О.Г. Руденко, А.А. Бессонов // Проблемы управления и информатики. — 2018. — № 5. — С. 19-32. — Бібліогр.: 24 назв. — рос. |
| series |
Проблемы управления и информатики |
| work_keys_str_mv |
AT liberolʹbd issledovanieshodimostiodnošagovyhadaptivnyhalgoritmovidentifikacii AT rudenkoog issledovanieshodimostiodnošagovyhadaptivnyhalgoritmovidentifikacii AT bessonovaa issledovanieshodimostiodnošagovyhadaptivnyhalgoritmovidentifikacii |
| first_indexed |
2025-07-15T20:46:56Z |
| last_indexed |
2025-07-15T20:46:56Z |
| _version_ |
1837747317903458304 |
| fulltext |
© Б.Д. ЛИБЕРОЛЬ, О.Г. РУДЕНКО, А.А. БЕССОНОВ, 2018
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 19
МЕТОДЫ ИДЕНТИФИКАЦИИ
И АДАПТИВНОГО УПРАВЛЕНИЯ
УДК 004.852
Б.Д. Либероль, О.Г. Руденко, А.А. Бессонов
ИССЛЕДОВАНИЕ СХОДИМОСТИ ОДНОШАГОВЫХ
АДАПТИВНЫХ АЛГОРИТМОВ ИДЕНТИФИКАЦИИ
Введение
Задача идентификации объекта, описываемого уравнением
,T*
nnn xcy (1)
где ny — наблюдаемый выходной сигнал;
T
1 ),, ( Nnnn xxx — вектор входных
сигналов ;1N
T**
1
* ),, ( Nccc — вектор искомых параметров ;1N n —
помеха, сводится к минимизации некоторого наперед выбранного функционала
качества (критерия идентификации), T — символ транспонирования. Наиболее
широко используемый на практике квадратичный функционал приводит к раз-
личным алгоритмам идентификации, позволяющим получить оценки искомого
вектора *c при нормальных распределениях помехи .n Исследования алгоритмов
стохастической аппроксимации [1, 2] свидетельствуют о том, что они обеспечива-
ют получение требуемого качества оценок при наличии помех. При этом, однако,
возникает вопрос повышения скорости сходимости алгоритма идентификации.
Среди самых простых в вычислительном отношении одношаговых алгорит-
мов идентификации наиболее эффективными являются алгоритмы Качмажа и
Нагумо–Ноды.
Алгоритм Качмажа
Алгоритм, имеющий вид
n
n
nnn
nn x
x
xcy
cc
2
Τ
1
1
(2)
и предложенный в работе [3] для решения систем линейных алгебраических урав-
нений, впоследствии, начиная с [4], успешно стал применяться для решения зада-
чи идентификации при построении модели типа (1). Оценки скорости сходимости
данного алгоритма впервые получены в [4–7].
Следует, однако, отметить, что данный алгоритм применяется не только в си-
стемах идентификации [4–10], но и при решении задач фильтрации [11–16].
В иностранной литературе он более известен как нормализованный алгоритм
наименьших квадратов (normalized least-mean-square — NLMS).
Для повышения вычислительной устойчивости (2) В.М. Чадеев [4, 5] пред-
ложил его модификацию — регуляризованный алгоритм
20 ISSN 0572-2691
,
2
Τ
1
1 n
n
nnn
nn x
x
xcy
cc
(3)
где 0 — параметр регуляризации.
Поскольку в литературе вопрос о влиянии введения параметра δ на скорость
сходимости не исследовался, остановимся на этом подробнее. Введем ошибку
идентификации iii cc * и запишем (3) относительно ошибок идентификации:
.
212
T
n
n
y
n
n
n
nn
n
x
x
x
xx
Ι (4)
Для исследования вопросов сходимости рассмотрим следующую лемму.
Лемма 1. Имеет место формула
.
))2((
2
1
)2(
11
22
2
22
x
x
xn
NNx
M (5)
Доказательство. Рассмотрим величину
.2
1
1
)(
00
21
22
dtdxdxee
x
MM Ν
xxtN
N
(6)
Здесь .)2 ( 12 x Но так как [17] ,4
2
2
a
h
azhz e
a
dze
то выражение (6) за-
писывается следующим образом:
.
00
1 dte
t
dte
t
M t
N
t
NN
Обозначим
.1
tω
ω
z
t
nn
(7)
Тогда ,1 2ze
t
dzedt z22 и выражение (6) принимает вид 1M
,2 )2(
0
dzee tzN
где ),(zt как следует из (7), определяется выражением
zezt 22)( .
Воспользовавшись разложением ze2 и ограничиваясь членами второго по-
рядка, получаем
2
2
22
2
4
21)( zz
z
zzt .
С учетом этого можно записать
.22 )2()22(
0
)22()2(
0
1
22
dzeedzeeM zΝzzzzΝ
Разложив
22 ze
в ряд 21 22 2
ze z
и проинтегрировав, получим
.
)22(
4
22
1
2
31
NN
Μ
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 21
Подстановка в данное выражение значения 42 )2( x дает
,
)2(
2
1
)2(
1
22
2
221
x
x
xx NN
Μ
отсюда после несложных преобразований получаем (6).
Утверждение 1. Если выполняются условия
ijjiikmijxmjkini ΜΜxxΜxΜ
22
,,, }{,0}{,}{,0}{ (8)
и помехи не коррелированы с полезными сигналами, то для алгоритма (3) спра-
ведливы оценки
},{
))2((
2
1
)2(
1
1
1}{ 122
2
2
n
x
x
x
n Μ
NN
N
N
Μ (9)
,
))2((
)2(
))2((
1
1
1
22
22
122
x
x
n
x
n
N
N
NN
(10)
где }.{
2
ii M
Доказательство. Учитывая (8), имеем
.
1
22
T
Ι
x
ΜΙ
Nx
xx
Μ
nn
nn
Вычисление математического ожидания от обеих частей (4) и подстановка в
него полученного выражения с учетом (5) дают (9).
Определим дисперсию оценки }.{
2
nΜ После умножения (4) слева на T
n и
усреднения по n получаем
.
)()(
)()(
2}{ 2
.22
2
22
22T
1
2
2T
12
1
2
n
n
n
nnn
n
nn
nn
x
x
x
xx
x
x
Μ (11)
Усредняя выражение (11) по ,nx имеем
.
)(
)(
12
1
22
2
2
22
4
2
2
n
n
n
n
n
n
nn
x
x
M
x
x
M
Nx
x
M
N
(12)
Выражение, стоящее в круглых скобках правой части (12), можно упро-
стить. Так как ,
1
1
22
2
nn
n
x
Μ
x
x
Μ а
22
4
)( n
n
x
x
Μ
,
)(
1
21
22
2
2
nn x
М
x
Μ то
,
)(
1
)(
2
22
2
22
4
2
2
nn
n
n
n
x
Μ
x
x
Μ
x
x
Μ (13)
и формула (12) приобретает вид
.
)(
1
1
1
1 2
22
2
2
2
1
n
n
n
nn
x
x
Μ
x
Μ
N
22 ISSN 0572-2691
Учитывая, что ,
1
)(
1
222
nn x
Μ
x
Μ после дифференциро-
вания выражения (5) по получаем
.
))2((
1
)(
1
2222
Nx
Μ
n
(14)
В окончательном виде формулу (13) запишем так:
.
))2((
1
)(
1
22
2
22
2
Nx
Μ
n
(15)
Рассмотрим последнее слагаемое в (12), вызванное наличием помехи
.
)(
11
)( 222
2
22
2
2
nnn
n
x
Μ
x
Μ
x
x
Μ
Использование формул (5), (14) дает
.
))2((
)2(
22
2
2
2
2
2
N
N
x
x
Μ
n
n
(16)
Подставляя выражения (15), (16) в (12), получаем (10).
При отсутствии помех, как следует из (10), ,0lim
n
n
а скорость сходимо-
сти определяется выражением
22
2
1
))2((
1
1
1
x
nn
NN
. (17)
Из (9) видно, что алгоритм (3) обеспечивает получение асимптотических не-
смещенных оценок, т.е.
0}{lim
n
n
M
и
.
2)2(
}{lim
2
2
2
x
n
n N
N
M (18)
Анализируя полученные выражения, приходим к выводу, что введение пара-
метра , улучшая устойчивость алгоритма, уменьшает скорость его сходимости
(в случае 0 , т.е. для алгоритма Качмажа получаем максимальную скорость
сходимости, равную
N
1
1 ).
При , как отмечалось выше, ,0lim
n
n
т.е. алгоритм сходится в точку.
Наличие помех приводит к тому, что алгоритм сходится в область, определяемую
статистическими свойствами полезных сигналов и помех.
Из (18) при 0 получаем известную оценку для алгоритма Качмажа:
.
2
lim
2
2
N
N
n
n
Модификация алгоритма (3) путем введения параметра , т.е. переход к алгоритму
,
2
Τ
1
1 n
n
nnn
nn x
x
xcy
cc
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 23
приводит к более громоздким формулам. В этом случае выражение (12) принима-
ет вид
32
2222
1
))2((
]2))2(()[1(2
)2(
γ
1
x
xx
nn
N
N
N
.
))2((
)2(
))2(( 22
222
22
2
x
x
x N
N
N
(19)
При 1 из (19) получаем (10).
Хотя вычислительная простота данного алгоритма и хорошие динамические
свойства и обеспечили его популярность, неоднократно предпринимались попытки
улучшить его свойства. Так в [18] рассматривался рандомизированный алгоритм Кач-
мажа, в [19] предлагалось использование в алгоритме переменного шага, а в [15] изу-
чалась возможность выбора в (3) оптимального значения параметра регуляризации.
Следует отметить, что оптимальные выражения для opt и opt могут быть
получены из соотношения (21).
Алгоритм Нагумо–Ноды
В работе [6] предложен алгоритм
,sign
signT
T
1
1 n
nn
nnn
nn x
xx
xcy
cc
(20)
с .1
Как показано в [7], алгоритм (20) можно получить минимизацией евклидовой
нормы расстояния между оценками nc и ,1nc а алгоритм (20) — минимизацией
кубической нормы.
При анализе свойств алгоритма предполагаются выполненными отмеченные
выше свойства полезных сигналов и помех, а также, что .0signT nn xx
Лемма 2. Имеет место формула
.
1
1
2 22
2
N
O
Nx
x
Μ
n
n
(21)
Доказательство. Так как
,)(
2Ν
x
exf
,
2
1 2
x
то (здесь и далее индекс n при переменных x опущен)
N
N
Ν
n
n
xdxd
x
x
xe
x
x
ΜJ
12
2
2
2
2
0
или же
.2 12
2
2
00
0 N
N
N
N
dxdx
x
x
xeJ
Обозначим
.
1
12
2
00
1 N
N
dxdx
x
xeJ
24 ISSN 0572-2691
Тогда .2
1
1
0
y
J
J N
N
Для вычисления 1J введем обозначение ix
,iy т.е. .
i
i
y
x
В этом случае
,
)(
1
1
)(
1
1
2
1
2
1
2
1
1
00
2
1
2
1
2
00
1
2
2
J
ydyd
ydyd
e
ydyd
yy
eJ
N
Ny
N
N
N
N
N
y
N
где
.
)( 2
1
1
00
2
2
N
Ny
N
ydyd
ydyd
eJ
Таким образом,
.1
2
2
J1
2
2 22
2
0 J
NN
J
NN
Ν
N
(22)
Выражение для 2J можно представить следующим образом:
.
)(
1
1
110
)(
1
00
2
2
1
22
2
N
N
yyy
N
ydyd
yyy
eeJ N
Проинтегрируем 2J по :1y
.2
1
)2(
1
0
1
)(
1
1
1
1
01
11
101
1
110
2
12
1
2
1
2
1
yd
yy
ey
yy
ydey
yyyy
e
yd
yyy
e
N
y
N
y
NN
y
n
y
Подставляя в выражение для 2J данный результат, получаем
.2
1
1
N1
1)(
00
2
1
)(
1
00
2
22
1
22
2
N
yy
N
N
N
yy
N
ydyd
yy
y
e
ydyd
yy
eJ
N
N
Обозначим 3J второе слагаемое в правой части выражения для .2J Но
так как
))()((
1
)()( ,23,13,,23,,13 yJyJ
N
yyJyyJ NN
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 25
,
2
1
1
1
)(
00
22
1
N
N
yy
N
N
ydyde
N
N
то
.
2
2
2
2)(
1
00
2
22
2
N
N
Nyy
N
Nyy
ydyd
eJ N
Вычислим
.2
)()()(
1
000
2
)(
0
)(
1
00
2
2
)(
1
00
4
2
3
2
32
2
2
2
22
2
22
2
tddydyeee
ydydtdee
yy
ydyd
eJ
N
tyytyytyy
N
N
yytyy
N
N
Nyy
N
NN
NN
N
Обозначим .)( )(
0
2
duet tuu
Тогда .)(1
0
4 dttN
Рассмотрим :)(t
;
2
)0(
2
0
due u ,
2
1
2
1
)0(
00
2
dzeduue zu
т.е. )(t в точке t 0 убывает:
.
422
1
2
1
02
1
2
1
)0(
2222
00
2
0
dueeueuddueu uuuu
Теперь )(t можно представить рядом
).(Ψ
24
11
1
242
1
2
)( 22 tttttt
(23)
Введем в рассмотрение функцию
.
4
11
1ln
2
ln)(ln)( 2
ttttz (24)
Тогда .)1(
4
0
zd
zd
td
eJ zN
z
Заменим z – z0 на S, т.е. S z – z0 и z z0 + S:
.
))(1(
4
0
0
sd
sd
td
eJ
SzN
z
Разложив t(z) в ряд по z – z0, найдем первые два коэффициента этого разложения:
.21 saa
ds
dt
(25)
26 ISSN 0572-2691
С учетом (23) выражение (24) можно записать следующим образом:
.
4
1
1
1ln
2
ln)(ln)( 2
ttttz (26)
Принимая во внимание, что
2
)1(ln
2x
xx (в нашем случае x
2
4
11
tt ), (26) можно представить в виде
2
22
0
4
11
2
1
4
11
)( ttttztz
или
.
4
1
2
1
)(
2
0
t
tztz
Отсюда
.
1
2
4
1
1 2
ttS (27)
Из (25) имеем
.2
21 SaSat (28)
Подставив (28) в (27), получим
).(
1
2
4
1
)(
1 22
1
2
21
SaSaSaS (29)
Приравнивая коэффициенты при соответствующих степенях S слева и справа (29),
имеем
,0
1
2
4
1
,1
2
1
2
1
a
a
a
отсюда .
4
2
, 21
aa Таким образом, ,
4
2 2
SSt
а .
2
2
S
ds
dt
В результате выражение для 4J примет вид
.
)1(
1
2
)2(
1
12
2
)2(
2
)1(
)1(
0
2
ln)1(
4
NN
dSSeeJ
N
SN
N
Так как
,
22
2
1
442
NN
NN
JJ
а
,
)1(2
)2(
1 2
1
4
NNN
J
N
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 27
то, подставляя значение 2J в (22), окончательно 0J можно записать
,
1
)1(2
2
)1(
1
)2(
)1(2
)2(
1
1
2
1
2
2
22
2
1
0
N
O
NNN
N
NN
N
J
NN
т.е.
220
1
)1(2
2
)1(
1
)2(
N
O
NNN
NJ ,
отсюда следует (21).
Утверждение 2. Для алгоритма (20) справедливы оценки
,}{
1
1}{ 1
nn M
N
M (30)
.
1
22
21
22
2
2
1
N
O
N
a
N
x
nn (31)
Доказательство. Запишем (20) относительно :
.
sign
sign
sign
sign
T1T
T
nn
nn
n
nn
nn
n
xx
x
xx
xx
I
(32)
Усредняя обе части (32), с учетом того, что при симметричном относительно
нуля распределении x
}{
1sign
11
T
nn
n
nn M
Nx
xx
M
и 0,}{ nM получаем (30).
Умножим (32) слева на :T
n
.
sign))(()sign)((
2
2
222T
12
T
1
T
12
1
2
n
nnn
n
nnnn
nn
x
xx
x
xx
(33)
Усредняя обе части (33), учитывая симметричность распределения x и тот
факт, что ,sign 2 Nxn получаем
2
2
2
12
T
T
1
2
1
T
T
1
2
1
2
n
1
sign
2}{}{
n
n
n
nn
n
n
n
nn
nn
x
NM
x
xx
NM
x
xx
MMM
или
2
22
12
2
2
11
12
n
n
n
n
nnn
x
MN
x
x
M
N
. (34)
Наличие помех приводит к тому, что в правой части (34) появляется допол-
нительный член:
2
22 1
nx
MN .
28 ISSN 0572-2691
Так как
N
N
xN
N
n
xdxd
xxx
e
x
M n
12
2100
2
)(
1
2
1 2
,
то, поступая по аналогии с предыдущим (заменяя x на y и т.д.), получаем
22
2
2
1
2
1
2
1
N
Ο
Nx
M
NN
N
N
n
.
Учитывая, что
22
1
x
, окончательно имеем
2222
1
2
1
N
Ο
Nx
M
xn
.
Вставляя полученное выражение и формулу (21) в (25), окончательно полу-
чаем (34).
Как следует из (30), для сходимости (20) в среднем параметр γ должен выби-
раться из условия 0 < γ < 2N.
Формулу (31) можно представить в виде
22
2
2
1
1
2
)1(
N
Ο
N x
nn ,
где
2
2
2
2 2
NNN
.
Для сходимости алгоритма необходимо, чтобы 0 < < Ι. Это обеспечивается
выбором
4
< < 0 .
Оптимальное значение параметра γ, обеспечивающие максимальную скорость
сходимости алгоритма, определится следующим образом: ,024
отсюда
2
opt
. (35)
Этому значению соответствует .2 1
max
Таким образом, при выборе значе-
ния opt для алгоритма (20) справедлива оценка (при ξ = 0) .
2
1 1
nn
N
Итерируя (31), нетрудно получить выражение для остаточной ошибки иден-
тификации .
Оптимальное значение ,opt обеспечивающие максимальное убывание ошиб-
ки идентификации, определяются из условия максимизации .Ψ 1 nnn
В данном случае opt определяется из уравнения
nn NN 112
0
2
2
1
xN и равно
.
)(
2
22
2
opt
xn
xn (36)
Этому значению соответствует
.
)(
2
Ψ
22
22
max
xn
xN
n
N
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 29
Влияние регуляризатора на свойства нелинейного проекционного метода
рассмотрим на примере модифицированного алгоритма Нагумо–Ноды:
.sign
T
1
1 n
n
nnn
nn x
x
xcy
cc
(37)
При анализе сходимости (37) понадобятся некоторые вспомогательные
результаты.
Лемма 3. Имеет место оценка
,
1
Nx
Μ
n
(38)
где .)2( 12 x
Доказательство. Величина }){( 1nxΜ вычисляется следующим образом:
.
1 2
x
dx
xe
x
Μ
N
N
(39)
Здесь и далее индекс n при x опущен.
Как и при выводе (21), введем переменную .ii yx Тогда
.
21
)(
2
1121
)(
0
1
2
000
1
2
00
2
duedtdyeytye
y
yd
ye
x
Μ
tuu
NN
t
N
N
NN
N
N
n
Воспользовавшись представлением )(t вида (23)
2
4
11
1
2
)( ttt
)(Ψ
2
t
и введя в рассмотрение функцию ,)( )(Ψ tetz после преобразований,
аналогичных проведенным ранее, имеем
dze
dz
dt
edtet tNZ
N
tN
00
2
)(
.
1
22
Z
0
N
dzee
N
zN
N
Подставляя данное выражение в (39), получаем (38).
Лемма 4. Имеет место оценка
222
2 1
)(2)( N
Ο
N
N
x
x
M . (40)
Доказательство. Рассмотрим величину
.
)()( 2
2
2
2 2
x
xd
ex
x
x
M x
N
N
(41)
30 ISSN 0572-2691
Обозначим
,
)(
1
2
2
1
2
xd
x
exJ x
а так как
221
)(
1
)(
12
x
Mdx
x
eJ
N
x
N
N
, (42)
а }){( 2xM с учетом (38) вычисляется следующим образом:
,
)(
ω1
)(
1
22
Nx
M
x
M (43)
то, подставляя (42) (с учетом (43)) в формулу (41), после несложных преобразова-
ний получаем (39).
Утверждение 3. При выполнении условий (8) для алгоритма (37) справедли-
вы оценки
21
1
}{1
1
1}{
N
ΟM
N
N
N
M nn ; (44)
22
2
1
1
)(
ωδ
)(2
2
1
1
N
Ο
N
N
N
N
N
nn . (45)
Доказательство. Записанный относительно θ алгоритм (37) имеет вид
.
signsign
1
T
n
nn
n
n
nn
n
x
x
x
xx
Ι (46)
А поскольку при принятых предположениях о свойствах x имеет место соотношение
,
11 sign T
Ι
x
MΙ
Nx
xx
M
nn
nn
(47)
то использование леммы 4 дает (44).
Умножив (46) слева на T
n и усреднив обе его части, получим
.
)(
1
)(
2
1
2
2
121
n
n
n
n
n
n
n
n
x
NM
x
x
M
x
x
M
N
(48)
Подстановка выражений (38), (41), (43), (47) в (48) дает (45).
Введение параметра релаксации в (37), т.е. переход к алгоритму
,sign
Τ
1
1 n
n
nnn
nn x
x
xcy
cc
(49)
приводит также к получению несмещенной оценки с
.
)()(2
21
2
2
2
1
N
N
N
N
N
nn (50)
Сравнивая выражение (48) и (31), нетрудно заметить, что введение парамет-
ра , улучшая устойчивость алгоритма, приводит к некоторому замедлению ско-
рости его сходимости.
Международный научно-технический журнал
«Проблемы управления и информатики», 2018, № 5 31
Область сходимости алгоритма (49) (с учетом того, что 12 )2( x ) опреде-
ляется следующим выражением:
.
))(4(
lim
2
2
x
n
n NN
N
(51)
В случае 0 из (49) и (50) получаем скорость и область сходимости алго-
ритма Нагумо–Ноды (20). Из анализа этих формул видно, что если скорость схо-
димости алгоритма Нагумо–Ноды превышает скорость сходимости регуляризиро-
ванного алгоритма (37), то область сходимости последнего при одних и тех же
значениях параметра меньше, чем у алгоритма (20). Из (51) следует, что с ро-
стом дисперсия оценки 0.n
Нетрудно определить и оптимальное значение параметра , обеспечивающее
максимальную скорость его сходимости. После несложных преобразований получаем
)(
2
2
24
4
2
opt
xn
xn
x
n
N
N
.
Практическое применение найденного значения opt затруднительно, так как оно
зависит от неизвестных величин n и статических свойств полезных сигналов и
помех. Поэтому можно воспользоваться аппроксимацией ,opt
n использующей
оценки неизвестных параметров.
В случае 0 и 02 выражение для opt
n упрощается и opt
n определяет-
ся формулой (36), а при 0 и 02 — формулой (35).
Заключение
Как показали результаты исследований, использование регуляризирующей
добавки в алгоритмах идентификации, улучшая устойчивость алгоритмов, приво-
дит к некоторому замедлению процесса построения модели.
Полученные оценки позволяют определить значения параметров алгоритмов,
обеспечивающих их максимальную скорость сходимости.
Следует, однако, отметить, что для ускорения процесса идентификации нуж-
но перейти от одношаговых к многошаговым, в частности, к проекционным алго-
ритмам [20–23]. Наиболее целесообразен такой подход при идентификации не-
стационарных объектов.
Б.Д. Лібероль, О.Г. Руденко, О.О. Безсонов
ДОСЛІДЖЕННЯ ЗБІЖНОСТІ ОДНОКРОКОВИХ
АДАПТИВНИХ АЛГОРИТМІВ ІДЕНТИФІКАЦІЇ
Досліджено питання збіжності регуляризованих однокрокових адаптивних ал-
горитмів Качмажа і Нагумо–Ноди, які використовуються для розв’язання задачі
ідентифікації. Отримано оцінки швидкості збіжності алгоритмів і показано, що
введення параметра регуляризації, покращуючи обчислювальну стійкість алго-
ритмів, дещо уповільнює процес ідентифікації. Наявність інформації про статис-
тичні властивості корисних сигналів і завад дозволяє обрати параметри алгорит-
мів, що забезпечують їх максимальну швидкість збіжності.
32 ISSN 0572-2691
B.D. Liberol, O.G. Rudenko, A.A. Bezsonov
INVESTIGATION OF SINGLE-STEP ADAPTIVE
IDENTIFICATION ALGORITHMS CONVERGENCE
The questions of convergence of regularized one-step adaptive Kacmazh and Nagu-
mo–Noda algorithms that are used for solving the identification problem, are investi-
gated. Estimates of the rate of algorithms convergence are obtained and it is shown
that introducing a regularization parameter, that improves the computational stability
of algorithms, leads to a certain slowing down of the identification process. The
availability of information regarding the statistical properties of useful signals and in-
terference allows us to choose the parameters of the algorithms that ensure their max-
imum rate of convergence.
1. Вазан М. Стохастическая аппроксимация. — М. : Мир, 1972. — 289 с.
2. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оцени-
вание. — М. : Наука, 1972. — 304 с.
3. Kaczmarz S. Angenäherle auflösung von systemen linearer gleichungen // Bull. Int. Acad. Polon.
Sci. Lett., C 1, Sci. Math. Nat., Ser. A, 1937. — P. 355–357.
4. English translation: Kaczmarz S. Approximate solution of systems of linear equations // Int. J. of
Control, 1993. — 57. — P. 1269–1271.
5. Чадеев В.М. Определение динамических характеристик объектов в процессе их нормаль-
ной эксплуатации для целей самонастройки // Автоматика и телемеханика. — 1964. — 25,
№ 9. — С. 1302–1306.
6. Райбман Н.С., Чадеев В.М. Адаптивные модели в системах управления. — М. : Сов. радио,
1966. — 156 с.
7. Nagumo I., Noda A. A learning method for system identification // IEEE Trans. Autom. Control,
1967. — AC-12. — N 3. — P. 282–287.
8. Aved’jan E.D. Bestimmung der parameter linearer modelle stationärer und instationärer strecken //
Messen, Steuern, Regeln. — 1971. — N 9. — P. 348–350.
9. Ljung L., Söderström T. Theory and practice of recursive identification // Cambridge, MA: MIT
Press, 1983. — 529 p.
10. Льюнг Г. Идентификация систем. Теория для пользователя. — М. : Наука, 1991. — 432 с.
11. Руденко О.Г. Оценка скорости сходимости одношаговых устойчивых алгоритмов иденти-
фикации // Докл. АН УССР. — Сер. А. Физ-мат и техн. науки. — 1982. — № 1. — С. 64–66.
12. Widrow B., Stearns S.D. Adaptive signal processing. Prentice-Hall, Englewood Cliffs, New York, 1985.
13. Sayed Ali H. Fundamentals of adaptive filtering. — New York : Wiley, 2003. — 1112 p.
14. Diniz P.S.R. Adaptive filtering: algorithms and practical implementation, 3rd ed., published by
Springer Publishers, 2008. — 627 p.
15. Benesty J., Paleologu C., Ciochinǎ S. On regularization in adaptive filtering // IEEE Trans. Au-
dio, Speech, Language Process. — 2011. — 19. — P. 1734–1742.
16. Paleologu C., Ciochina S., Benesty J., Grant S.L. An overview on optimized NLMS algorithms
for acoustic echo cancellation // EURASIP J. Adv. Sig. Proc. — 2015. — 97. — 19 p.
17. Ciochina S., Paleologu C., Benesty J. An optimized NLMS algorithm for system identification //
Signal Processing. — 2016. — 118. — P. 115–121.
18. Пугачев В.С. Теория случайных функций и ее применение к задачам автоматического
управления. — М. : Физматгиз, 1962. — 884 с.
19. Strohmer T., Vershynin R. Comments on the randomized Kaczmarz method // Journal of Fourier
Analysis and Applications. — 2009. — 15(4). — P. 437–440.
20. Lee J., Chen J., Huang H. Performance comparison of variable step-size NLMS algorithms //
Proc. of the World Congress on Eng. and Computer Science. WCECS 2009, October 20-22. —
2009, San Francisco, USA. — I. — 4 p.
21. Ищенко Л.А., Либероль Б.Д., Руденко О.Г. Проекционные алгоритмы идентификации ли-
нейных объектов // Докл. АН УССР. Сер. А. — 1985. — № 7. — C. 62–64.
22. Ищенко Л.А., Либероль Б.Д., Руденко О.Г. Адаптивное оценивание параметров нестацио-
нарных объектов // Там же. — 1985. — № 12. — C. 70–72.
23. Ищенко Л.А., Руденко О.Г. О свойствах одного класса многошаговых адаптивных алгорит-
мов идентификации // Кибернетика. — 1986. — № 1. — С. 92–96.
24. Либероль Б.Д., Руденко О.Г. О свойствах проекционных алгоритмов оценивания парамет-
ров нестационарных объектов // Докл. АН УССР. Сер. А. — 1990. — № 4. — C. 71–74.
Получено 28.11.2017
|