Структурне моделювання стійке до викидів у вхідних та залежних змінних
This paper describes advances in the algorithm development designed to solve a task of optimal polynomial model selection on multivariate data sets in presence of outliers in both explanatory and response variables. On one side novel algorithm, as its ancestor, is based on GMDH-type PNN, which gives...
Gespeichert in:
| Datum: | 2010 |
|---|---|
| Hauptverfasser: | , , |
| Format: | Artikel |
| Sprache: | Ukrainian |
| Veröffentlicht: |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України
2010
|
| Online Zugang: | http://dspace.nbuv.gov.ua/handle/123456789/17422 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Zitieren: | Структурне моделювання стійке до викидів у вхідних та залежних змінних / В. Шапошник, А.Е.П. Вілла, Т. Аксенова // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2010. — Вип. 2. — С. 257-271. — Бібліогр.: 18 назв. — укр. |
Institution
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-17422 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-174222011-02-27T12:06:13Z Структурне моделювання стійке до викидів у вхідних та залежних змінних Шапошник, В. Вілла, А.Е.П. Аксенова, Т. This paper describes advances in the algorithm development designed to solve a task of optimal polynomial model selection on multivariate data sets in presence of outliers in both explanatory and response variables. On one side novel algorithm, as its ancestor, is based on GMDH-type PNN, which gives him an universal model structure identification abilities thanks to the evolving adaptively synthesized bounded network. And on the other side the algorithm is enhanced with GM-estimator used for parameter search which allows him achieve robustness to outliers in both explanatory and response variables. Enhanced RPNN demonstrated robustness to outliers in both explanatory and response variables and good accuracy of the automatic structure syntheses. 2010 Article Структурне моделювання стійке до викидів у вхідних та залежних змінних / В. Шапошник, А.Е.П. Вілла, Т. Аксенова // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2010. — Вип. 2. — С. 257-271. — Бібліогр.: 18 назв. — укр. XXXX-0044 http://dspace.nbuv.gov.ua/handle/123456789/17422 519.2 uk Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Ukrainian |
| description |
This paper describes advances in the algorithm development designed to solve a task of optimal polynomial model selection on multivariate data sets in presence of outliers in both explanatory and response variables. On one side novel algorithm, as its ancestor, is based on GMDH-type PNN, which gives him an universal model structure identification abilities thanks to the evolving adaptively synthesized bounded network. And on the other side the algorithm is enhanced with GM-estimator used for parameter search which allows him achieve robustness to outliers in both explanatory and response variables. Enhanced RPNN demonstrated robustness to outliers in both explanatory and response variables and good accuracy of the automatic structure syntheses. |
| format |
Article |
| author |
Шапошник, В. Вілла, А.Е.П. Аксенова, Т. |
| spellingShingle |
Шапошник, В. Вілла, А.Е.П. Аксенова, Т. Структурне моделювання стійке до викидів у вхідних та залежних змінних |
| author_facet |
Шапошник, В. Вілла, А.Е.П. Аксенова, Т. |
| author_sort |
Шапошник, В. |
| title |
Структурне моделювання стійке до викидів у вхідних та залежних змінних |
| title_short |
Структурне моделювання стійке до викидів у вхідних та залежних змінних |
| title_full |
Структурне моделювання стійке до викидів у вхідних та залежних змінних |
| title_fullStr |
Структурне моделювання стійке до викидів у вхідних та залежних змінних |
| title_full_unstemmed |
Структурне моделювання стійке до викидів у вхідних та залежних змінних |
| title_sort |
структурне моделювання стійке до викидів у вхідних та залежних змінних |
| publisher |
Міжнародний науково-навчальний центр інформаційних технологій і систем НАН та МОН України |
| publishDate |
2010 |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/17422 |
| citation_txt |
Структурне моделювання стійке до викидів у вхідних та залежних змінних / В. Шапошник, А.Е.П. Вілла, Т. Аксенова // Індуктивне моделювання складних систем: Зб. наук. пр. — К.: МННЦ ІТС НАН та МОН України, 2010. — Вип. 2. — С. 257-271. — Бібліогр.: 18 назв. — укр. |
| work_keys_str_mv |
AT šapošnikv strukturnemodelûvannâstíjkedovikidívuvhídnihtazaležnihzmínnih AT víllaaep strukturnemodelûvannâstíjkedovikidívuvhídnihtazaležnihzmínnih AT aksenovat strukturnemodelûvannâstíjkedovikidívuvhídnihtazaležnihzmínnih |
| first_indexed |
2025-07-02T18:39:15Z |
| last_indexed |
2025-07-02T18:39:15Z |
| _version_ |
1836561524369391616 |
| fulltext |
. , . . . , .
, 2, 2010
257
519.2
. 1, . .
. 2, . 3
1 «
»,
« », , ;
2 , ,
. , ;
3 «
»,
« », , ;RTRA,
, ,
. , ,
,
,
.
,
,
, .
,
.
:
, , , GM-
, .
This paper describes advances in the algorithm development designed to solve a task of optimal
polynomial model selection on multivariate data sets in presence of outliers in both explanatory
and response variables. On one side novel algorithm, as its ancestor, is based on GMDH-type
PNN, which gives him an universal model structure identification abilities thanks to the evolving
adaptively synthesized bounded network. And on the other side the algorithm is enhanced with
GM-estimator used for parameter search which allows him achieve robustness to outliers in both
explanatory and response variables. Enhanced RPNN demonstrated robustness to outliers in both
explanatory and response variables and good accuracy of the automatic structure syntheses.
Keywords: polynomial neural network, robust regression, non-linear regression, GM-estimators,
structure selection.
-
. , , ,
, ,
.
,
,
.
,
.
: , ,
, GM- , .
, 2, 2010
258
1.
,
.
( ),
, , ( )
.
,
,
.
, ,
.
:
)( oxy f (1)
)(f
, , }{ 1 mxxx
mRx
, pRo
, y
,
.
,
y
,
.
,
o , , ,
)(f .
( [16], S- [9,15], MM-
[17]),
[7,4]. ( )
,
( ), , , .
,
,
.
2.
2.1.
[18,10]
.
.
, /
,
,
.
:
. , . . . , .
, 2, 2010
259
)()()(minarg 2SPfmCRmCRm
Mm
(2)
M
, , )(mCR
m
G , P
, S
2
.
.
- ,
.
,
kji
ijk xxxg 21)( .
[18,10].
2.
,
.
,
c ,
.
(1)
0 .
( - )
[8]
:
1
( )
n
i
i
min r , (3)
ir
)(xfyr ii , )(
0.
y . )(
,
(3)
:
0)())(()())((
11
xxxx ii
n
i
ii
n
i
rrrr , (4)
( ( )) ( ( ))i ir r dx x , ,
/ .
, (4).
,
:
crabsrsignc
crabsr
r
)(if)(
)(if
)(
(5)
, 2, 2010
260
c
, [8].
(4)
.
(Iteratively
Reweighted Least Squares method
IRLS) [13].
(4)
:
ywXXwX iTTi )())(( 1111 i (6)
})(11{1 rw min (7)
1w
,
( )
. .
)(
y ,
X .
[17]
- .
- .
:
)(
1
ri
n
i
rmin (8)
( )
S- GM- [9],
,
X .
:
))())((
1
xixi
n
i
rrmin xx (9)
, )(
GM-
.
, ,
, )(
: , ,
.
: xrwww
rw
,
(7), xw
,
:
})(1{ 2 xmi dCminw {1 }i n
(10)
C ,
-
, )(2 xdm
[11].
. , . . . , .
, 2, 2010
261
C 2
1m
[6,12].
:
)()()( 12
x
T
xmd xSxx (11)
x
S
X .
,
. xw
. ,
, xw
. X ,
- (Orthogonalized Gnanadesikan
and Kettenring algorithm [12,5]).
IRLS
:
)(
1
1
1
i
n
i
r
n
RSS . (12)
,
X
,
:
)(
1
1 2
1
ii
n
i
w wr
n
RSS , (13)
}1{}{ niwixw (10).
(
) -
[1,3,14]:
2
)(
1 2
1 kn
kn
wr
kn
AICr ii
n
i
(14)
,
2
1
kn
kn
RSS
kn
n
w
k
, .
3.
[2]
" ", .
, 2, 2010
262
)( oxfy , )(f
-
maxp
, maxt .
, xXX yy ,
x
,
.
:
1.
S
X ;
2. xw ,
S
,
(10);
3.
bestM ;
4. )( pt
( )( pt , }1{ maxtt
maxpp ):
4.1.
startM
bestM t
p
bestMM ;
4.2. bestM ;
4.3. bestM
(AICr, (14));
4.4.
bestM bestMM ,
AICr
bestM ;
5.
bestMM AICr
(
bestM AICr
);
6. ( )
« »
.
,
, ,
« » ( . 4.1).
,
IRLS.
« »
.
. , . . . , .
, 2, 2010
263
)( pt
,
xw ,
« » startM :
1. :
1.1. startbest MM ;
1.2. bestY bestM
X ;
1.3.
][ bestall YXX
2. }{ kji , }1{ allXkji :
2.1. 1 2
i j k
ijkM x x x , -
kji xxx)( kjiG , px
p - X ;
2.2. ijkM ,
)( pt
;
2.3. 1
2
IRLS xw ,
}{ 21
Ty ][ kji xxx
2.4. ijkM :
))]([()))(()( 2
1
yxxxw kji
x
T
xtijkt
n
t
w wMrrRSS
2.5. ijkM ,
bestiiijk MMMrRSSwMrRSSw ))(())((
2.6. ijkM ,
i
M
( ( )) ( ( ))
i best ijk
ijk i
M M M
RSSw r M RSSw r M
2.7. ijkM bestM ,
T][21
kjikji
ijk xxxxxxx bestX ,
,
bestM ;
3. bestM bestX , K
wRSS ,
bestM
;
4. ][ bestall XXX ;
5. 2 4 .
, 2, 2010
264
3.
.
, .
X
)0( 2
x ,
102
x . X
initM .
)(Xy initM . ,
,
fitX fity .
:
)70()0()70( 222
xxxXXfit . (15)
:
)30()10( 2
yyyfit . (16)
fitM
testX . , , ,
)30( 2
xtestX .
.
)(RS
2))()((
1
ii
Xxtest
xx
X
testi
initfit MMRS . (17)
.1. IRLS,
.
- 300. , )300300[
1500, : 7749, 4831, 18637
IRLS, , .
initX testX -
100 .
. , . . . , .
, 2, 2010
265
.
1. IRLS ( ),
( ) ( - )
.
IRLS ( ,
.2).
.
- .
[2] IRLS .1.
1
10
15
RS
stdmean
310RS
RPNN 23448502399336
11.0%
IRLS 515278638424
1.0%
ERPNN 4304710
0.0%
, 2, 2010
266
RS
33 1010 stdmean
w. 310RS
RPNN 348451164346
99.5%
IRLS 752453490198
78.5%
ERPNN 404131062
8.5%
33 1010 stdmean
w. 310RS
RPNN 086222878481120266
99.5%
IRLS 327446945658272273
85.5%
ERPNN 759882876849003231
38.5%
,
( 3- 2- ).
IRLS , ,
initX X init
,
2- 3- .
5 (4 4
- ). ,
. : 1)( 43
2
4
2
3 xxxxf x
2 , 4- .
2-
, , 6 .
25% (15 X
10
y ). 200
.
1.
.
1. , 15000
0
. 2111 (10.56%), 3821 (19.11%)
34 (0.17%) IRLS, .
[ 300 300)
1500.
: 7749
(38.75%), 4831 (24.16%) 18637 (93.18%) IRLS,
.
RS 200
.
2.
, IRLS
initX ( 5100 ) fitX
15100
35100
.
. , . . . , .
, 2, 2010
267
.
2.
IRLS ( ), ( - )
( ). , RS ,
, RS
AICr ( wRSS )
.
, 12 (
6 7 ).
2
3.
2
AICr wRSS
6 ( 6) 12 ( 12)
-
( - )
310RS
( )
rAIC (T6) 8.5% 5.11
rAIC (T12) 7.5% 5.74
wRSS (T12) 7.5% 10.56
3
AICr wRSS
6 (6 ) 12 (12 )
RS,
80% RS,
20%
( - )
mean std
3 310 10mean std
rAIC (T6) 10 80 8 22
10532 28 453546
rAIC (T12) 12 31 8 89
6536 16842335
wRSS (T12) 15 75 9 95
6536 16842333
RS
, 2, 2010
268
, - 2 (
1% ) ( 1000)
.
, }20105{ON
}2520151050{LN .
4.
4
RS
-
X
Y
33 1010 stdmean
w. 310RS
0 10 2619921
1.0%
5 10 99311193
6.5%
10 10 50371281
8.5%
15 5 92282271
5.5%
15 10 404131062
8.5%
15 20 049337957
15.5%
20 10 9737505115
17.5%
25 10 51117745967
38.5%
(RS) ON LN
.
3.
.
3. RS ( 310RS ),
- (
0 25) ( x) : 5 ( ),
10 ( ) 20
( - )
RS
.
4.
. , . . . , .
, 2, 2010
269
.
4. -
( , RS , )
,
25% ( C
).
.
4. RS
. 10 10 ( - ), 15
( ), 20 ( ) 25 ( )
.
4.
1 ,
.
1 , 17
( ). IRLS ,
.
IRLS ,
,
,
, .
.
2
4, , ,
,
RS- 610
. ,
,
,
.
,
RS- . ,
, 2, 2010
270
,
310 .
,
(
1)
RS :
,
.
.
1. ,
.
93% , 39%
IRLS 24% .
. ,
, ,
.
2 ,
RS 11%,
6 .
, wRSS
5.74 , 10.56
. IRLS , ,
: ,
.
,
. ,
-
, ,
, - .
, ,
, . ,
.
, , .
FP6 #034632
(PERPLEXUS), ICOBI of Foundation Nanoscience at the limits of
Nanoelectronics .
. , . . . , .
, 2, 2010
271
[1] H. Akaike. A new look at the statistical model identification. IEEE
Transactions on Automatic Control, 19:716 723, 1974.
[2] Aksenova, T., Volkovich, V., Villa A.E.P. Robust Structural Modeling and
Outlier Detection with GMDH-Type Polynomial Neural Networks, LNCS, 3697,
881-886, 2005.
[3] K.P. Burnham and D.R. Anderson. Multimodel inference: Understanding aic
and bic in model selection. Sociological Methods Research, 33(2):261 304, 2004.
[4] D. L. Donoho and P. J. Huber. The notion of breakdown point. Festschr. for
Erich L. Lehmann, 157 184, 1983.
[5] R. Gnanadesikan and J. R. Kettenring. Robust estimates, residuals, and
outlier detection with multiresponse data. Biometrics, 28(1):81 124, 1972.
[6] Ali S. Hadi, A. H. M. Rahmatullah Imon, and M. Werner. Detection of
outliers. Wiley Interdisciplinary Reviews: Computational Statistics, 1(1):57 70, 2009.
[7] F. R. Hampel. A general qualitative definition of robustness. Ann. Math.
Stat., 42:1887 1896, 1971.
[8] .
. - .: , 1984. - 304 .
[9] Hendrik P. Lopuhaa. Asymptotics of reweighted estimators of multivariate
location and scatter. The Annals of Statistics, 27(5):1638 1665, 1999.
[10] . ., . .
.
: « . », 1985.
[11] P.C. Mahalanobis. On the generalized distance in statistics. Natl. Inst.
Science, 49 55, 1936.
[12] Ricardo A Maronna and Ruben H Zamar. Robust estimates of location and
dispersion for high-dimensional datasets. Technometrics, 44(4):307 317, 2002.
[13] Dianne P. O Leary. Robust regression computation computation using
iteratively reweighted least squares. SIAM J. Matrix Anal. Appl., 11(3):466 480,
1990.
[14] E. Ronchetti. Robustness aspects of model choice. Statistica Sinica, 7:327
338, 1997.
[15] P. Rousseeuw and V. Yohai. Robust regression by means of s-estimators.
Robust and nonlinear time series analysis, SMC-1(26):256 272, 1983.
[16] P.J. Rousseeuw. Least median of squares regression. Journal of the
American Statistical Association, 79:871 880, 1984.
[17] V. Yohai. High breakdown-point and high efficiency robust estimates for
regression. Ann. Stat., 15:642 656, 1987.
[18] . ., . .
.
.: « », 1987.
|