Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних

Дослiджуються асимптотичнi властивостi Σ-класифiкатора, що не вимагає попередньої iнформацiї про розподiл або форму роздiлової кривої. Побудовано математичний апарат для розв’язання багатокласових задач розпiзнавання з неелiптичним розподiлом даних на основi методу мажоритарного голосування. Дослi...

Повний опис

Збережено в:
Бібліографічні деталі
Дата:2016
Автор: Галкін, О.А.
Формат: Стаття
Мова:Ukrainian
Опубліковано: Видавничий дім "Академперіодика" НАН України 2016
Назва видання:Доповіді НАН України
Теми:
Онлайн доступ:http://dspace.nbuv.gov.ua/handle/123456789/104774
Теги: Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
Назва журналу:Digital Library of Periodicals of National Academy of Sciences of Ukraine
Цитувати:Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних / О.А. Галкін // Доповіді Національної академії наук України. — 2016. — № 6. — С. 25-30. — Бібліогр.: 5 назв. — укр.

Репозитарії

Digital Library of Periodicals of National Academy of Sciences of Ukraine
id irk-123456789-104774
record_format dspace
spelling irk-123456789-1047742017-11-27T09:19:08Z Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних Галкін, О.А. Інформатика та кібернетика Дослiджуються асимптотичнi властивостi Σ-класифiкатора, що не вимагає попередньої iнформацiї про розподiл або форму роздiлової кривої. Побудовано математичний апарат для розв’язання багатокласових задач розпiзнавання з неелiптичним розподiлом даних на основi методу мажоритарного голосування. Дослiджено процедуру визначення форм роздiлових кривих Σ-класифiкатора по геометричнiй структурi даних, що лежать в основi Σ-схеми. Визначено умови, при яких Σ-класифiкатор є асимптотично еквiвалентним правилу Байєса. Исследуются асимптотические свойства Σ-классификатора, который не требует предварительной информации о распределении или форме разделительной кривой. Построен математический аппарат для решения многоклассовых задач распознавания с неэллиптическим распределением данных на основе метода мажоритарного голосования. Исследована процедура определения форм разделительных кривых Σ-классификатора по геометрической структуре данных, лежащих в основе Σ-схемы. Определены условия, при которых Σ-классификатор является асимптотически эквивалентным правилу Байеса. The asymptotic properties of a Σ-classifier that does not require a priori information about the distribution or shape of a dividing curve are studied. A mathematical apparatus is built to solve multiclass recognition problems with a non-elliptic distribution of data on the basis of the majority voting method. The procedure is studied to determine the shapes of dividing curves of a Σ-classifier by the geometric structure of data that are the basis of the Σ-scheme. The conditions, under which the Σ-classifier is asymptotically equivalent to the Bayes rule, are defined. 2016 Article Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних / О.А. Галкін // Доповіді Національної академії наук України. — 2016. — № 6. — С. 25-30. — Бібліогр.: 5 назв. — укр. 1025-6415 http://dspace.nbuv.gov.ua/handle/123456789/104774 519.7 uk Доповіді НАН України Видавничий дім "Академперіодика" НАН України
institution Digital Library of Periodicals of National Academy of Sciences of Ukraine
collection DSpace DC
language Ukrainian
topic Інформатика та кібернетика
Інформатика та кібернетика
spellingShingle Інформатика та кібернетика
Інформатика та кібернетика
Галкін, О.А.
Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
Доповіді НАН України
description Дослiджуються асимптотичнi властивостi Σ-класифiкатора, що не вимагає попередньої iнформацiї про розподiл або форму роздiлової кривої. Побудовано математичний апарат для розв’язання багатокласових задач розпiзнавання з неелiптичним розподiлом даних на основi методу мажоритарного голосування. Дослiджено процедуру визначення форм роздiлових кривих Σ-класифiкатора по геометричнiй структурi даних, що лежать в основi Σ-схеми. Визначено умови, при яких Σ-класифiкатор є асимптотично еквiвалентним правилу Байєса.
format Article
author Галкін, О.А.
author_facet Галкін, О.А.
author_sort Галкін, О.А.
title Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
title_short Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
title_full Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
title_fullStr Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
title_full_unstemmed Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
title_sort асимптотичні властивості σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних
publisher Видавничий дім "Академперіодика" НАН України
publishDate 2016
topic_facet Інформатика та кібернетика
url http://dspace.nbuv.gov.ua/handle/123456789/104774
citation_txt Асимптотичні властивості Σ-класифікатора для багатокласових задач розпізнавання з нееліптичним розподілом даних / О.А. Галкін // Доповіді Національної академії наук України. — 2016. — № 6. — С. 25-30. — Бібліогр.: 5 назв. — укр.
series Доповіді НАН України
work_keys_str_mv AT galkínoa asimptotičnívlastivostísklasifíkatoradlâbagatoklasovihzadačrozpíznavannâzneelíptičnimrozpodílomdanih
first_indexed 2025-07-07T15:51:37Z
last_indexed 2025-07-07T15:51:37Z
_version_ 1837003962466697216
fulltext оповiдi НАЦIОНАЛЬНОЇ АКАДЕМIЇ НАУК УКРАЇНИ 6 • 2016 IНФОРМАТИКА ТА КIБЕРНЕТИКА http://dx.doi.org/10.15407/dopovidi2016.06.025 УДК 519.7 О.А. Галкiн Київський нацiональний унiверситет iм. Тараса Шевченка E-mail: galkin.o.a@gmail.com Асимптотичнi властивостi Σ-класифiкатора для багатокласових задач розпiзнавання з неелiптичним розподiлом даних (Представлено членом-кореспондентом НАН України А.В. Анiсiмовим) Дослiджуються асимптотичнi властивостi Σ-класифiкатора, що не вимагає попере- дньої iнформацiї про розподiл або форму роздiлової кривої. Побудовано математичний апарат для розв’язання багатокласових задач розпiзнавання з неелiптичним розподiлом даних на основi методу мажоритарного голосування. Дослiджено процедуру визначе- ння форм роздiлових кривих Σ-класифiкатора по геометричнiй структурi даних, що лежать в основi Σ-схеми. Визначено умови, при яких Σ-класифiкатор є асимптотично еквiвалентним правилу Байєса. Ключовi слова: правило Байеса, Σ-класифiкатор, асимптотична збiжнiсть. Постановка задачi. Дана робота присвячена дослiдженню результатiв узгодженостi Σ- класифiкатора, який описано в [1], а також визначенню умов, при яких запропоноване пра- вило класифiкацiї буде асимптотично еквiвалентним правилу Байєса. Враховуючи той факт, що дослiджуванi функцiї глибини є обмеженими, будемо вважати, що вони обмеженi. Ви- значимо Vτ (r1, r2) = 1, якщо r2 > dτ (r1) та Vτ (r1, r2) = 0, якщо r2 6 dτ (r1) при r1, r2 ∈ [0, 1] та τ ∈ R∆0 . Вирази Vτ (EH(z), EU (z)) та VτM (EHn(z), EUm(z)) вiдповiдають Σ-класифiкато- ру та його емпiричному аналогу, що має таку форму при τM = argmin{ΨM (τ)}: a) якщо EUm(z) > dτM (EHn(z)), тодi z ∈ U ; б) якщо EUm(z) < dτM (EHn(z)), тодi z ∈ H. Коефiцiєнти помилкової класифiкацiї для Vτ (EH(z), EU (z)) та VτM (EHn(z), EUm(z)) мож- на визначити таким чином: Ψ(Vτ ) = p1PH{x : Vτ (EH(x), EU (x)) = 1}+ p2PU{x : Vτ (EH(x), EU (x)) = 0} (1) © О.А. Галкiн, 2016 ISSN 1025-6415 Доп. НАН України, 2016, №6 25 та ΨM (VM ) = p1PH{x : VτM (EHn(x), EUm(x)) = 1}+ + p2PU{x : VτM (EHn(x), EUm(x)) = 0}, (2) де ΨM (VM ) є умовною ймовiрнiстю помилкової класифiкацiї, коли EUm(X) та dτM (EHn(X)) використовуються для класифiкацiї елемента X. Властивостi Σ-класифiкатора. Розглянемо функцiю Vω(r1, r2) = ω(r1), де змiнну ω будемо використовувати у якостi показника скiнченного об’єднання iнтервалiв [2]. Пiсля за- стосування даної функцiї до (EH(x), EU (x)), класифiкацiя точки x вiдбуватиметься виклю- чно на основi її глибини вiдносно H. Крiм того, пов’язана iз функцiєю ω помилка невiрної класифiкацiї може бути визначена таким чином: Ψ(Vω) = p1PH{x : Vω(EH(x), EU (x)) = 1}+ p2PU{x : Vω(EH(x), EU (x)) = 0}. (3) Далi припустимо, що для a ∈ R та ∀τ ∈ R∆0 PH{x : EU (x) = dτ (EH(x))} = PU{x : EU (x) = dτ (EH(x))} = 0, (4) PH{x : EH(x) = a} = PU{x : EH(x) = a} = 0. (5) Твердження 1 . ∃V0 ∈ G, що Ψ(V0) = inf V ∈G Ψ(V ) при умовi, якщо H та U задоволь- няють (4) та (5). Теорема 1. Нехай EH(·) та EU (·) задовольняють асимптотичнiй збiжностi sup z |EHn(z) − EH(z)| → 0 та sup z |EUm(z) − EU (z)| → 0 при min(n,m) → ∞, а також є неперервними. Крiм того припустимо, що H та U задовольняють (4) та (5). Тодi ΨM (V ) асимптотично сходиться до Ψ(V )приmin(n,m) → ∞для∀ V ∈ G. Доведення. Розглядаючи майже напевну збiжнiсть послiдовностей, ми використаємо теорему Скорохода в сенсi розподiльної збiжностi для побудови вiдповiдного представлення емпiричних розподiлiв [3]. Припустимо, що випадковi вибiрки {Zn} та {Xm} визначенi на ймовiрнiсному просторi (E, η, ε), а випадковiсть введених величин залежить вiд e ∈ E. Таким чином, ми приймаємо {Zn(e)} та {Xm(e)} для послiдовностей, а такожHe n та U e m для емпiричних розподiлiв, що базуються на {Z1(e), . . . , Zn(e)} та {X1(e), . . . , Xm(e)} вiдповiдно. Для спрощення запису введемо позначення Ψe M та V e M . Можна стверджувати, що ∃ множина E0 ∈ η, яка ε(E0) = 1 та для ∀ε ∈ E0 послiдовностi функцiй розподiлу {He n} та {U e m} сходяться до H та U вiдповiдно. Даний висновок слiдує з r-вимiрної теореми Гливенко–Кантеллi, оскiльки min(n,m) → ∞. Тодi ∃ такий ймовiр- нiсний простiр (I, ηI, εI), що якщо e ∈ E0, тодi ∃ такi послiдовностi випадкових величин {Xe,H n }n>0 та {Xe,U m }m>0, що а) розподiлом Xe,H n є He n, а розподiлом Xe,U m –U e m для ∀n, m = 1, . . .. Також розподiлом Xe,H 0 є H, а розподiлом Xe,U 0 –U . б) послiдовностi {Xe,H n }n>1 та {Xe,U m }m>1 сходяться майже напевно до випадкових ве- личин Xe,H 0 та Xe,U 0 вiдповiдно. Наступнi результати мають мiсце при застосуваннi доданих послiдовностей теореми Ско- рохода. 26 ISSN 1025-6415 Dopov. Nac. akad. nauk Ukr., 2016, №6 Зазначимо, що множина E∗ = E0 ∩ E1 має ймовiрнiсть 1, оскiльки E1 є множиною одиничної ймовiрностi, в якiй збiжностi sup z |EHn(z)−EH(z)| → 0 та sup z |EUm(z)−EU (z)| → 0 задоволенi. Отже ми маємо Ψe M (V ) = p1PHe n {z : V (EHe n (z), EUe m (z)) = 1}+ p2PUe m {z : V (EHe n (z), EUe m (z)) = 0} = = p1εI{V (EHe n (Xe,H n ), EUe m (Xe,H n )) = 1}+ p2εI{V (EHe n (Xe,U m ), EUe m (Xe,U m )) = 0} = =W e n +Qe m. (6) де e ∈ E∗. Крiм того, має мiсце така рiвнiсть: |EHe n (Xe,H n )− EH(Xe,H 0 )| = |EHe n (Xe,H n )− EH(Xe,H n )|+ |EH(Xe,H n )−EH(Xe,H 0 )| = =W e n,1 +W e n,2. (7) Оскiльки точка e розглядається як така, що належить до E1, то {W e n,1}n → 0. Однак, оскiльки e ∈ E0, εI ас.→Xe,H 0 , де Xe,H n є випадковими величинами, що визначенi на I. Отже, W e n,2εI ас.→ 0, оскiльки EH є неперервною функцiєю. Використовуючи аналогiчний пiдхiд до EUe m (Xe,H n ), ми отримуємо (EHe n (Xe,H n ), EUe m (Xe,H n )) ас.→(EH(Xe,H 0 ), EU (X e,H 0 )) вiдносно ймовiрностi εI. У даному випадку межею множини {(t, b) : V (t, b) = 0} є {(t, b) : t = = d(b)}, коли V = Vd (d є многочленом) та множиною вигляду {{ai}× [0, 1] : i = 1, . . . , f+1}, коли V є показником об’єднання f iнтервалiв. Тому, як слiдує з (4) та (5), W e n → p1εI{V (EH(Xe,H 0 ), EU (X e,H 0 )) = 1} = p1PH(z : V (EH(z), EU (z)) = 1}, (8) оскiльки розподiлом Xe,H 0 є H. Отже, результат має мiсце, оскiльки (8) виконується для ∀e ∈ E∗, що є множиною одиничної ймовiрностi. Теорему доведено. Далi наведено лему 1, з якої слiдує, що VM ас.→V0, де VM мiнiмiзує емпiричний коефiцiєнт помилкової класифiкацiї, а V0 — множинний коефiцiєнт помилкової класифiкацiї. Лема 1. Нехай VM = arg min V ∈G {ΨM (V )} та V0 = arg min V ∈G {Ψ(V )}. Крiм того, нехай асимптотична збiжнiсть розглядається, як PH{x : VM (EH(x), EU (x)) → V0(EH(x), EU (x))} = 1 (9) та PU{x : VM (EH(x), EU (x)) → V0(EH(x), EU (x))} = 1. (10) Тодi, якщо V0 є унiкальним, то VM ас.→V0 при min(n,m) → ∞. Доведення. Як слiдує з теореми 1, ∃ така множина одиничної ймовiрностi E∗, що Ψe M (V0) ас.→Ψ(V0) для ∀e ∈ E∗. Крiм того, E∗ мiстить множину E0, в якiй виконується асим- птотична збiжнiсть sup z |EHn(z) − EH(z)| → 0 та sup z |EUm(z) − EU (z)| → 0, а також має мiсце теорема Скорохода [4]. ISSN 1025-6415 Доп. НАН України, 2016, №6 27 Розглянемо послiдовнiсть {V e M}M , де e ∈ E∗ є фiксованою точкою. Для доведення да- ної леми необхiдно показати, що вся послiдовнiсть сходиться до E0. Дана збiжнiсть буде мати мiсце, якщо кожна пiдпослiдовнiсть {V e M}M буде мiстити додаткову пiдпослiдовнiсть, що сходиться до E0. Отже, розглянемо пiдпослiдовнiсть {V e M}M . Зазначимо, що дана пiд- послiдовнiсть мiстить асимптотично збiжну пiдпослiдовнiсть. Позначимо границю збiжної пiдпослiдовностi послiдовностi {V e M}M , як V e. Розглядаючи послiдовнiсть {Ψe M (V e M )}M , ми маємо Ψe M (V e M ) = p1εI{V e M (EHe n (Xe,H n ), EUe m (Xe,H n )) = 1}+ + p2εI{V e M (EHe n (Xe,U m ), EUe m (Xe,U m )) = 0}, (11) як i в доведеннi теореми 1. Аналогiчним чином ми отримуємо, що (EHe n (Xe,H n ), EUe m (Xe,H n )) ас.→(EH(Xe,H 0 ), EU (X e,H 0 )). (12) Зазначимо, що збiжнiсть V e M → V e означає, що V e M (EH(z), EU (z)) = 1 при умовi, якщо V e(EH(z), EU (z)) = 1, а (EH(z), EU (z)) не належить межi множини {V e = 1}. Розглядаючи асимптотичну збiжнiсть вiдносно ймовiрностi εI, ми отримуємо такi асим- птотичнi збiжностi: Λ{V e M (EHe n (Xe,H n ),EUe m (Xe,H n ))=1} → Λ{V e(EH(Xe,H 0 ),EU (Xe,H 0 ))=1} (13) та Λ{V e M (EHe n (Xe,H n ),EUe m (Xe,H n ))=0} → Λ{V e(EH(Xe,H 0 ),EU (Xe,H 0 ))=0}, (14) оскiльки ймовiрнiсть того, що Xe,H 0 належить межi {V e = 1} дорiвнює нулю. З рiвностi (11) та теореми Лебега про мажоровану збiжнiсть слiдує, що Ψe M (V e M ) → → Ψ(V e) для точки e, оскiльки всi випадковi величини є додатними та обмеженими 1 [5]. Крiм того, в данiй точцi e має мiсце збiжнiсть Ψe M (V0) ас.→Ψ(V0), та як e ∈ E∗. Таким чином, Ψ(V e) = Ψ(V0), оскiльки Ψ(V0) = limΨe M (V0) > limΨe M (V e M ) = Ψ(V e) > Ψ(V0), (15) що слiдує з визначення V0 та V e M . Отже, V e = V0, враховуючи унiкальнiсть V0. Лему до- ведено. Далi наведемо основний результат роботи. Теорема 2. Припустимо, що p1 = p2, а функцiї щiльностi h1(·) та h2(·) з H та U вiдповiдно мають вигляд hi(z) = vi|Ξi|−1/2fi((z − εi) ′Ξ−1 i (z − εi)) з h1(·) = h2(·) та Ξ1 = Ξ2, де i = 1, 2. Якщо τ1 = (1, 0, . . . , 0), а функцiя глибини, що використовується в алгоритмi класифiкацiї є глибиною Махаланобiса, напiвпросторовою глибиною, симплi- цiальною глибиною, або проекцiйною глибиною, тодi ми маємо, що Ω(ΨM (VM )) → Ψ(Vτ1) при min(n,m) → ∞. Доведення. З леми 1 слiдує, що VM ас.→Vτ1 при min(n,m) → ∞. Крiм того, V0 = Vτ1 . Зазначимо також, що |ΨM (VM )−Ψ(Vτ1)| 6 p1 ∫ |Λ{V M (EHn (x),EUm (x))=1} − Λ{Vτ1 (EH(x),EU (x))=1}|h1(x) dx+ 28 ISSN 1025-6415 Dopov. Nac. akad. nauk Ukr., 2016, №6 + p2 ∫ |Λ{V M (EHn (x),EUm (x))=0} − Λ{Vτ1 (EH(x),EU (x))=0}|h2(x) dx. (16) З теореми Лебега про мажоровану збiжнiсть маємо |ΨM (VM )−Ψ(Vτ1)| ас.→ 0 (17) при min(n,m) → ∞. Даний результат має мiсце при об’єднаннi емпiричних функцiй глибини з множинними функцiями глибини з майже напевною поточковою збiжнiстю. Остаточний результат маємо при повторному застосуваннi теореми Лебега про мажоровану збiжнiсть. Теорему доведено. Враховуючи припущення теореми 2, можна стверджувати, що правило Байєса еквiва- лентно такiй схемi: 1) якщо EU (z) > EH(z), тодi z належатиме U ; 2) якщо EU (z) < EH(z), тодi z належатимеH. Таким чином, Ψ(Vτ1) вiдповiдає байєсiвському ризику. Отже, на основi заданих припущень можна стверджувати, що запропонований Σ-класифiкатор еквiвален- тний правилу Байєса. Цитована лiтература 1. Галкiн О.А. Непараметричний метод класифiкацiї для задач з неелiптичним розподiлом даних на основi глибиннозалежної Σ-схеми // Вiсн. Київ. нац. ун-ту iм. Тараса Шевченка. Сер. фiз.-мат. нау- ки. – 2015. – № 3. – С. 60–65. 2. Lange T., Mosler K, Mozharovskyi P. Fast nonparametric classification based on data depth // Statist. Papers. – 2014. – 55. – P. 53–67. 3. Cuesta-Albertos J. A., Nieto-Reyes A. The random Tukey depth // Computational Statistics & Data Analysis. – 2008. – 52. – P. 4980–4987. 4. Li J., ZuoR. Y. New nonparametric tests of multivariate locations and scales using data depth // Statistical Sci. – 2004. – 19. – P. 687–694. 5. Zuo Y. J. Projection-based depth functions and associated medians // The Annals of Statistics. – 2003. – 31. – P. 1463–1484. References 1. Galkin О. А. Bull. of Taras Shevchenko National University of Kiev. Ser. Phys. & Math., 2015, No 3: 60–65 (in Ukrainian). 2. Lange T., Mosler K, Mozharovskyi P. Statist. Papers, 2014, 55: 53–67. 3. Cuesta-Albertos J. A., Nieto-Reyes A. Computational Statistics & Data Analysis, 2008, 52: 4980–4987. 4. Li J., Zuo R.Y. Statistical Sci., 2004, 19: 687–694. 5. Zuo Y. J. The Annals of Statistics, 2003, 31: 1463–1484. Надiйшло до редакцiї 14.09.2015 А.А. Галкин Киевский национальный университет им. Тараса Шевченко E-mail: galkin.o.a@gmail.com Асимптотические свойства Σ-классификатора для многоклассовых задач распознавания с неэллиптическим распределением данных Исследуются асимптотические свойства Σ-классификатора, который не требует предва- рительной информации о распределении или форме разделительной кривой. Построен ма- тематический аппарат для решения многоклассовых задач распознавания с неэллиптиче- ISSN 1025-6415 Доп. НАН України, 2016, №6 29 ским распределением данных на основе метода мажоритарного голосования. Исследована процедура определения форм разделительных кривых Σ-классификатора по геометрической структуре данных, лежащих в основе Σ-схемы. Определены условия, при которых Σ-клас- сификатор является асимптотически эквивалентным правилу Байеса. Ключевые слова: правило Байеса, Σ-классификатор, асимптотическая сходимость. O.A. Galkin Taras Shevchenko National University of Kiev E-mail: galkin.o.a@gmail.com The asymptotic properties of a Σ-classifier for multiclass recognition problems with non-elliptic distribution of data The asymptotic properties of a Σ-classifier that does not require a priori information about the distribution or shape of a dividing curve are studied. A mathematical apparatus is built to solve multiclass recognition problems with a non-elliptic distribution of data on the basis of the majority voting method. The procedure is studied to determine the shapes of dividing curves of a Σ-classifier by the geometric structure of data that are the basis of the Σ-scheme. The conditions, under which the Σ-classifier is asymptotically equivalent to the Bayes rule, are defined. Keywords: Bayes rule, Σ-classifier, asymptotic convergence. 30 ISSN 1025-6415 Dopov. Nac. akad. nauk Ukr., 2016, №6