Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений
Рассмотрена проблема распознавания объектов электрооптических изображений, полученных с помощью мультиспектральных систем. Для ее решения предлагается нечеткая нейронная сеть (ННС). Описаны различные алгоритмы обучения ННС в задаче классификации объектов. Приведены результаты экспериментальных иссле...
Збережено в:
| Дата: | 2009 |
|---|---|
| Автори: | , , |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2009
|
| Назва видання: | Системні дослідження та інформаційні технології |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/42239 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений / Ю.П. Зайченко, И.М. Петросюк, М.С. Ярошенко // Систем. дослідж. та інформ. технології. — 2009. — № 4. — С. 61–76. — Бібліогр.: 9 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-42239 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-422392013-03-14T03:10:15Z Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений Зайченко, Ю.П. Петросюк, И.М. Ярошенко, М.С. Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Рассмотрена проблема распознавания объектов электрооптических изображений, полученных с помощью мультиспектральных систем. Для ее решения предлагается нечеткая нейронная сеть (ННС). Описаны различные алгоритмы обучения ННС в задаче классификации объектов. Приведены результаты экспериментальных исследований эффективности этих алгоритмов на реальных данных. Розглянуто проблему розпізнавання об’єктів електрооптичних зображень, отриманих за допомогою мультиспектральних систем. Для її вирішення запропоновано нечітку нейронну мережу (ННМ). Описано різні алгоритми навчання ННМ у задачі класифікації об’єктів. Наведено результати експериментальних досліджень ефективності цих алгоритмів на реальних даних. The problem of object recognition in electrooptical images obtained using multispectral optical systems is considered. A fuzzy neural network is suggested for the solution of this problem. Different training algorithms for fuzzy neural network are considered, and the results of experimental investigations of their efficiency on the basis of real data are presented. 2009 Article Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений / Ю.П. Зайченко, И.М. Петросюк, М.С. Ярошенко // Систем. дослідж. та інформ. технології. — 2009. — № 4. — С. 61–76. — Бібліогр.: 9 назв. — рос. 1681–6048 http://dspace.nbuv.gov.ua/handle/123456789/42239 683.519 ru Системні дослідження та інформаційні технології Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| spellingShingle |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах Зайченко, Ю.П. Петросюк, И.М. Ярошенко, М.С. Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений Системні дослідження та інформаційні технології |
| description |
Рассмотрена проблема распознавания объектов электрооптических изображений, полученных с помощью мультиспектральных систем. Для ее решения предлагается нечеткая нейронная сеть (ННС). Описаны различные алгоритмы обучения ННС в задаче классификации объектов. Приведены результаты экспериментальных исследований эффективности этих алгоритмов на реальных данных. |
| format |
Article |
| author |
Зайченко, Ю.П. Петросюк, И.М. Ярошенко, М.С. |
| author_facet |
Зайченко, Ю.П. Петросюк, И.М. Ярошенко, М.С. |
| author_sort |
Зайченко, Ю.П. |
| title |
Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений |
| title_short |
Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений |
| title_full |
Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений |
| title_fullStr |
Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений |
| title_full_unstemmed |
Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений |
| title_sort |
исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений |
| publisher |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| publishDate |
2009 |
| topic_facet |
Проблеми прийняття рішень і управління в економічних, технічних, екологічних і соціальних системах |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/42239 |
| citation_txt |
Исследование нечетких нейронных сетей в задачах распознавания объектов електрооптических изображений / Ю.П. Зайченко, И.М. Петросюк, М.С. Ярошенко // Систем. дослідж. та інформ. технології. — 2009. — № 4. — С. 61–76. — Бібліогр.: 9 назв. — рос. |
| series |
Системні дослідження та інформаційні технології |
| work_keys_str_mv |
AT zajčenkoûp issledovanienečetkihnejronnyhsetejvzadačahraspoznavaniâobʺektovelektrooptičeskihizobraženij AT petrosûkim issledovanienečetkihnejronnyhsetejvzadačahraspoznavaniâobʺektovelektrooptičeskihizobraženij AT ârošenkoms issledovanienečetkihnejronnyhsetejvzadačahraspoznavaniâobʺektovelektrooptičeskihizobraženij |
| first_indexed |
2025-07-04T00:44:14Z |
| last_indexed |
2025-07-04T00:44:14Z |
| _version_ |
1836675083946426368 |
| fulltext |
© Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко, 2009
Системні дослідження та інформаційні технології, 2009, № 4 61
TIДC
ПРОБЛЕМИ ПРИЙНЯТТЯ РІШЕНЬ І
УПРАВЛІННЯ В ЕКОНОМІЧНИХ, ТЕХНІЧНИХ,
ЕКОЛОГІЧНИХ І СОЦІАЛЬНИХ СИСТЕМАХ
УДК 683.519
ИССЛЕДОВАНИЕ НЕЧЕТКИХ НЕЙРОННЫХ СЕТЕЙ В
ЗАДАЧАХ РАСПОЗНАВАНИЯ ОБЪЕКТОВ
ЭЛЕКТРООПТИЧЕСКИХ ИЗОБРАЖЕНИЙ
Ю.П. ЗАЙЧЕНКО, И.М. ПЕТРОСЮК, М.C. ЯРОШЕНКО
Рассмотрена проблема распознавания объектов электрооптических изображе-
ний, полученных с помощью мультиспектральных систем. Для ее решения
предлагается нечеткая нейронная сеть (ННС). Описаны различные алгоритмы
обучения ННС в задаче классификации объектов. Приведены результаты экс-
периментальных исследований эффективности этих алгоритмов на реальных
данных.
ВВЕДЕНИЕ
В последние годы получили широкое применение мультиспектральные и
гиперспектральные системы для получения электрооптических (ЭО) изобра-
жений земной поверхности с целью последующего ее зондирования и распо-
знавания на ней различных объектов, поиска полезных ископаемых и т.п. [1].
В частности, эти методы применяются для распознавания объектов на
водной поверхности и в прибрежной зоне океана. Задача обнаружения и
распознавания объектов затрудняется из-за высокого уровня помех вследст-
вие влияния пены в прибрежной зоне. Кроме того, имеются другие факторы
случайной и неопределенной природы.
Наличие неполной нечеткой информации и высокий уровень помех на
полученных снимках мультиспектральных систем обусловливают примене-
ние систем с нечеткой логикой и нечетких нейросетей для распознавания
объектов на ЭО-изображениях земной и морской поверхностях [2, 3].
Цель настоящей статьи — исследование эффективности различных ал-
горитмов обучения нечеткой нейросети в задаче распознавания объектов на
ЭО-изображениях земной и морской поверхностях.
МОДЕЛЬ НЕЙРОНЕЧЕТКОЙ КЛАССИФИКАЦИИ
Модель нейронечеткой классификации впервые предложена Д. Науком и
Р. Крузе в 1994 г. [6] и рассматривалась ими как один из вариантов реализа-
ции нечеткого перцептрона NEFClass (Neuro Fuzzy Classification).
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 62
NEFClass используется для определения класса или категории полу-
ченных входных образцов (паттернов). Паттерны — это векторы признаков
n
nxxx R∈= ),,( 1 … , а класс C — подмножество nR . Мы принимаем, что
пересечение двух разных классов является пустым. Величина признака пат-
терна представляется нечетким множеством, и классификация определяется
множеством лингвистических правил. Для каждого входного признака ix
существует iq нечетких множеств i
q
i µµ ,,1 … . Также есть база правил, кото-
рая вмещает k нечетких лингвистических правил kRR ,,1 … .
База правил представляет собой аппроксимацию функции (неизвест-
ной) ϕ : mn ]1,0[→R , которая представляет задачу классификации, где
),,()( 1 mccx …=ϕ такая, что 1=ic и 0=jc ( },,1{ mj …∈ , ij ≠ ). Значит, x
принадлежит классу m
iC ]1,0[→ .
Обозначим наибольший компонент каждого вектора с единицей ( 1=c ),
а все другие компоненты положим равными нулю.
Нечеткие множества и лингвистические правила, обеспечивающие вы-
полнение такой аппроксимации и определяющие результирующую систему
NEFClass, будут получены из множества примеров для обучения. На рис. 1
приведена система NEFClass, которая классифицирует входные образцы с
двумя признаками и двумя отдельными классами, используя пять лингвис-
тических правил.
NEFClass — это трехслойный нечеткий персептрон со следующими
спецификациями:
Рис. 1. Модель NEFClass с двумя признаками, двумя классами и пятью правилами
с1 с2
)1(
1µ )1(
2µ
)1(
3µ
)2(
1µ
)2(
2µ )2(
3µ
1 1 1 1 1
R1 R2 R4 R5R3
x2x1
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 63
1. },,{ 11 nxxU …= — входной слой, },,{ 12 kRRU …= — слой нейронов
правил, },,{ 13 mCCU …= — выходной слой классифицирующих нейронов.
2. Каждая связь между узлами 1Uxi ∈ и 2URr ∈ помечена лингвисти-
ческим термом )(i
jrA ( },,1{ ir qj …∈ ).
3. }1,0{),( ∈cRW определяется для всех 2UR∈ , 3UC∈ .
4. Соединения, которые происходят из одного и того же входного узла
x и имеют идентичные метки, одинаковый вес в любой момент времени.
Такие соединения называются связанными соединениями, а их вес называет-
ся взвешенным.
5. Обозначим Lx,R метку соединения между узлами 1Ux∈ и 2UR∈ , то-
гда для всех 2, URR ∈′ выполняется
RRLLUx RxRx ′=⇒=∈∀ ′ ))(( ,,1 . (1)
6. Для всех узлов правил 2UR∈ и всех узлов 3, UCC ∈′ имеем
CCCRWCRW ′=⇒=′∧= )1),(()1),(( . (2)
7. Для всех выходных узлов 3UC∈ выполняется
ccc aO NET== . (3)
8. Для всех выходных узлов 3UC∈ cNET рассчитывается по формуле
∑
∑
∈
∈=
2
2
),(
),(
NET
UR
UR
R
C CRW
OCRW
. (4)
Система NEFClass может быть построена по неполному знанию об об-
разцах, а затем откалибрована путем обучения или создана с самого начала
посредством обучения. Пользователь должен определить количество на-
чальных нечетких множеств, разбивающих интервал значений, в которых
лежит признак, а также наибольшее количество узлов правил, созданных в
скрытом слое.
Каждое нечеткое множество i
jµ маркируется лингвистическим термом
)(i
jA . Это могут быть такие термы, как «малый», «средний», «большой» и
т.д. Нечеткие множества этих связей, направленные на один и тот же узел
правил R , называются антецедентами узла правила R .
ОБУЧЕНИЕ В СИСТЕМЕ NEFCLASS
Система NEFClass может быть построена по частичным знаниям об образцах.
Пользователь должен определить количество начальных нечетких множеств
и задать значение k — максимальное число узлов правил, которые могут
быть созданы в скрытом слое. Для обучения будем использовать треуголь-
ную функцию принадлежности. Рассмотрим алгоритм обучения.
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 64
Алгоритм обучения системы NEFClass состоит из двух этапов [6–9].
На первом этапе генерируется или задается база лингвистических пра-
вил вида ЕСЛИ – ТО. На втором — проводится настройка весов персептро-
на (нейронной сети) с помощью эмпирического алгоритма или других тео-
ретически обоснованных алгоритмов обучения нейронных сетей, таких как
градиентный и генетический.
Рассмотрим систему NEFClass из п входных нейронов nxx ,,1 … , maxkk ≤
нейронами правил и m выходными нейронами mCC ,,1 … . Пусть задано
обучающее множество образцов )},(,),,{( 11 ss tptpL …= , каждый из кото-
рых состоит из входного np R∈ и желаемого mt }1,0{∈ образцов.
Алгоритм обучения базы правил подробно рассмотрен в работах [1–3]
и поэтому здесь не приводится.
Рассмотрим различные алгоритмы обучения функций принадлежности не-
четких правил с целью оценки их эффективности.
КЛАССИЧЕСКИЙ АЛГОРИТМ ОБУЧЕНИЯ
Этот алгоритм, предложенный Д. Науком и Р. Крузе, носит эмпирический
характер и не имеет теоретического обоснования [6–9].
Шаги
1. Выбираем следующий образец ),( tp из L , распространяем его через
систему NEFClass и определяем выходной вектор C .
2. Для каждого выходного нейрона iC вычисляем
ii CiC Ot −=δ . (5)
3. Для каждого нейрона правил R такого, что его выход 0>RO
а) вычисляем значение Rδ , равное
C
UC
RRR CRWOO δδ ∑
∈
−=
3
),()1( ; (6)
б) находим такой вход x′ , что
)})(,({min))(,(
1
` x
Ux
x ORxWORxW
∈
=′ ; (7)
в) для нечетких множеств ),( RxW ′ определяем величину сдвига для
параметров функции принадлежности (ФП), используя скорость обучения
0>σ
)(sgn)( bOac xRb −−= ′δσδ , (8)
bRa ac δδσδ +−−= )( , (9)
bRc ac δδσδ +−= )( (10)
и применяем изменения к ),( RxW ′ ;
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 65
г) вычисляем критерий остановки, в качестве которого можно взять,
например, такой:
• величина СКО ( 2
iCδΣ ) в течение n итераций не уменьшается;
• значение СКО или средняя относительная ошибка классификации
достигла заданного (желательно близкого к нулю) значения;
• достигнуто минимальное заданное значение процента ошибочной
классификации.
Критерий окончания, завершающий процесс обучения, сформулировать
не просто, потому что ошибка обычно может и не равняться нулю в соот-
ветствии с множеством определений cNET . Решением в данном случае бу-
дет определение максимального количества разрешенных ошибок класси-
фикации [6].
ГРАДИЕНТНЫЙ АЛГОРИТМ ОБУЧЕНИЯ В СИСТЕМЕ NEFCLASS
Пусть критерий обучения сети, которая имеет три слоя (один скрытый),
такой:
( ) ( )( ) minNET 2 →−=∑
=
M
1i
ii WtWe , (11)
где it — желаемое значение і-го выхода нейросети; )(NET wi — фактиче-
ское значение і-го выхода нейросети, для весовой матрицы ],[ 0WWW I= ,
)(),( xRxWW j
I µ== , ),(0 CRWW = .
Т.е., критерий ( )we является средним квадратом ошибки аппроксима-
ции.
Пусть функции активации для нейронов скрытого слоя
)(
1
)(
i
N
i
i
jR xO
i∏
=
= µ , iqj ,,1…= , (12)
где )(xjiµ — функция принадлежности, которая имеет вид
2
2)(
)( )( ij
ij
i
b
ax
i
j ex
−
−
=µ , (13)
и функция активации нейронов выходного слоя (взвешенная сумма)
∑
∑
∈
∈=
2
2
),(
),(
UR
UR
R
C CRW
OCRW
O (14)
или (функция максимума)
RC OCRWO ),(max= . (15)
Рассмотрим градиентный алгоритм обучения нечеткого персептрона.
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 66
1. Пусть ( )nW — текущее значение матрицы весов. Алгоритм имеет вид
( ) ( ) ( )( )nWeγnW1nW w1n ∇−=+ + , (16)
где nγ — размер шага на n -й итерации; w∇ ( )( )nWe — градиент (направле-
ние), который уменьшает критерий (11).
2. На каждой итерации сначала обучаем (корректируем) входные веса
W, зависящие от параметров a и b (13),
( ) ( )
ji
1njiji a
Weγna1na
∂
∂
−=+ +
)( , (17)
( ) ( ) ( )
ji
1njiji b
WVenb1nb
∂
∂′−=+ +γ , (18)
где
1+
′
n
γ — размер шага для параметра b ,
( )( )( ) 2
)(
),(NET2)(
ji
ji
R
M
1k
kkk
ji b
ax
OCRWwt
a
We −
−−=
∂
∂ ∑
=
, (19)
( )( )( )
3
2)(
),(NET2
)(
ji
ji
R
M
1k
kkk
ji b
ax
OCRWwt
b
We −
−−=
∂
∂ ∑
=
. (20)
3. Находим (обучаем) выходные веса
( ) Rkk
k
OWt
CR,W
e )(NET
)(
)(W 0
0
−−=
∂
∂ , (21)
( ) ( )
)(
)( 0
0
k
1n
0
kk C R,W
We
γnW1nW
∂
∂
′′−=+ + . (22)
4. 1: += nn и переходим на следующую итерацию.
Градиентный метод является первым предложенным алгоритмом обу-
чения. Он простой в реализации, но имеет недостатки [2]: медленно сходит-
ся, находит только локальный экстремум.
МЕТОД СОПРЯЖЕННЫХ ГРАДИЕНТОВ ДЛЯ СИСТЕМЫ NEFCLASS
Алгоритм сопряженных градиентов, как и более общий алгоритм сопряжен-
ных направлений, получил применение в области оптимизации потому, что
для широкого класса проблем он обеспечивает сходимость к оптимальному
решению за конечное число шагов [2].
Название сопряженные направления происходит от использования со-
пряженных векторов. В векторном пространстве размерности N множество
векторов { }DP,...,P,P 21 образует множество сопряженнных направлений от-
носительно матрицы A , если
0=ji APP для ji ≠ , (23)
где A — положительно определенная матрица размерности NN × .
Векторы, которые удовлетворяют (23), называют A-сопряженными.
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 67
В N-мерном пространстве есть ровно 1−N независимых векторов, ко-
торые образуют A-сопряженную пару с вектором 1p .
Таким образом, чтобы найти оптимальное решение, нам необходимо
только конечное число направлений.
Алгоритм сопряженных направлений систематически конструирует
множество А-сопряженных векторов. Через максимум N шагов алгоритм
найдет оптимальное направление (для квадратичной функции) и сходимость
будет обеспечена.
Опиcание алгоритма
0. Предположим, что 0K = . Инициализировать весовой вектор W и
вычислить градиент )(grad WEG = . Предположим, что вектор начального
направления
G
G
Kp −= .
1. Найти скаляр *α , который минимизирует ( )pWE α+ , для чего мож-
но использовать метод Фибоначчи или «золотого сечения».
)()()1( KpαKWKW ∗+=+ . (24)
2. Если ( )( ) допε1KWE <+ , где допε — допустимая точность достиже-
ния минимума, то СТОП. Иначе — вычислить новое направление
( ) ( )( )1grad1 +=+ kWEkG . (25)
3. Если 0Kmod = , то новый вектор направления
( ) ( )
( )1
11
+
+
−=+
kG
kGkP . (26)
Иначе
( ) ( )
( ) ( )KGKG
KGKG
β
T
T 11 ++
= (27)
и вычислить новый вектор направления
( ) ( )
( ) ( )kpβkG
kpβkGP 1k ++−
++−
=+ 1
1 . (28)
4. Заменить ( )kp на ( )1+kp и ( )kG на ( )1+kG . Переходим на шаг 1
следующей итерации.
В нашем алгоритме )(kG рассчитывается для двух параметров ( a и b )
последовательно и отдельно, как приведено в градиентном алгоритме. Ско-
рость обучения для этих двух параметров настраивается также отдельно.
ГЕНЕТИЧЕСКИЙ МЕТОД ОБУЧЕНИЯ ДЛЯ СИСТЕМЫ NEFCLASS
Это алгоритм глобальной оптимизации. В нем используются следующие
механизмы [2]:
1) скрещивание родительских пар, генерация потомков;
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 68
2) мутация (действие случайных влияний);
3) естественный отбор лучших (селекция).
Цель обучения — минимизация среднеквадратической ошибки
( )( )∑
=
−=
M
k
kk Wt
M
WE
1
2NET1)( , (29)
где M — количество классов; kt — желаемый класс; ( )WkNET — резуль-
тат классификации; ],[ 01 WWW = , I
ijwW =1 , 0
ijwW = — веса, причем
I
ijw — это терм.
Любая особь представляется соответствующим вектором весов .W
Задается начальная популяция из N особей [ ](0),(0),,(0), Ni1 W...W...W .
Вычисляем индекс пригодности ( FI ) и оцениваем качество прогнози-
рования
max)()( →−= ii WECWFI , (30)
где C — константа.
Дальше происходит скрещивание родительских пар. При выборе роди-
телей используется вероятностный механизм. Обозначим iP — вероятность
выбора і-го отца.
( )
( )∑
=
=
N
1i
i
i
i
WFI
WFI
P
(0)
(0) . (31)
Потом осуществляется скрещивание выбранных пар.
Можно применять разные механизмы скрещивания. Например: для
первого потомка берутся нечетные компоненты из вектора первого родите-
ля, а четные — из второго:
(1)(1)(0)(0) kiki WWWW +⇒⊕ . (32)
Берется
2
N родительских пар ( N — четное) и генерируются N по-
томков.
После того как сгенерированы потомки, на популяцию действует мутация
)()()( nξnwnw ijij +=′ , (33)
где naenξ α−=)( , ]1;1[const +−∈=a ; α — показатель угасания мутации вы-
бирается случайно из интервала [0, 1].
Дальше, после действия мутации, происходит селекция из популяции,
позволяющей выбрать наиболее «приспособленные» особи. Можно исполь-
зовать разные механизмы селекции.
1. Полная замена старой популяции новой.
2. Выбор N лучших из всех существующих особей =+ потомкрод NN
N2= по критерию максимума )(max FI .
После выполнения скрещивания, мутации и селекции текущая итера-
ция заканчивается. Итерации повторяются до тех пор, пока не будет выпол-
няться один из критериев останова.
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 69
ЭКСПЕРИМЕНТЫ ПО РАСПОЗНАВАНИЮ ОБЪЕКТОВ ДАННЫХ
Для выбора данных из электрооптических изображений используется сис-
тема ENVI и возможность картографировать, т.е. совмещать изображения по
контрольным точкам. Изображения получены из разных спектральных ка-
мер [4], что позволяет иметь мультиспектральные изображения (рис. 2).
После выбора 15 контрольных точек из разных спектров (эта функция
не автоматизирована) изображения совмещаются, и мы получаем так назы-
ваемый мультиспектральный куб (рис. 3).
Установлено девять типов разных поверхностей, которые необходимо
классифицировать, для чего использовались так называемые ROI (Region of
Рис. 2. Результаты картографирования
Рис. 3. Мультиспектральные изображения
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 70
Interest). На изображении определялась однородная область, например, пе-
сок, вода, пена, цели красного и белого цветов и т. д. (рис. 4).
Используя систему обработки, определяют среднее значение и диспер-
сию для выбранного региона. Полученные таким образом данные сводятся в
таблицу. Они характеризуют девять классов областей поверхности.
Цели: красная, зеленая, синяя, желтая. Поверхности: пена, вода, сухой
и мокрый песок.
Т.е., эти виды поверхностей отвечают девяти выходным узлам в систе-
ме NEFClass.
Общее количество признаков, которые используются для классифика-
ции видов поверхностей, —четыре: яркость в красном спектре (КС), голу-
бом (ГС), зеленом (ЗС), инфракрасном (ИС).
Общее количество данных составляет 99, по 11 на каждый класс.
Приведем основные статистические характеристики для набора дан-
ных, полученных с помощью мультиспектральной «Mantis» (табл. 1).
Т а б л и ц а 1 . Статистические характеристики для данных системы
«Mantis»
Признаки Минимум Максимум Среднее Стандартноеотклонение
Корреляция
между признаками
и классом
Яркость в КС 28,81 255,00 165,40 76,14 –0 ,46
— // — ГС 72,93 255,00 165,43 68,62 –0 ,32
— // — ЗС 44,34 254,89 121,57 57,64 –0 ,52
— // — ИС 17,03 255,00 140,84 81,58 –0 ,49
Далее проводим эксперименты по обучению распознавания образов,
используя разработанную авторами программу моделирования NEFClass–
BGCGG. Согласно основному принципу исследования моделей, будем про-
водить эксперименты, последовательно изменяя только один параметр.
Рис. 4. Изображение из ROI
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 71
Загружаем данные. Из имеющихся 99 образцов загружаем 54 в качестве
обучающей выборки. Другие 45 будут использованы для тестирования.
Устанавливаем параметры в исходное положение (табл. 2).
Т а б л и ц а 2 . Значение параметров для работы программы
Параметр Значение
Алгоритм генерации правил Лучший для класса
Алгоритм обучения Классический
Количество генерирующих правил Максимальное
Функция агрегации Взвешенная сумма
Обучение взвешенных коэффициентов между
слоем правил и выходным слоем Свободное
Количество термов для каждого признака 5 для всех
Скорость обучения
для взвешенных коэффициентов
между признаками и правилами
σа = 0,1
σb = 0,1
σc = 0,1
Скорость обучения для взвешенных коэффициен-
тов между правилами и выходным слоем σ = 0,1
Максимальное количество эпох 50
Во время процесса обучение было сгенерировано 15 правил (табл. 3).
Т а б л и ц а 3 . База правил нечеткого классификатора
Значение ФП для признака Номер
правила 1 2 3 4
Класс
1 4 4 4 4 0
2 4 0 1 4 1
3 4 0 0 4 1
4 4 1 0 4 1
5 2 3 1 1 2
6 1 0 1 0 3
7 4 4 1 4 4
8 3 4 3 3 5
9 3 3 2 3 5
10 4 4 3 3 5
11 0 0 0 0 6
12 3 2 1 2 7
13 1 0 0 1 8
14 1 1 0 1 8
15 1 0 0 0 8
Исследуем зависимость качества обучения от количества правил, кото-
рые генерируются на первом этапе. В качестве проверки проведем тестиро-
вание на проверочной выборке. Для этого зададим количество правил, на-
чиная от 9 до 14 (табл. 4).
Результат закономерен. Чем больше правил, тем лучше результат тес-
товой классификации, т.е. в правилах сохраняется информация о каждом
классе.
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 72
Т а б л и ц а 4 . Зависимость качества обучения от количества правил
Количество правил СКО Ошибочная
классификация (ОК), %
9 13,071009 24
10 9,545608 15
11 9,910701 15
12 9,705482 15
13 4,769655 4
14 4,739224 4
15 4,751657 4
Исследуем влияние количества термов в признаках на качество обуче-
ния (табл. 5).
Т а б л и ц а 5 . Зависимость качества обучения от количества термов
Количество термов СКО ОК, %
4 5,928639 4
5 4,626252 4
6 4,957257 4
7 5,228448 4
8 5,633563 4
9 6,797175 4
10 7,897521 7
Очень интересный результат мы получили во время серии опытов. Из
табл. 4 видно, что существует оптимальное количество термов, которые мо-
гут быть использованы для описания набора данных во время обучения. При
увеличении количества термов растет количество ошибочно классифициро-
ванных образцов, т.е. при увеличении сложности модели увеличивается
ошибка. Такая же ситуация наблюдается и в методе группового учета аргу-
ментов.
Проведем обучение системы классическим алгоритмом с оптимальным
количеством термов на признаках. Построенные ФП для лингвистических
значений признаков приведены на рис. 5.
Итоговая сумма квадратов ошибок составила 2,852081, количество
ошибочных классификаций — 0, при тесте, как мы уже видели, количество
ошибочных классификаций — 4%, СКО равняется 4,626252, что является
хорошим результатом.
Проведем эксперименты для градиентного алгоритма (рис. 6).
Ошибка в конце обучения — 2,042015, что немножко лучше классиче-
ского метода. При тестировании СКО равнялась 3,786005, а доля ошибоч-
ных классов — 4%. Далее была включена автоматическая настройка скоро-
сти адаптации параметров ФП, для чего использовался алгоритм «золотого
сечения».
Проведем такие же эксперименты с алгоритмом сопряженного гради-
ента (рис. 7).
И в завершение были проведены эксперименты по обучению генетиче-
ским алгоритмом с разными ФП — треугольной и гауссовской.
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 73
Результаты обучения разными алгоритмами показаны в табл. 6. Кстати,
во время обучения для всех алгоритмов получен отличный результат по
ошибочной классификации.
Рис. 5. Результат обучения классическим алгоритмом
Set 0 Set 2 Set 2 Set 3 Set 4 Set 0 Set 1 Set 2 Set 3 Set 4
Set 0 Set 1 Set 2 Set 3 Set 4 Set 0 Set 1 Set 2 Set 3 Set 4
Рис. 6. Результат обучения градиентным методом
Set 0 Set 2 Set 2 Set 3 Set 4 Set 0 Set 1 Set 2 Set 3 Set 4
Set 0 Set 2 Set 2 Set 3 Set 4 Set 0 Set 1 Set 2 Set 3 Set 4
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 74
Т а б л и ц а 6 . Сравнительная таблица для разных алгоритмов обучения
весов связей
Обучение Тестирование Алгоритм обучения
взвешенных
коэффициентов СКО ОК, % СКО ОК, %
Классический 6,650668 0 7,285827 4
Градиентный 5,9893 0 6,829068 4
Сопряженного
градиента 1,132871 0 3,314763 4
Генетический
с треугольной ФП 11,110936 0 13,677424 4
Генетический
с гауссовской ФП 3,204446 0 4,568338 4
Для всех этот показатель равнялся нулю. Однако во время тестирова-
ния результаты были хуже: как минимум два образца классифицировались
ошибочно. Росла также сумма квадратов ошибок для всех без исключения
алгоритмов обучения. Для удобства количество итераций ограничивалось
до 50.
Как видим, результаты удовлетворительны, уровень правильной клас-
сификации на проверочной части выборки составляет 96%. Но результаты
можно было бы улучшить, сформировав более объемную выборку (рис. 8).
На графиках хорошо видно, что наилучшим методом по скорости схо-
димости является метод сопряженных градиентов. Затем — генетический с
гауссовской функцией принадлежности. Менее эффективный — классиче-
ский метод. Наименее эффективный в применении по скорости сходимости
к минимуму — генетический метод с треугольной функцией принад-
лежности.
Set 0 Set 1 Set 2 Set 3 Set 4 Set 0 Set 1 Set 2 Set 3 Set 4
Set 0 Set 1 Set 2 Set 3 Set 4 Set 0 Set 1 Set 2 Set 3 Set 4
Рис. 7. Результат обучения методом сопряженного градиента
Исследование нечетких нейронных сетей в задачах распознавания объектов …
Системні дослідження та інформаційні технології, 2009, № 4 75
Однако критерий, по которому построен график, неоднозначно ото-
бражает качество классификации. Важным критерием оценки методов явля-
ется минимальное количество ошибочно классифицированных образцов.
Все алгоритмы дали одни и те же итоговые результаты по данному крите-
рию (табл. 6). Следовательно, мы убедились, что все алгоритмы работают
адекватно и дают почти одинаковые результаты.
ВЫВОДЫ
1. На тестовых данных исследовано влияние различных параметров на
процесс обучения в нечеткой нейросети. Установлено, что качество обуче-
ния зависит от скорости обучения. Мы увеличили параметр скорости обуче-
ния σ для весовых коэффициентов, которые лежат между признаками и
правилами и значительно приблизились к минимальной точке функции
ошибки. Но во время эксперимента было замечено, что задавать большую
скорость нецелесообразно, так как возникает явление «осцилляции».
2. Наилучший алгоритм по скорости обучения — алгоритм сопряжен-
ных градиентов. Затем — генетический с гауссовской функцией принад-
лежности, за ними следуют градиентный и классический методы. Наиболее
медленный по скорости сходимости — генетический метод с треугольной
функцией принадлежности.
3. В целом на основе проведенных экспериментов на реальных данных
подтверждена целесообразность применения нейронечеткого подхода к
классификации объектов на электрооптических изображениях. Полученные
нечеткие правила дают возможность эксперту или автоматизированной сис-
теме быстро проводить достоверную классификацию.
Рис. 8. Сравнительный график скорости сходимости к оптимальной классификации
различных алгоритмов обучения: 1 — СГ; 2 — генетический с гаусс. ФП; 3 — гра-
диентный; 4 — классический; 5 — генетический с треуг. ФП
0
5
10
15
20
25
30
35
40
45
1 6 11 16 21 26 31 36 41 46
1
2
3
4
5
Ю.П. Зайченко, И.М. Петросюк, М.C. Ярошенко
ISSN 1681–6048 System Research & Information Technologies, 2009, № 4 76
ЛИТЕРАТУРА
1. Абламейко С.В., Лагуновский Д.М. Обработка изображений: технология, мето-
ды, применение. — Минск: Ин-т технической кибернетики НАН Беларуси,
1999. — 300 с.
2. Зайченко Ю.П. Основи проектування інтелектуальних систем. Навчальний по-
сібник. — Київ: Видавничий дім «Слово», 2004. — 352 с.
3. Петросюк І.М., Зайченко Ю.П. Порівняльний аналіз нейро-нечітких систем
класифікації в умовах інформаційної невизначеності // Системні
дослідження та інформаційні технології. — 2006. — № 3. — С. 110–124.
4. ENVI Tutorials. September, 2003, Edition, 2003. — http://www.RSIinc.com.
5. Fuller R. Introduction to Neuro-Fuzzy Systems. Advances in Soft Computing Se-
ries. — Berlin: Springer Verlag, 1999. — 240 р.
6. Nauck D. A fuzzy perceptron as a generic model for neuro-fuzzy approaches / Proc.
Fuzzy-Systeme'94, Munich, October 1994. — Р. 180–190.
7. Nauck D., Kruse R. NEFCLASS – A Neuro-Fuzzy Approach For The Classification
of Data. — Applied Computing, 1995. — http://www.cs.tu-bs.de/~nauck/.
8. Nauck D., Kruse R. What are Neuro-Fuzzy Classifiers / Proc. Seventh International
Fuzzy Systems Association World Congress IFSA’97. — Academia Prague,
1997. — IV. — Р. 228–233.
Поступила 20.11.2007
|