Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV
Показано, что внешняя информация, вызывающая преобразования ситуаций неопределенности, может поступать по информационным каналам. Это происходит в два этапа. Сначала само существование канала создает внешнюю информацию, которая приводит к индукции ситуации неопределенности на выходе канала и к образ...
Збережено в:
| Дата: | 2014 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2014
|
| Назва видання: | Системні дослідження та інформаційні технології |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/85465 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV / М.М. Дидук // Системні дослідження та інформаційні технології. — 2014. — № 1. — С. 113-129. — Бібліогр.: 5 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-85465 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-854652015-08-07T03:02:09Z Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV Дидук, М.М. Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Показано, что внешняя информация, вызывающая преобразования ситуаций неопределенности, может поступать по информационным каналам. Это происходит в два этапа. Сначала само существование канала создает внешнюю информацию, которая приводит к индукции ситуации неопределенности на выходе канала и к образованию информационной связи между двумя системами. После этого становится возможным функционирование образовавшейся информационной связи. Материальный аспект функционирования сводится к порождению сигнала на входе канала и последующей его передаче по каналу. Информационный же аспект состоит в том, что каждое событие появления сигнала на входе или на выходе канала создает внешнюю информацию, которая ведет к вынужденному изменению ситуации неопределенности на противоположном конце канала. Подвергнуты изучению три преобразования информации, связанные с информационными каналами: индукция ситуации неопределенности на выходе канала, образование информационной связи между двумя системами и вынуждение ситуации неопределенности на выходе канала. Получено свидетельство того, что внутренняя информация может превращаться во внешнюю. Сформулированы выводы из статьи. Показано, що зовнішня інформація, що викликає перетворення ситуацій невизначеності, може надходити по інформаційним каналам. Це відбувається в два етапи. Спочатку саме існування каналу створює зовнішню інформацію, яка призводить до індукції ситуації невизначеності на виході каналу і до утворення інформаційного зв’язку між двома системами. Після цього стає можливим функціонування утвореного інформаційного зв’язку. Матеріальний аспект функціонування зводиться до породження сигналу на вході каналу та подальшої його передачі по каналу. Інформаційний же аспект полягає в тому, що кожна подія появи сигналу на вході або на виході каналу створює зовнішню інформацію, яка веде до вимушеної зміни ситуації невизначеності на протилежному кінці каналу. Піддано вивченню три перетворення інформації, пов’язані з інформаційними каналами: індукція ситуації невизначеності на виході каналу, утворення інформаційного зв’язку між двома системами і змушення ситуації невизначеності на виході каналу. Отримано свідоцтво того, що внутрішня інформація може перетворюватися в зовнішню. Сформульовано висновки із статті. It is shown that external information, causing transformations of situations of uncertainty, can enter by information channels. This occurs in two stages. First the very existence of the channel creates external information, which causes induction of the situation of uncertainty on the channel output and creates information relationship between the two systems. Hereon becomes possible operation of created information relationship. The material aspect of the operation is reduced to production of the signal at the channel input and following its transmission through the channel. Information aspect consists in the following. Each event of the appearance of the signal at the input or output of the channel creates external information, which leads to compelled change of the situation of uncertainty on the opposite end of the channel. Three transformations of information, connected with information channel, were subjected to study: induction of the situation of uncertainty on the channel output, creation of information relationship between two systems and forcing of the situation of uncertainty on the channel output. It is received evidence that internal information can be transformed in external information. Conclusions from the article are formulated. 2014 Article Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV / М.М. Дидук // Системні дослідження та інформаційні технології. — 2014. — № 1. — С. 113-129. — Бібліогр.: 5 назв. — рос. 1681–6048 http://dspace.nbuv.gov.ua/handle/123456789/85465 519.7 ru Системні дослідження та інформаційні технології Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| spellingShingle |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Дидук, М.М. Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV Системні дослідження та інформаційні технології |
| description |
Показано, что внешняя информация, вызывающая преобразования ситуаций неопределенности, может поступать по информационным каналам. Это происходит в два этапа. Сначала само существование канала создает внешнюю информацию, которая приводит к индукции ситуации неопределенности на выходе канала и к образованию информационной связи между двумя системами. После этого становится возможным функционирование образовавшейся информационной связи. Материальный аспект функционирования сводится к порождению сигнала на входе канала и последующей его передаче по каналу. Информационный же аспект состоит в том, что каждое событие появления сигнала на входе или на выходе канала создает внешнюю информацию, которая ведет к вынужденному изменению ситуации неопределенности на противоположном конце канала. Подвергнуты изучению три преобразования информации, связанные с информационными каналами: индукция ситуации неопределенности на выходе канала, образование информационной связи между двумя системами и вынуждение ситуации неопределенности на выходе канала. Получено свидетельство того, что внутренняя информация может превращаться во внешнюю. Сформулированы выводы из статьи. |
| format |
Article |
| author |
Дидук, М.М. |
| author_facet |
Дидук, М.М. |
| author_sort |
Дидук, М.М. |
| title |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV |
| title_short |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV |
| title_full |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV |
| title_fullStr |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV |
| title_full_unstemmed |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV |
| title_sort |
меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). часть iv |
| publisher |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| publishDate |
2014 |
| topic_facet |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/85465 |
| citation_txt |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть IV / М.М. Дидук // Системні дослідження та інформаційні технології. — 2014. — № 1. — С. 113-129. — Бібліогр.: 5 назв. — рос. |
| series |
Системні дослідження та інформаційні технології |
| work_keys_str_mv |
AT didukmm meryvnutrennejivnešnejinformaciinaprimereveroâtnostnyhsituacijneopredelennostičastʹiv |
| first_indexed |
2025-07-06T12:40:01Z |
| last_indexed |
2025-07-06T12:40:01Z |
| _version_ |
1836901311401951232 |
| fulltext |
© Н.Н. Дидук, 2014
Системні дослідження та інформаційні технології, 2014, № 1 113
TIДC
НОВІ МЕТОДИ В СИСТЕМНОМУ АНАЛІЗІ,
ІНФОРМАТИЦІ ТА ТЕОРІЇ ПРИЙНЯТТЯ РІШЕНЬ
УДК 519.7
МЕРЫ ВНУТРЕННЕЙ И ВНЕШНЕЙ ИНФОРМАЦИИ
(НА ПРИМЕРЕ ВЕРОЯТНОСТНЫХ СИТУАЦИЙ
НЕОПРЕДЕЛЕННОСТИ). ЧАСТЬ IV
Н.Н. ДИДУК
Показано, что внешняя информация, вызывающая преобразования ситуаций
неопределенности, может поступать по информационным каналам. Это проис-
ходит в два этапа. Сначала само существование канала создает внешнюю ин-
формацию, которая приводит к индукции ситуации неопределенности на выхо-
де канала и к образованию информационной связи между двумя системами.
После этого становится возможным функционирование образовавшейся ин-
формационной связи. Материальный аспект функционирования сводится к по-
рождению сигнала на входе канала и последующей его передаче по каналу.
Информационный же аспект состоит в том, что каждое событие появления
сигнала на входе или на выходе канала создает внешнюю информацию, кото-
рая ведет к вынужденному изменению ситуации неопределенности на проти-
воположном конце канала. Подвергнуты изучению три преобразования ин-
формации, связанные с информационными каналами: индукция ситуации
неопределенности на выходе канала, образование информационной связи меж-
ду двумя системами и вынуждение ситуации неопределенности на выходе ка-
нала. Получено свидетельство того, что внутренняя информация может пре-
вращаться во внешнюю. Сформулированы выводы из статьи.
В первых трех частях статьи [1–3] рассмотрен ряд преобразований инфор-
мации и построены соответствующие меры интенсивности этих преобразо-
ваний. Эти преобразования были связаны как с потерей информации, так
и с ее приобретением. Однако вопрос о том, откуда берется приобретаемая
(внешняя) информация, до сих пор оставался открытым. В третьей части
статьи введено новое понятие информационного канала. А в настоящей четвер-
той части показано, что внешняя информация может быть либо передана по
информационному каналу, либо индуцирована самим существованием канала.
Итак, в этой (заключительной) части статьи изучаются некоторые (но
не все) преобразования информации, связанные с информационными кана-
лами. Рассматриваются две системы A и B , для которых определено поня-
тие состояния, и предполагается, что конкретные состояния, в которых на-
ходятся обе системы, нам неизвестны. Это значит, что для нас существуют
только ситуации неопределенности, касающиеся состояний обеих этих сис-
тем, и до тех пор, пока между системами A и B не образуется информаци-
онная связь, эти ситуации будут независимыми. А что нужно, чтобы инфор-
мационная связь образовалась? Для этого достаточно, например, чтобы эти
системы были соединены информационным каналом. Поскольку мы уже
знаем, что канал может действовать только в каком-нибудь одном направ-
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 114
лении, для определенности предположим, что речь идет о канале, который
будет действовать в направлении от системы A к системе B .
Сразу подчеркнем, что следует отличать образование информационной
связи от функционирования этой связи. Это разные преобразования, кото-
рые происходят под воздействием разных порций внешней информации:
сначала информационная связь должна образоваться, а затем она может на-
чать функционировать. Образование информационной связи не предполага-
ет, что стало известным состояние какой-либо из систем A и B (т.е. еще не
предполагает появления на входе или на выходе канала какого-либо сигна-
ла). Вопросы же, касающиеся изменений в системах A и B после того как
стало известным состояние одной из них, относятся уже к функционирова-
нию информационной связи. Это изменение (которое зависит от ситуации
неопределенности в системе A и от соединяющего обе системы канала)
здесь названо индукцией ситуации неопределенности на выходе канала (вы-
званной ситуацией на его входе). Внутренний же (наиболее важный) аспект
образования информационной связи состоит в том, что системы A и B пе-
рестают быть информационно независимыми.
Начнем с рассмотрения индукции.
16. ИНДУКЦИЯ СИТУАЦИИ НЕОПРЕДЕЛЕННОСТИ НА ВЫХОДЕ
КАНАЛА, ВЫЗВАННАЯ СИТУАЦИЕЙ НА ЕГО ВХОДЕ
Для того чтобы канал мог действовать в направлении от системы A к сис-
теме ,B он должен быть “подключен” к системе A своим входом, а к сис-
теме B — выходом. Таким образом, множество возможных состояний сис-
темы A должно совпасть с входным алфавитом канала, а множество
возможных состояний системы B — с его выходным алфавитом. Тогда (по
терминологии теории информации) система A станет источником инфор-
мации, а система B — ее приемником. Точнее говоря, источником и прием-
ником информации станут ситуации неопределенности в системах соответ-
ственно A и .B
1. Простейшие каналы, описываемые на вероятностном языке.
Прежде чем непосредственно переходить к рассмотрению индукции, необ-
ходимо сделать несколько замечаний. Мы и дальше в качестве ведущего
примера используем вероятностный тип неопределенности. Однако теперь
для этого недостаточно ограничиться рассмотрением таких ситуаций не-
определенности, которые можно описать пространствами вероятностей. Те-
перь необходимо аналогичное ограничение наложить также на рассмат-
риваемые информационные каналы. А это значит, что мы ограничимся
рассмотрением таких каналов, которые можно описать с помощью переход-
ных распределений вероятностей.
Как это ни смешно, но эта примитивная модель (которая, конечно, ни на
что не годна в практическом отношении) дает возможность рассмотреть ос-
новные проблемы, связанные с преобразованиями информации в каналах. За-
метим, что в работе [4] предложен способ формального описания очень широ-
кого спектра информационных каналов.
Напомним также о выводе, к которому мы пришли в первой части статьи
(разд. 2), — о том, что в теории ситуаций неопределенности недопустимо ото-
ждествлять описания ситуаций неопределенности с самими этими ситуациями
(как это делается в теории вероятностей). А поскольку каждый информацион-
ный канал может быть представлен как семейство ситуаций неопределенно-
сти, этот вывод должен естественным образом распространяться и на каналы.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 115
В связи с недопустимостью смешивания понятий канал и описание ка-
нала может возникать (и действительно возникает) проблема некоторой тя-
желовесности языка. Для того чтобы эту проблему несколько смягчить,
описания каналов иногда будем называть формальными каналами.
Итак, пусть X и Y — два дискретных множества и пусть s есть пере-
ходное распределение (ПР) с множества X на .Y Известно, что любое такое
ПР можно представить как семейство вида
)( |)|( Xxxss ∈= • (1)
(с множеством индексов X ). Для каждого Xx∈ элемент )|( xs • семейства
s представляет собой распределение вероятностей на множестве Y (а для
каждого Yy ∈ число )|( xys обычно называют условной вероятностью эле-
мента y относительно элемента x ). Сказанное выше означает, что )|( xs •
представляет собой функцию, определенную на Y . Подчеркнем также, что x
есть не аргумент этой функции )|( xs • , а параметр. Иначе говоря, если
Xzx ∈, и zx ≠ , то )|( xs • и )|( zs • — разные (вообще говоря) функции.
Если информационный канал описывается переходным распределени-
ем s с множества X на множество Y , то эти множества будем называть
соответственно входным и выходным алфавитами как упомянутого ин-
формационного канала, так и формального канала .s
2. Описание индукции. Выше было сказано, что преобразование ин-
дукция не связано с появлением или передачей каких-либо сигналов, а пред-
полагает только само существование канала, соединяющего две системы.
Для описания индукции достаточно иметь: 1) описания двух ситуаций неоп-
ределенности в системах A и B до образования информационной связи
между ними и 2) описание соединяющего их канала. Оставаясь в рамках ве-
роятностного типа неопределенности, мы предположим, что исходные си-
туации в системах A и B описываются пространствами вероятностей соот-
ветственно ),( pX и ),,( qY а канал — переходным распределением .s
Заметим, что после образования информационной связи между систе-
мами A и B совокупная ситуация в этих системах будет полностью харак-
теризоваться парой распределений ),( sp (т.е. она не будет зависеть от рас-
пределения q ). Пары вида ),( sp являются частным случаем так
называемых сигнальных пар (в работе [5] показано, что это новое понятие
является очень емким; оно позволяет значительно усовершенствовать язык,
используемый при обсуждении работы каналов). Поэтому и пару ),( sp
здесь тоже будем называть (вероятностной) сигнальной парой (с входным
и выходным алфавитами соответственно X и Y ). РВ p и ПР s будем на-
зывать (формальным) источником и (формальным) каналом сигнальной
пары ),( sp .
Что же произойдет с системами A и B при образовании информаци-
онной связи? Ситуация в системе A не изменится (как и до образования
связи она будет описываться пространством вероятностей ),( pX ). А вот
в системе B возникнет новая ситуация, которая не будет иметь никакого
отношения к той, которая существовала до возникновения связи. Это преоб-
разование и названо здесь индукцией.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 116
Новую — индуцированную — ситуацию в системе B уже нужно будет
описывать пространством вероятностей )*,( spY , где sp * — распределе-
ние вероятностей на множестве Y следующего вида:
Yxysxpysp
Xx
◊= ⋅∑
∈
)|()(* a . (2)
Распределение РВ sp * назовем сверткой сигнальной пары ),( sp .
Подчеркнем, что распределение sp * начинает действовать на мно-
жестве Y с момента образования информационной связи между системами.
3. Внутренние информационные меры индуцированной ситуации.
Найдем выражения для количества собственной информации точек про-
странства )*,( spY и его меры неопределенности. Аналогично выражению
[1, (2)] количество собственной информации )(yspI ∗ каждой точки Yy ∈
пространства вероятностей )*,( spY имеет вид
)(*
1log)(
ysp
yspI =∗ . (3)
Мера неопределенности ситуации, описываемой пространством
)*,( spY , характеризуется выражением
)(*
1log)(*)*,(
ysp
yspspYG
Yy
⋅∑
∈
= , (4)
аналогичным выражению [1, (5)].
17. ОБРАЗОВАНИЕ ИНФОРМАЦИОННОЙ ЗАВИСИМОСТИ МЕЖДУ
СИСТЕМАМИ НА ВХОДЕ И НА ВЫХОДЕ КАНАЛА
Выше мы уже подчеркнули, что необходимо отличать образование инфор-
мационной связи между системами A и B от функционирования этой свя-
зи. Вопросы функционирования информационной связи (возникшей в ре-
зультате появления канала, соединяющего системы) будем рассматривать
в двух следующих разделах. А здесь ограничимся только вопросами, свя-
занными с образованием информационной связи.
1. Описание преобразования. В разделе 16 было рассмотрено преоб-
разование индукции, которое исходную ситуацию неопределенности в сис-
теме B переводит в некоторую новую ситуацию (эту ситуацию канал s ин-
дуцирует в систему B из системы A ). Как было уже отмечено выше,
индукция представляет собой только внешний (наблюдаемый) эффект обра-
зования информационной связи. Здесь же мы сосредоточимся на рассмотре-
нии внутреннего (наиболее важного) эффекта этого преобразования. Внут-
ренний эффект имеет информационный смысл.
Как этот информационный смысл можно выразить формально? Для
этого сначала нужно перейти к рассмотрению совокупных (для обеих систем
A и B ) ситуаций неопределенности и их формальных описаний. Под ис-
ходной совокупной ситуацией в системах A и B можно понимать двумер-
ную ситуацию, первая и вторая проекции которой информационно незави-
симы и описываются пространствами вероятностей соответственно ),( pX
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 117
и ),( qY . А под результирующей совокупной ситуацией в этих двух системах
можно понимать (тоже двумерную) ситуацию, первая и вторая проекции ко-
торой описываются пространствами вероятностей соответственно ),( pX
и )*,( spY .
В третьей части статьи показано, как построить произведение
),( qpYX ×× пространств ),( pX и ),( qY [3, разд. 14, п. 1]. Это построение
опирается на соотношение [3, (18)]:
,)()(),( yqxpyxqp ⋅=× (5)
справедливое для любых Xx∈ и .Yy ∈ Легко понять, что произведение
),( qpYX ×× и является описанием исходной совокупной ситуации в сис-
темах A и B , поскольку имеют место соотношения [3, (18) и (19)]. Пока-
жем, как описать заключительную совокупную ситуацию.
2. Переход к совместному рассмотрению двух информационно свя-
занных ситуаций. Итак, мы хотим найти способ описания двумерной си-
туации неопределенности, первой и второй проекциями которой были бы
соответственно ситуация в системе A (описываемая пространством вероят-
ностей ),( pX ) и индуцированная ситуация в системе B (описываемая про-
странством вероятностей )*,( spY ). Для описания такой ситуации потребу-
ется двумерное пространство вероятностей вида ),( spYXG × , где РВ sp
определяется так:
.)|()(),( YXxysxpyxsp ×◊= ⋅a (6)
Это значит, что вероятность ),( yxsp любой пары YXyx ×∈),( должна
удовлетворять равенству
.)|()(),( xysxpyxsp ⋅= (7)
РВ sp (на произведении двух множеств YX × ), мы назовем компо-
зицией сигнальной пары .),( sp
Нетрудно убедиться в том, что пространство ),( spYXG × действи-
тельно описывает искомую совокупную ситуацию неопределенности в сис-
темах A и B . Для этого достаточно проверить выполнение двух равенств
,psp =1pr (8)
.spsp ∗=2pr (9)
3. Мера внутренней взаимной информации между входом и выхо-
дом канала. Пусть задана точка ),( yx пространства ),( spYXG × . Из тео-
рии информации хорошо известна (с точностью до обозначений) мера
)(*
)|(log)(, ysp
xysyxspI =↔ , (10)
которую здесь мы назовем количеством внутренней взаимной информа-
ции между состоянием Xx∈ на входе формального канала s и состоянием
Yy ∈ на его выходе (при ситуации неопределенности на входе канала, опи-
сываемой пространством вероятностей .)),( pX
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 118
Заметим, что мера )(, yxspI ↔ является частным случаем меры
)( yxI ↔π [3, (10)]. Действительно, для получения выражения (10) доста-
точно в [3, (10)] вместо π подставить sp и использовать равенство (7):
.)(,)(*)(
),(log)( yxspIyspxp
yxspyxspI ↔==↔
⋅
(11)
4. Количество внешней информации, необходимое для образования
информационной связи. Итак, после данных выше разъяснений образова-
ние информационной связи представляется как преобразование (двумерной)
ситуации неопределенности, описываемой пространством вероятностей
),( qpYX ×× (с независимыми проекциями), в (двумерную) ситуацию, опи-
сываемую пространством ),( spYXG × . Поэтому естественным образом
возникает вопрос, сколько для этого преобразования необходимо внешней
информации. Ответ можно получить, обращаясь к определению 3 и предпо-
ложению 2 [2, разд. 10, п. 2]: искомое количество должно совпадать с коли-
чеством внешней информации в пользу гипотезы sp против гипотезы
qp× . В соответствии с определением 3 эта величина должна быть обозна-
чена )||,( spqpYXE ×× . А согласно [2, (40)] она должна удовлетворять
соотношению
),(
),(log),()||,(
),( yxqp
yxspyxspspqpYXE
YXyx ×
=×× ⋅∑
∈
. (12)
Если воспользоваться соотношениями (5) и (7), то после простых пре-
образований получим выражение
)(
)|(log)|()()||,(
yq
xysxysxpspqpYXE
YyXx
⋅∑⋅∑
∈∈
=×× . (13)
5. Связь с количеством внешней взаимной информации между вхо-
дом и выходом канала. Можно показать, что каким бы ни было распреде-
ление q , будет выполняться неравенство
=××≥×× )||)*(,()||,( spsppYXEspqpYXE
)(*
)|(log)|()(
ysp
xysxysxp
YyXx
⋅∑⋅∑
∈∈
= . (14)
Заметим, что правая часть выражения (14) представляет собой частный
случай меры внешней взаимной информации )|( πYXE ↔ [3, (14)]. Дейст-
вительно, подставив в [3, (14)] распределение sp вместо π и использовав
соотношения (8) и (9), получим
)(*)(
),(log),()|(
),( yspxp
yxspyxspspYXE
YXyx ⋅⋅∑
∈
=↔ . (15)
Сравнение выражений (14) и (15) дает равенство
=××=↔ )||)*(,()|( spsppYXEspYXE
)(*
)|(log)|()(
ysp
xysxysxp
YyXx
⋅∑⋅∑
∈∈
= . (16)
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 119
Итак, мы пришли к следующему выводу.
Количество внешней информации, необходимое для образования информа-
ционной связи, не может оказаться меньшим, чем количество внешней
взаимной информации между входом и выходом канала (при заданной
ситуации неопределенности на входе канала).
18. ВЫНУЖДЕНИЕ СИТУАЦИИ НЕОПРЕДЕЛЕННОСТИ НА ВЫХОДЕ
КАНАЛА ИЗВЕСТНЫМ СОСТОЯНИЕМ ЕГО ВХОДА
В предыдущем разделе показано, что происходит при образовании инфор-
мационной связи между системами A и B благодаря наличию связывающе-
го их канала. Теперь мы рассмотрим, как эта связь может работать. Заме-
тим, что выделение этих двух вопросов для отдельного рассмотрения не
является искусственным (как могло бы показаться), поскольку между ними
имеется принципиальное отличие. Действительно, как видно из раздела 17,
образование информационной связи между системами A и B сводится
к тому, что ситуации неопределенности в обеих системах перестают быть
независимыми. С другой стороны, функционирование информационной свя-
зи состоит в том, что становится известным состояние системы A или сис-
темы .B При этом, любое состояние x системы A может рассматриваться
как сигнал, который появился на входе канала, а затем будет передан по ка-
налу. Аналогично, любое состояние y системы B может рассматриваться
как сигнал, который появился на выходе канала и представляет собой ре-
зультат доставки некоторого сигнала x к системе .B
Заметим, что степень отличия принимаемых сигналов от переданных
может колебаться в широких пределах. К тому же, не существует простой свя-
зи между этими отличиями, с одной стороны, и степенью потери информации
в канале, с другой. Так, канал может, например, менять способ представления
информации практически без ее потери. С другой стороны, возможны значи-
тельные потери информации без изменения способа ее представления. Далее,
время доставки сигнала от системы A к системе B может колебаться от очень
маленького (как в обычных системах связи) до очень большого (вплоть до
миллиардов лет — как при наблюдении далеких космических объектов).
Смысл введения понятия информационный канал как раз и состоит в том, что-
бы выделить существенные характеристики каналов, которые должны отра-
жаться в их описаниях.
Подчеркнем, что каждый раз, когда в системе A или в системе B по-
является новый сигнал, и, следовательно, эта система переходит в новое со-
стояние, ситуация неопределенности в данной системе прекращает свое су-
ществование (коллапсирует). Вторая же ситуация при этом изменяется
в зависимости от того, какой сигнал был порожден в системе A или принят
в системе .B
Классическая теория информации была ориентирована на многократное
и бесперебойное создание сигналов источником информации и их передачу
каналом связи. Такая модель системы связи требовалась для доказательства
асимптотических теорем. Здесь же у нас совершенно другие цели, и модель
многократного порождения и передачи сигналов здесь пока не нужна. Поэто-
му мы ограничиваемся рассмотрением одного шага функционирования ин-
формационной связи.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 120
В данной статье мы рассматриваем только первый этап функциониро-
вания информационной связи — когда становится известным состояние
системы A (т.е. сигнал, порожденный на входе канала). Это событие приво-
дит к возникновению на выходе канала (т.е. в системе B ) новой ситуации
неопределенности.
1. Описание вынуждения. Итак, тема этого раздела — последствия
возникновения сигнала на входе информационного канала. Пусть стало из-
вестно, что система A оказалась в состоянии x . Тогда для наблюдателя,
находящегося в этой же системе A (и знающего, что она оказалась в со-
стоянии x ), ситуация неопределенности в системе B должна измениться:
должна возникнуть ситуация, которую необходимо описывать пространст-
вом вероятностей ))|(,( xsY • , где РВ )|( xs • (действующее на множестве Y )
имеет вид
Yxysyxs ◊=• )|()|( a . (17)
Будем говорить, что эта ситуация в системе B является вынужденной
(т.е. представляет собой результат вынуждения состоянием x системы A ).
Таким образом, преобразование вынуждения приводит к тому, что си-
туация неопределенности, образовавшаяся на выходе канала в результате
индукции и описываемая пространством вероятностей )*,( spY , превраща-
ется в вынужденную ситуацию, описываемую пространством ))|(,( xsY • .
2. Внутренние информационные меры вынужденной ситуации. Ко-
личество собственной информации )()|( yxsI • каждой точки Yy ∈ про-
странства вероятностей ))|(,( xsY • имеет вид
)|(
1log)()|( xys
yxsI =• , (18)
а мера неопределенности порожденной ситуации, описываемой пространст-
вом ))|(,( xsY • , характеризуется выражением
)|(
1log)|())|(,(
xys
xysxsYG
Yy
⋅∑
∈
=• . (19)
3. Условная неопределенность. Напомним, что для описания рассмот-
ренного в разделе 16 преобразования индукции ситуации в системе B ис-
пользовалась свертка sp * сигнальной пары ),( sp , которая, как показыва-
ет выражение (2), представляла собой результат усреднения распределений
)|( xs • по всем Xx∈ . Однако усреднение распределений )|( xs • — не
единственный возможный вид усреднения. Можно, например, усреднить
(тоже по всем Xx∈ ) меры неопределенности ))|(,( xsYG • . В результате
получится новая информационная мера
,))|(,()(),||,( xsYGxppXsYG
Xx
•⋅∑
∈
= (20)
которую мы здесь назовем условной неопределенностью состояния систе-
мы B относительно состояния системы .A
Если в выражение (20) вместо ))|(,( xsYG • подставить правую часть
выражения (19), то получится следующее:
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 121
)|(
1log)|()(),||,(
xys
xysxppXsYG
YyXx
⋅∑⋅∑
∈∈
= . (21)
Легко показать, что какой бы ни была сигнальная пара ),( sp , будет
выполняться неравенство
),||,()*,( pXsYGspYG ≥ , (22)
где )*,( spYG определено в (4).
Неравенство (22) явно имеет какой-то серьезный смысл. И этот смысл
состоит в том, что имеет место равенство
),||,()*,()|( pXsYGspYGspYXE −=↔ (23)
(которое нетрудно проверить). Это равенство добавляет еще одну грань
к тому, что нам уже известно о мере внешней взаимной информации
)|( spYXE ↔ .
19. ИНФОРМАЦИОННЫЙ АНАЛИЗ ВЫНУЖДЕНИЯ СИТУАЦИЙ
НЕОПРЕДЕЛЕННОСТИ
В третьей части статьи было показано, что внешняя информация может пре-
вращаться во внутреннюю [3, разд. 12, пп. 2 и 3]. Теперь мы покажем, что
и обратно, внутренняя информация может превращаться во внешнюю.
1. Откуда берется внешняя информация преобразования? Как сле-
дует из раздела 16, до тех пор, пока состояние системы A остается неиз-
вестным, ситуация неопределенности в системе B представляет собой ре-
зультат индукции из системы A и должна, следовательно, описываться
пространством вероятностей )*,( spY (где РВ sp * определяется выраже-
нием (2)). Но после того, как стало известно, что система A находится в не-
котором состоянии ,Xx ∈ ситуация неопределенности в системе B должна
измениться. Вместо исходной (индуцированной) ситуации возникнет новая
ситуация, вынужденная состоянием x системы .A Эта новая ситуация уже
должна описываться пространством вероятностей ))|(,( xsY • .
Таким образом, мы можем теперь указать возможное логическое осно-
вание для изменения ситуации неопределенности в системе .B Этим осно-
ванием может быть сообщение о таком событии: «Система A оказалась
в состоянии Xx∈ ». Более кратко это событие будем обозначать Xx∈ или
даже просто x .
Сообщение об этом событии может, в частности, оказаться несовмести-
мым (при существующей системе знаний) с некоторыми возможными состоя-
ниями системы B . И тогда преобразование исходной ситуации неопределенности
в этой системе в новую ситуацию будет содержать в себе также черты преоб-
разования ограничение разнообразия, которое рассматривалось в [2, разд. 9].
Итак, исходная ситуация неопределенности в системе B , которая мо-
жет быть описана пространством вероятностей )*,( spY , преобразуется
в новую ситуацию, описываемую пространством вероятностей .))|(,( xsY •
Так как это преобразование происходит вследствие сообщения о событии
,Xx∈ мы приходим к выводу, что информация, необходимая для данного
преобразования, создается этим событием.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 122
2. Количество информации, необходимое для преобразования «вы-
нуждение». По аналогии с тем, что было сказано в [2, разд. 10, п. 2], можем
узнать, какое количество внешней информации нужно было получить для
того, чтобы исходная ситуация, для описания которой использовалось про-
странство вероятностей )*,( spY , превратилась в заключительную ситуа-
цию (которая описывается пространством ))|(,( xsY • . Ответ на этот вопрос
дает предположение 2, согласно которому требуемое количество внешней
информации должно совпадать с количеством внешней информации
))|(||*,( xsspYE • в пользу гипотезы )|( xs • против гипотезы sp * [2, разд. 10,
п. 2, определение 3]. Последнее же ввиду [2, (39)] должно характеризоваться
выражением
,))|(,()*)|(,())|(||*,( xsYGspxsYGxsspYE ••• −◊= (24)
где )*)|(,( spxsYG ◊• — мера неопределенности ситуации заблуждения,
описываемой пространством двойных вероятностей )*)|(,( spxsY ◊• .
Мы уже знаем, что мера неопределенности такой ситуации заблужде-
ния должна измеряться следующим выражением, аналогичным выражению
[2, (37)]:
=∗=∗=◊ ⋅∑
∈
• )()|()*)|(,( yspIxysspIspxsYG
Yy
E
)(*
1log)|(
ysp
xys
Yy
⋅∑
∈
= . (25)
Поэтому ввиду (19) окончательно получим
)(*
)|(log)|())|(||*,(
ysp
xysxysxsspYE
Yy
⋅∑
∈
=• . (26)
3. Количественное сопоставление двух ролей информации. Теперь
мы можем еще раз сопоставить две роли информации: внутреннюю инфор-
мацию, связанную с наступлением события Xx∈ в системе A (а именно —
собственную информацию этого события), и внешнюю информацию преоб-
разования ситуации неопределенности в системе B .
Согласно выражению [1, (2)] количество
)(
1
log)( xpxpI = (27)
собственной информации события x зависит от его вероятности )(xp .
Можно предположить, что от этой же вероятности )(xp должно зависеть
и количество ))|(||*,( xsspYE • внешней информации преобразования си-
туации в системе B , вызванного событием x .
Сравнение выражений (26) и (27) показывает, что прямого подтвержде-
ния нашего предположения мы не имеем. Действительно, в выражении (26)
не видно даже намека на зависимость величины ))|(||*,( xsspYE • от вероят-
ности )(xp . Поэтому мы проиллюстрируем на простом примере параллель-
ное поведение двух упомянутых величин — количества )(xpI собственной
информации события x и числа ))|(||*,( xsspYE • — в зависимости от ве-
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 123
роятности )(xp . Пусть каждое из множеств X и Y имеет по два элемента:
,},{ 21 xxX = .},{ 21 yyY = Тогда свойства формального источника p полно-
стью описываются одним числом )( 1xp , а свойства формального канала
s — двумя числами: )|( 21 xys и )|( 12 xys . Кроме того, примем еще допу-
щение, что канал s является симметричным, т.е. выполняется условие
)|()|( 1221 xysxys = .
На рис. 5 показано
поведение величин )( 1xpI
и ))|(||*,( 1xsspYE • в
зависимости от числа
)( 1xp при условии, что
канал s характеризуется
соотношением =)|( 21 xys
25,0)|( 12 == xys . Из ри-
сунка видно, что поведе-
ние обеих изучаемых ве-
личин в каком-то смысле
является согласованным:
обе они убывают с увели-
чением числа )( 1xp и обе
достигают значения 0 при
условии 1)( 1 =xp . И при
этом все время остается
верным неравенство
))|(||*,()( 11 xsspYEIxpI •≥ . (28)
4. Зависимость от параметров канала. Похоже, что на основании рис.
5 ничего больше утверждать нельзя. Но зато можно спросить: что означает
и чем объясняется неравенство (28)? Не может ли быть так, что между дву-
мя видами информации, фигурирующей в левой и правой части неравенства,
существует тесная связь? Или даже так, что слева и справа в соотношении
(28) речь идет об одной и той же информации — той, которая создается
в результате коллапса ситуации неопределенности в системе A , а затем
с помощью канала передается в систему B ? Но тогда возникает вопрос,
почему вместо неравенства (28) мы не получили равенства? Это могло бы
объясняться тем, что не вся информация (в количестве )( 1xpI ), создаваемая
на входе сигнальной пары ),( sp , доходит до ее выхода. И происходит это
из-за того, что в информационном канале имеется шум (в примере, рассмот-
ренном на рис. 5, этот шум довольно значителен, поскольку вероятность
ошибки при передаче принята равной 0,25).
Если это предположение является верным, то интересно посмотреть,
как ведут себя величины )( 1xpI и ))|(||*,( 1xsspYE • в зависимости не от
числа )( 1xp , характеризующего источник p сигнальной пары ),( sp , а от
Рис. 5. Зависимость от числа p(x1) количества собст-
венной информации Ip(x1) точки x1 пространства (X, p)
и количества внешней информации E(Y, p∗s|| s(•| x1))
при условии, что s есть двоичный симметричный канал,
характеризуемый равенствами s(y2| x1) = s(y1| x2) = 0,25.
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
5,5
6
6,5
7
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Ко
ли
че
ст
во
в
ну
тр
ен
не
й
и
вн
еш
не
й
ин
ф
ор
м
ац
ии
p(x1)
Ip(x1)
E (Y , p∗s|| s(•| x1))
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 124
числа ,)|()|( 1221 xysxys = характеризующего количество шума в (симмет-
ричном) формальном канале .s Такая иллюстрация представлена на рис. 6,
где показаны упомянутые зависимости для трех вариантов значений :)( 1xp
;3,0)( 1 =xp 0,5 и 0,8. (Поскольку величина )( 1xpI не зависит от числа
),|()|( 1221 xysxys = ее поведение изображается горизонтальными прямыми.)
И здесь мы получили полное подтверждение выдвинутого предполо-
жения. Оказывается, что в тех случаях, когда в информационном канале
полностью исчезает шум (а это происходит, когда вероятность ошибки
( )|()|( 1221 xysxys = равняется нулю или единице), имеет место равенство
))|(||*,()( 11 xsspYEIxpI •= . (29)
(Необходимо заметить, что равенство (29) является асимптотическим,
так как непосредственно вычислить значения величины ))|(||*,( 1xsspYE •
при строгом отсутст-
вии шума в канале ока-
зывается невозможным
ввиду необходимости
деления на нуль.)
В связи с таким
поворотом представля-
ется интересным опять
посмотреть на зависи-
мости величин )( 1xpI
и ))|(||*,( 1xsspYE • от
числа ,)( 1xp но уже
при различных значе-
ниях вероятности оши-
бки в формальном ка-
нале .s Такая иллюст-
рация представлена на
рис. 7.
Здесь тоже рассмат-
ривается симметричный
канал. Поэтому вероят-
ность ошибки, которая
здесь обозначена ,a
имеет вид == )|( 21 xysa )|( 12 xys= . При вероятности ошибки 5,0=a ко-
личество внешней информации ))|(||*,( 1xsspYE • равно нулю для всех
значений )( 1xp . Это объясняется тем, что при 5,0=a информационный
канал вообще неспособен передавать информацию. Видно также, что с уме-
ньшением вероятности ошибки кривая, изображающая поведение количест-
ва внешней информации ,))|(||*,( 1xsspYE • все больше приближается
к кривой для количества собственной информации )( 1xpI . В случае же, ес-
ли вероятность ошибки близка к нулю, обе кривые практически совпадают.
Так, из таблицы значений, по которой построен график рис. 7, видно, что
Рис. 6. Зависимость количества внешней информации
E (Y , p∗s|| s(•| x1)) от параметра s(y2| x1) = s(y1| x2) сим-
метричного формального канала s для сигнальной пары
(p, s) при условиях p(x1) = 0,3; 0,5 и 0,8. Для сравнения
приведены значения количества Ip(x1) собственной ин-
формации элемента x1 при тех же условиях.
0
0,25
0,5
0,75
1
1,25
1,5
1,75
2
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Ко
ли
че
ст
во
в
ну
тр
ен
не
й
и
вн
еш
не
й
ин
ф
ор
ма
ци
и
.
Ip(x1) при p(x1) = 0,3
Ip(x1) при p(x1) = 0,5
Ip(x1) при p(x1) = 0,8
E (Y , p*s|| s(•| x1)): p(x1) = 0,3
E (Y , p*s|| s(•| x1)): p(x1) = 0,5
E (Y , p*s|| s(•| x1)): p(x1) = 0,8
s(y2| x1) = s(y1| x2)
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 125
отличие между значениями ))|(||*,( 1xsspYE • и )( 1xpI при 10
1 10)( −=xp
улавливается не раньше, чем в восьмом знаке после запятой (напомним, что
идеально точное совпадение невозможно, так как для 0=a величину
))|(||*,( 1xsspYE • вычислить нельзя). Заметим также, что, как следует из
рис. 6, аналогичная картина наблюдалась бы и при увеличении вероятности
ошибки a от значения 0,5 до единицы.
5. Две гипотезы. Несмотря на то, что три последние иллюстрации ка-
саются простейшего
варианта сигнальной
пары ),( sp (когда каж-
дое из множеств X
и Y имеет по два эле-
мента), можно пред-
положить, что обна-
руженная на них связь
между количеством
собственной инфор-
мации )(xpI элемен-
та x и количеством
внешней информации
))|(||*,( xsspYE •
имеет общий харак-
тер. Поэтому, вероят-
но, можно сформули-
ровать и доказать две
теоремы о существо-
вании такой связи для
произвольных вероят-
ностных сигнальных
пар. Но в данной ста-
тье нет места для до-
казательств подобных
теорем. Поэтому мы
здесь ограничимся
только формулировками, а сами теоремы будем пока называть гипотезами.
Гипотеза 1. Для всякой вероятностной сигнальной пары ),( sp с вход-
ным алфавитом X и для любого Xx∈ имеет место неравенство
))|(||*,()( xsspYEIxpI •≥ . ■ (30)
Вторая гипотеза является асимптотической, и для ее формулировки необ-
ходимо сначала дать определение понятия информационного канала без шума.
Под шумом здесь понимается одна из разновидностей помех, такая, кото-
рая снижает способность канала передавать информацию. Шум противопостав-
ляется некоторым другим видам помех — например, разного рода искажениям, —
которые, хотя тоже мешают передаче информации и создают различные пробле-
мы, но не уменьшают количества передаваемой информации.
Определение 4. Будем говорить, что в информационном канале отсут-
ствует шум, если любое состояние на выходе канала позволяет однозначно
Рис. 7. Зависимость количества внешней информации
E (Y , p∗s|| s(•| x1)) от вероятности p(x1) для сигнальной
пары (p, s) с симметричным формальным каналом s при
условиях s(y2| x1) = s(y1| x2) = a и a = 0,5; 0,2; 0,1; 0,05 и
a ≈ 0. Для сравнения приведена зависимость количества
Ip(x1) собственной информации элемента x1 от того же
числа p(x1).
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
5
5,5
6
6,5
7
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Ко
ли
че
ст
во
в
ну
тр
ен
не
й
и
вн
еш
не
й
ин
ф
ор
м
ац
ии
Ip(x1)
E (Y , p∗s|| s(•| x1)): a = 0,5
E (Y , p∗s|| s(•| x1)): a = 0,2
E (Y , p∗s|| s(•| x1)): a = 0,1
E (Y , p∗s|| s(•| x1)): a = 0,05
E (Y , p∗s|| s(•| x1)): a ≈ 0
p(x1)
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 126
восстановить то состояние на его входе, которое было причиной данного
состояния на выходе. В этом случае будем говорить также, что шум отсут-
ствует и в формальном канале, с помощью которого описывается данный
информационный канал. ■
Нумерация определений в статье сквозная. Первое определение появи-
лось в первой части статьи, а второе и третье — во второй части.
Простейший пример канала без шума можно построить при условии,
когда входной и выходной алфавиты канала равномощны. Поскольку между
такими алфавитами всегда можно установить взаимно однозначное соответ-
ствие, эти алфавиты можно просто отождествить. Поэтому предположим,
что множество X является как входным, так и выходным алфавитом расс-
матриваемого канала. И рассмотрим такое переходное распределение
)( |)|( Xxxii ∈= • с множества X на себя, что для каждого Xx∈ распреде-
ление вероятностей )|( xi • на множестве X тривиально и характеризуется
условием .1)|( =xxi Из этого условия следует, что для любых двух различ-
ных элементов Xyx ∈, должно выполняться равенство .0)|()|( == yxixyi
Вот такое переходное распределение и является описанием простейшего
канала без шума.
Но понятие (вероятностного) канала без шума ни коим образом не ог-
раничивается тем случаем, когда его входной и выходной алфавиты равно-
мощны. Опираясь на определение 4, можно выяснить особенности конст-
рукции любого канала без шума.
Здесь пока имеются в виду исключительно каналы вероятностного типа.
Более общий подход к понятию информационного канала без шума предложен
в статье [4].
Пусть вероятностный информационный канал с входным и выходным
алфавитами соответственно X и Y описывается переходным распределе-
нием s с множества X на Y . Для каждого Xx∈ пусть ][xs есть множест-
во всех таких Yy ∈ , что 0)|( ≠xys . Формально это выглядит так:
}{ 0)|(:][ ≠∈= xysYyxs . (31)
И пусть переходное распределение s удовлетворяет следующему условию:
для любых двух различных элементов Xxx ∈′, множества ][xs и ][xs ′ не
пересекаются.
Можно показать, что это условие является необходимым и достаточ-
ным для того, чтобы в канале отсутствовал шум. Одно из следствий этого
условия состоит в том, что у канала, в котором отсутствует шум, мощность
выходного алфавита не может быть меньше мощности входного (в против-
ном случае потери информации в канале будут неизбежными).
Будем считать, что у читателя уже сложилось неформальное представ-
ление о том, что такое (вероятностный) канал без шума. Так что мы уже
можем перейти к формулировке нашей гипотезы.
Пусть задано пространство вероятностей ),( pX . И пусть задана неко-
торая (бесконечная) последовательность
,...),,( 321 sss=σ (32)
переходных распределений с множества X на множество Y (т.е. последо-
вательность вероятностных формальных каналов с входным и выходным
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 127
алфавитами X и Y ). Тогда для каждого Xx∈ получим следующую после-
довательность мер внешней информации:
)( ,...3,2,1:))|(||*,( ==Θ • ixsspYE iix . (33)
Гипотеза 2 формулируется так:
Гипотеза 2. Пусть заданы: пространство вероятностей ),( pX и после-
довательность σ (32) (вероятностных) формальных каналов is . Тогда, если
последовательность σ сходится к некоторому формальному каналу без шу-
ма, то для каждого Xx∈ последовательность xΘ внешних мер информа-
ции ))|(||*,( xsspYE ii • сходится к внутренней мере )(xpI — количеству
собственной информации элемента x . ■
Эта гипотеза имеет интересное следствие. Сравнение выражений (16)
и (26) позволяет сделать вывод, что меры внешней информации *,( pYE
))|(||* xss • для всех Xx∈ тесно связаны с еще одной внешней мерой —
количеством внешней взаимной информации ),|( spYXE ↔ между входом
и выходом сигнальной пары ),( sp . Эта связь выражается соотношением
))|(||*,()(),|( xsspYExpspYXE
Xx
•⋅∑
∈
=↔ . (34)
Для того чтобы понять, что это значит, рассмотрим информационную
функцию
XxsspYExsspYE ◊= ••• ))|(||*,())|(||*,( a . (35)
Очевидно, что функция ))|(||*,( ••sspYE является случайной величиной
(относительно действующего на X распределения p ). А ввиду (34) количе-
ство внешней взаимной информации ),|( spYXE ↔ представляет собой
математическое ожидание этой случайной величины, т.е.
))|(||*,(),|( ••=↔ sspYEspYXE E . (36)
С другой стороны, как видно из [1, (5)], математическим ожиданием
информационной функции pI является мера неопределенности ),( pXG
пространства вероятностей ),( pX . Таким образом, если для каждого Xx∈
последовательность xΘ мер внешней информации ))|(||*,( xsspYE ii • схо-
дится к количеству )(xpI собственной информации, то при тех же условиях
последовательность
)( ,...3,2,1|),|( =↔=Ω ispYXE i (37)
должна сходиться к мере неопределенности ),( pXG . Вот в этом и состоит
следствие гипотезы 2:
Следствие. Пусть заданы: пространство вероятностей ),( pX и после-
довательность σ (вероятностных) формальных каналов is . Тогда, если по-
следовательность σ сходится к некоторому каналу без шума, то последова-
тельность Ω мер внешней взаимной информации ),|( ispYXE ↔
( ,...3,2,1=i ) сходится к мере неопределенности ),( pXG . ■
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2014, № 1 128
* * * * *
Итак, мы обнаружили связи между всеми мерами информации: между
внутренними и внешними мерами; между мерами, родословная которых
восходит к работам Клода Шеннона, и теми, которые происходят от идей
Соломона Кульбака. Обнаружение таких связей является крайне важным
особенно в свете того, что нам предстоит искать расширения всех этих мер
на другие типы неопределенности, отличные от вероятностного типа, и даже
такие, которые фактически не имеют с вероятностным типом ничего обще-
го. Проблема поиска таких расширений является очень непростой, и знание
упомянутых связей может очень помочь при попытках ее решения.
20. ВЫВОДЫ ИЗ СТАТЬИ
• Распространенные представления об информации нуждаются в ра-
дикальном пересмотре. Неверными являются как представления о том, что
такое информация, так и о том, какова роль информации в Природе.
• Информация не является внутренним свойством текстов (Эшби), но
она является внутренним свойством ситуаций неопределенности (это ка-
сается ситуаций всех типов неопределенности, а не одного только вероят-
ностного типа). Отсюда следует, что нельзя изучать информацию, не рас-
сматривая какую-либо ситуацию неопределенности.
• Ситуации неопределенности — часть нашей реальности. Поэтому
проблема их изучения, так же как и проблема изучения их внутреннего
свойства — информации — является не математической, а естественнона-
учной проблемой.
• Распространенные представления о преобразованиях информации
тоже нуждаются в радикальном пересмотре. Преобразования информа-
ции — это преобразования ситуаций неопределенности. К преобразова-
ниям текстов они не имеют никакого отношения.
• Введение двух разновидностей информации — внутренней и внеш-
ней (по отношению к ситуациям неопределенности) позволило поставить
вопрос о разработке мер внешней информации для измерения интенсивно-
сти преобразований ситуаций неопределенности. Возможность построения
таких мер продемонстрирована на ряде примеров.
• Внешняя информация может превращаться во внутреннюю, а внут-
ренняя — во внешнюю. Эти превращения происходят с сохранением коли-
чества информации. Это доказывает полную согласованность предложен-
ной здесь системы мер внутренней и внешней информации. Но это также
позволяет сделать еще более важный вывод, что существует одно понятие
информации (а не два, как могло бы показаться).
• Преобразование ограничение разнообразия занимает особое место
среди остальных преобразований. Показано, что любое событие в Природе,
сообщение о котором влечет ограничение разнообразия в ситуации неопре-
деленности, связанной с состояниями некоторой реальной системы, содер-
жит информацию об этой системе. Это значит, что существует информа-
ционная связь между такого рода событиями и состояниями системы.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2014, № 1 129
• Информационные связи могут стать самостоятельным инструментом
познания. Они принципиально отличаются от единственного известного
сейчас инструмента познания — причинно-следственных связей — двумя
особенностями: они нематериальны и двусторонни. Эти отличия ведут
к тому, что информационные явления не могут подчиняться принципу
причинности.
ЛИТЕРАТУРА
1. Дидук Н.Н. Меры внутренней и внешней информации (на примере вероятностных
ситуаций неопределенности). Часть I // Системні дослідження та інформа-
ційні технології. — 2012. — № 3 — С. 107–124.
2. Дидук Н.Н. Меры внутренней и внешней информации (на примере вероятностных
ситуаций неопределенности). Часть II // Системні дослідження та інформа-
ційні технології. — 2012. — № 4 — С. 94–110.
3. Дидук Н.Н. Меры внутренней и внешней информации (на примере вероятностных
ситуаций неопределенности). Часть III // Системні дослідження та інформа-
ційні технології. — 2013. — № 2 — С. 127–142.
4. Дидук Н.Н. Информационные каналы как развитие представлений о каналах
связи // Системні дослідження та інформаційні технології. — 2007. —
№ 1. — С. 129–141.
5. Дидук Н.Н. Сигнальные пары и их применение // Системні дослідження та ін-
формаційні технології. — 2008. — № 2 — С. 128–143.
Поступила 12.06.2012
Статья напечатана под редакцией автора
|