Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І
Показано, що уявлення про інформацію, які покладено в основу сучасної кібернетики про засоби її вивчення та про її перетворення, не є вірними. Вперше виявлено безпосередній зв’язок інформації з ситуаціями невизначеності (там, де не було невизначеності, не може з’явитися інформація). Показано, що пер...
Збережено в:
| Дата: | 2012 |
|---|---|
| Автор: | |
| Формат: | Стаття |
| Мова: | Russian |
| Опубліковано: |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України
2012
|
| Назва видання: | Системні дослідження та інформаційні технології |
| Теми: | |
| Онлайн доступ: | http://dspace.nbuv.gov.ua/handle/123456789/50182 |
| Теги: |
Додати тег
Немає тегів, Будьте першим, хто поставить тег для цього запису!
|
| Назва журналу: | Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| Цитувати: | Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І / Н.Н. Дидук // Систем. дослідж. та інформ. технології. — 2012. — № 3. — С. 107-124. — Бібліогр.: 22 назв. — рос. |
Репозитарії
Digital Library of Periodicals of National Academy of Sciences of Ukraine| id |
irk-123456789-50182 |
|---|---|
| record_format |
dspace |
| spelling |
irk-123456789-501822013-10-07T03:05:25Z Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І Дидук, Н.Н. Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Показано, що уявлення про інформацію, які покладено в основу сучасної кібернетики про засоби її вивчення та про її перетворення, не є вірними. Вперше виявлено безпосередній зв’язок інформації з ситуаціями невизначеності (там, де не було невизначеності, не може з’явитися інформація). Показано, що перетворення інформації не може здійснюватись інакше, ніж шляхом перетворення відповідних ситуацій невизначеності. Отримано висновок, що система мір інформації, запропонована К. Шенноном, потребує розвитку та поповнення мірами, призначеними для вимірювання інтенсивності перетворень. Розглянуто перший приклад “справжнього” перетворення інформації — квантування, — і побудовано першу міру інтенсивності перетворення. Показано, что положенные в основу современной кибернетики представления об информации, о способах ее изучения и об ее преобразованиях, неверны. Впервые обнаружена непосредственная связь информации с ситуациями неопределенности (там, где нет неопределенности, не может быть и информации). Показано, что преобразования информации не могут осуществляться иначе, чем путем преобразования соответствующих ситуаций неопределенности. Получен вывод, что система мер информации, предложенная К. Шенноном, нуждается в развитии и в пополнении мерами, предназначенными для измерения интенсивности преобразований. Рассмотрен первый пример “настоящего” преобразования информации — квантование, — и построена первая мера интенсивности преобразования. It is shown, that the idea of information, which is invested in the foundation of modern Cybernetics, and the belief on the ways of its studying and its transformations, are incorrect. For the first time a direct link of the information and situations of uncertainty is found out (where there was no uncertainty, the information could not appear). It is shown, that transformations of the information cannot be carried out otherwise than by the way of transformation of the respective situations of uncertainty. It is received the conclusion that the system of information measures which have been proposed by C. Shannon, requires the development and replenishment with new measures designed to measure the intensity of the transformations. The first example of the “authentic” transformation of the information — quantization, is considered, and the first measure of transformation intensity is built. 2012 Article Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І / Н.Н. Дидук // Систем. дослідж. та інформ. технології. — 2012. — № 3. — С. 107-124. — Бібліогр.: 22 назв. — рос. 1681–6048 http://dspace.nbuv.gov.ua/handle/123456789/50182 519.7 ru Системні дослідження та інформаційні технології Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| institution |
Digital Library of Periodicals of National Academy of Sciences of Ukraine |
| collection |
DSpace DC |
| language |
Russian |
| topic |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| spellingShingle |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Нові методи в системному аналізі, інформатиці та теорії прийняття рішень Дидук, Н.Н. Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І Системні дослідження та інформаційні технології |
| description |
Показано, що уявлення про інформацію, які покладено в основу сучасної кібернетики про засоби її вивчення та про її перетворення, не є вірними. Вперше виявлено безпосередній зв’язок інформації з ситуаціями невизначеності (там, де не було невизначеності, не може з’явитися інформація). Показано, що перетворення інформації не може здійснюватись інакше, ніж шляхом перетворення відповідних ситуацій невизначеності. Отримано висновок, що система мір інформації, запропонована К. Шенноном, потребує розвитку та поповнення мірами, призначеними для вимірювання інтенсивності перетворень. Розглянуто перший приклад “справжнього” перетворення інформації — квантування, — і побудовано першу міру інтенсивності перетворення. |
| format |
Article |
| author |
Дидук, Н.Н. |
| author_facet |
Дидук, Н.Н. |
| author_sort |
Дидук, Н.Н. |
| title |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І |
| title_short |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І |
| title_full |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І |
| title_fullStr |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І |
| title_full_unstemmed |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І |
| title_sort |
меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). часть і |
| publisher |
Навчально-науковий комплекс "Інститут прикладного системного аналізу" НТУУ "КПІ" МОН та НАН України |
| publishDate |
2012 |
| topic_facet |
Нові методи в системному аналізі, інформатиці та теорії прийняття рішень |
| url |
http://dspace.nbuv.gov.ua/handle/123456789/50182 |
| citation_txt |
Меры внутренней и внешней информации (на примере вероятностных ситуаций неопределенности). Часть І / Н.Н. Дидук // Систем. дослідж. та інформ. технології. — 2012. — № 3. — С. 107-124. — Бібліогр.: 22 назв. — рос. |
| series |
Системні дослідження та інформаційні технології |
| work_keys_str_mv |
AT diduknn meryvnutrennejivnešnejinformaciinaprimereveroâtnostnyhsituacijneopredelennostičastʹí |
| first_indexed |
2025-07-04T11:44:52Z |
| last_indexed |
2025-07-04T11:44:52Z |
| _version_ |
1836716647242530816 |
| fulltext |
© Н.Н. Дидук, 2012
Системні дослідження та інформаційні технології, 2012, № 3 107
TIДC
НОВІ МЕТОДИ В СИСТЕМНОМУ АНАЛІЗІ,
ІНФОРМАТИЦІ ТА ТЕОРІЇ ПРИЙНЯТТЯ РІШЕНЬ
УДК 519.7
МЕРЫ ВНУТРЕННЕЙ И ВНЕШНЕЙ ИНФОРМАЦИИ
(НА ПРИМЕРЕ ВЕРОЯТНОСТНЫХ СИТУАЦИЙ
НЕОПРЕДЕЛЕННОСТИ). ЧАСТЬ I
Н.Н. ДИДУК
Показано, что положенные в основу современной кибернетики представления
об информации, о способах ее изучения и об ее преобразованиях, неверны.
Впервые обнаружена непосредственная связь информации с ситуациями неоп-
ределенности (там, где нет неопределенности, не может быть и информации).
Показано, что преобразования информации не могут осуществляться иначе,
чем путем преобразования соответствующих ситуаций неопределенности. По-
лучен вывод, что система мер информации, предложенная К. Шенноном, нуж-
дается в развитии и в пополнении мерами, предназначенными для измерения
интенсивности преобразований. Рассмотрен первый пример “настоящего”
преобразования информации — квантование, — и построена первая мера ин-
тенсивности преобразования.
В статье сделана попытка развить предложенную Клодом Шенноном систему
мер информации и дополнить ее новыми мерами, предназначенными для из-
мерения интенсивности преобразований ситуаций неопределенности. Эта
работа естественным образом делится на три этапа. Сначала необходимо рас-
смотреть примеры “настоящих” преобразований информации и построить для
них недостающие меры интенсивности преобразований. Примеры лучше все-
го продемонстрировать на ситуациях неопределенности вероятностного ти-
па, т.е. того типа, который был положен Шенноном в основу аппарата клас-
сической теории информации (поскольку объяснять новые идеи на
незнакомом материале — дело безнадежное). Это и является целью статьи.
Затем необходимо разработать некоторую систему элементарных пре-
образований — своеобразную азбуку преобразований информации для
кибернетики, которая могла бы использоваться для конструирования разно-
образных более сложных преобразований. Для всех элементарных преобра-
зований нужно построить недостающие меры интенсивности преобразова-
ний. Все это тоже можно сделать сначала для привычного частного случая
— вероятностных ситуаций неопределенности.
Наконец, все элементарные преобразования и новые меры информации
необходимо распространить на все типы неопределенности. Для этого уже
необходим новый математический аппарат, который разрабатывается в рам-
ках теории ситуаций неопределенности (ТСН). Это, в конечном счете,
должно привести к возникновению совершенно новых представлений, как
об информации, так и об ее преобразованиях, а также к образованию двух
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 108
взаимосогласованных комплексов мер внутренней и внешней информации
для ситуаций неопределенности всех типов.
В действительности значительная часть этой работы уже выполнена. Однако по-
лученные результаты до такой степени не стыкуются с распространенными сейчас
ошибочными представлениями об информации и ее преобразованиях, что публикацию
этих результатов все равно желательно начинать так, как это делается в настоящей
статье, т.е. с рассмотрения примеров “настоящих” преобразований информации для
привычного частного случая — вероятностных ситуаций.
1. КАК СЛЕДУЕТ ИЗУЧАТЬ ИНФОРМАЦИЮ И ЕЕ ПРЕОБРАЗОВАНИЯ?
Это не праздный вопрос. И не риторический. Уже давно назревала необхо-
димость получить на него ответ. А для этого прежде всего необходимо было
выяснить, что такое информация и при каких обстоятельствах мы с ней
сталкиваемся. Однако никто даже и не собирался это выяснять. Вместо это-
го об информации говорят и пишут так, как будто ответы на оба вопроса
давно известны. К сожалению, однако, большую часть этих “говорений” и
“писаний” вообще нельзя принимать всерьез. Это касается, например, без-
ответственного (и к тому же — безапелляционного) отождествления ин-
формации со сведениями («Словарь по кибернетике» [1, с. 221–222], «Эн-
циклопедия кибернетики» [2, том 1, с. 408]). Безответственного потому, что
сведения — это только часть существующей в Природе информации, при-
чем, микроскопическая часть (та, которая освоена человеком). Это касает-
ся также сложившейся стойкой привычки говорить и писать, что работа лю-
бого компьютера состоит в преобразовании, или в так называемой
“переработке”, информации. И эта привычка держится несмотря на то, что
породившая ее “знаменитая” концепция “переработки информации в ком-
пьютерах” основана на грубейшей ошибке, состоящей в том, что с некото-
рых пор информацию разучились отличать от ее материального носителя —
текстов (т.е. последовательностей букв, цифр и других значков).
Фактически концепция “переработки информации в компьютерах” представляет
собой результат введения в обращение внутренне противоречивого “понятия”, озна-
чающего невозможный сплав двух понятий: (материального) текста и (нематериаль-
ной) информации.
Еще пример. Многие, кажется, до сих пор думают, что бывают такие
“разновидности информации”, как “цифровая, буквенная, графическая ин-
формация”. И что этими “разновидностями информации” определяются
и разновидности ее преобразований. По их мнению, книги, например, содер-
жат в основном “буквенную информацию”. А перевод книги с одного языка
на другой якобы представляет собой некоторое преобразование “буквенной
информации”. Так, в своей брошюре «Мышление и кибернетика»
В.М. Глушков написал:
«Представим себе теперь, что мы имеем дело с какой-либо задачей преобра-
зования буквенной информации, например с проблемой перевода с английского
языка на русский… Существует целый ряд различных систем элементарных пре-
образований буквенной и числовой информации, которые обладают свойством
полноты, т.е. возможностью составления из них л ю б ы х п р а в и л
п р е о б р а з о в а н и я буквенной и числовой информации» [3, с. 4, 6].
Таким образом, (хотя в это невозможно поверить) Глушков не отличал
тексты от информации, а перевод текста с английского языка на русский он
представлял себе как преобразование “буквенной информации”. Но легко
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 109
показать, что с такими представлениями нельзя не только решить проблему
перевода — ее нельзя даже сформулировать! В самом деле, хорошо извест-
но, что при переводе текста (на другой язык) содержащуюся в нем инфор-
мацию (имеется в виду настоящая информация, а не “буквенная”!) необхо-
димо не преобразовать, а по возможности наилучшим образом сохранить
(в этом и состоит смысл хорошего перевода). С другой стороны, сам текст,
очевидно, необходимо при этом преобразовать. Но тогда возникает пара
“наивных” вопросов: 1) можно ли решить проблему перевода, не понимая
разницу между текстом и информацией? и 2) может ли в таком случае по-
мочь в решении этой проблемы свойство полноты системы операций над
текстами? (Подчеркнем особо, что ни о каких операциях над собственно
информацией в приведенной цитате речь вообще не идет!)
Все эти представления — как о “буквенной и цифровой информации”,
так и о “переработке информации в компьютерах”, — по существу, родом из
до-шенноновской эпохи. Но уже пора, наконец, проснуться и вспомнить, что
эта эпоха давно кончилась! Это произошло в середине XX века, когда Клод
Шеннон получил свои поразительные результаты, составившие основу тео-
рии информации. Ничего подобного мировая наука не знала. И, как это ни
удивительно, “не знает” до сих пор! Чтобы убедиться в последнем, доста-
точно обратить внимание на то, как принято оценивать сами эти результаты.
Например, А.М. Яглом и И.М. Яглом — авторы очень хорошей популярной
книги «Вероятность и информация» (выдержавшей несколько изданий), —
считают, что теория информации Шеннона представляет собой новую важ-
ную область… чего бы Вы думали? Ни за что не догадаетесь! Оказывается
— важную область математики. Так, в предисловии к первому изданию
своей книги они написали:
«…значительной представляется заслуга замечательного американского
математика и инженера Клода Шеннона, который в 1947–1948 гг. сумел ука-
зать новую важную область математики, истоки которой связаны с совсем
элементарными соображениями» [4, с. 5].
Аналогичный взгляд высказал и А.Н. Колмогоров. В предисловии
к русскому изданию сборника «Работы по теории информации и кибернети-
ке» он отметил выдающееся значение работ Шеннона для… чистой мате-
матики [5, с. 5]. Такие оценки заслуг Шеннона выглядят как очень “по-
хвальные” (правда, с некоторым покровительственным оттенком). Однако
представьте себе, что кто-то высказался бы по поводу открытия Ньютоном
закона всемирного тяготения в таком духе:
Своим законом всемирного тяготения Ньютон сумел указать новую важ-
ную область математики, истоки которой связаны с совсем элементарными
соображениями.
Представили? Это как раз тот случай. Ни Ягломы, ни Колмогоров не
заметили достижений Шеннона в естествознании — достижений, которые
несоизмеримо (!) выше его математических и инженерных достижений, вместе
взятых. Хорошо известно, что ни одну из своих знаменитых теорем Шеннон
как следует не доказал — так, как это требуется в математике (и многие ма-
тематики по этой причине называли его “инженером”). Но, по-видимому,
никто так и не понял, что Шеннон открыл эти теоремы и что сами теоремы
в действительности являются законами природы, причем, законами неве-
домого до сих пор типа (так как они не имеют никакого отношения к физи-
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 110
ке). И он дал только наброски доказательств, добровольно предоставив дру-
гим честь получения полноценных доказательств. (В разных странах защи-
щались сотни диссертаций и были изданы многие десятки монографий,
в которых авторы только тем и занимались, что доказывали теоремы Шен-
нона.)
И вот, в этой странной обстановке (когда, например, создается новая
наука — информатика, — которая к информации имеет такое же отноше-
ние, как и “переработка информации в компьютерах”) до сих пор так и не
было получено ясного ответа на вопрос, является ли информация матема-
тическим понятием. Но автор настоящей статьи показал, что ответ должен
быть отрицательным. Для получения этого ответа необходимо было зако-
нчить линию рассуждений, начатую еще У.Р. Эшби в его книге «Введение
в кибернетику». Эшби написал:
«Передаваемая информация не является внутренним свойством индивидуального сооб-
щения… информация, передаваемая отдельным сообщением, зависит от того множества, из
которого оно выбрано» [6, с. 177].
В связи с этой цитатой возникает вопрос: тогда, может быть, информа-
ция является внутренним свойством упомянутого в цитате множества? Лег-
ко убедиться, что это не так, поскольку содержащаяся в сообщении инфор-
мация зависит не только от этого множества, а от чего-то еще. От чего?
Иначе говоря, возникает новый вопрос: существует ли нечто такое, что
информация оказывается внутренним свойством этого “нечто”? Автор
настоящей статьи получил такой ответ:
Информация не является внутренним свойством текстов (Эшби), но
“зато” она является внутренним свойством ситуаций неопределенности
(причем, это касается ситуаций всех типов неопределенности, а не одного
только вероятностного типа).
Но что такое ситуации неопределенности всех типов? Многие ли знают, что та-
кое тип неопределенности? Несмотря на то, что в этой статье мы имеем дело практи-
чески только с одним типом неопределенности — вероятностным, — желательно дать
читателю представление и о других наиболее известных типах. Самый известный из
них — бесструктурный. Он характерен тем, что, по существу, совпадает с понятием
множество. Однако бесструктурные ситуации до сих пор вообще не рассматривались
как полноценные ситуации неопределенности, поскольку отсутствовал необходимый
для работы с ними аппарат неопределенности (теоретико-множественный аппарат за-
менить его не может). Более того, существовало твердое убеждение, что никакой такой
аппарат в данном случае и нельзя создать, поскольку было совершенно непонятно, что
с бесструктурными ситуациями вообще можно делать. Следующий известный пример
— нечеткие ситуации. С этим типом неопределенности возникла та же проблема —
был создан математический аппарат, аналогичный теоретико-множественному. Попыт-
ки же создать аппарат неопределенности ни к чему путному не привели.
В статье [7] показано, как перечисленные типы неопределенности (в том числе и
вероятностный) погружаются в общий аппарат неопределенности (и получают в ре-
зультате доступ ко всем содержащимся в нем средствам и инструментам). Еще один
практически важный тип неопределенности — поливероятностный — рассмотрен
в статье [8]. Однако работа по освоению новых типов неопределенности вряд ли когда-
нибудь закончится, поскольку их номинальное количество бесконечно.
Из сказанного выше следуют два важных вывода. Во-первых, нельзя
изучать информацию, не рассматривая какую-либо ситуацию неопреде-
ленности (там, где нет неопределенности, не может быть и информации).
Во-вторых, преобразования информации — это преобразования ситуа-
ций неопределенности (а вовсе не преобразования текстов).
Таким образом, полученные выводы опровергают основную идею, содержащую-
ся в концепции “переработки информации в компьютерах”, — идею, согласно которой
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 111
преобразования текстов — это и есть преобразования информации. Однако полученное
опровержение порождает новую проблему: теперь необходимо начать систематическое
изучение “настоящих” преобразований информации. Но это не все. Как будет показано
ниже, эти выводы опровергают также представления об информации как о такой сущ-
ности, которую может изучать математика.
2. РОЛЬ СИТУАЦИЙ НЕОПРЕДЕЛЕННОСТИ В ИЗУЧЕНИИ ИНФОРМАЦИИ
Полученные выше выводы ведут к радикальному изменению представлений
о том, что такое информация и что такое ее преобразования. Хотя и очевидно,
что информация может быть как-то связана с текстами, но для ее изучения
необходимо обращаться не к текстам, а к ситуациям неопределенности. Это
значит, что необходимо специально заняться изучением ситуаций неопреде-
ленности и их преобразований. А в связи с этим возникает новый вопрос:
Можно ли изучение ситуаций неопределенности считать математи-
ческой проблемой?
Любопытная особенность этого вопроса состоит в том, что он звучит
как бы несерьезно, так как ни у одного специалиста не возникает даже тени
сомнения в том, что на него нужно ответить утвердительно (ну какой же
еще может быть эта проблема, если не математической?). Однако (вот беда!)
утвердительный ответ является неверным. Попытаемся объяснить, почему.
Ситуации неопределенности в одном важном отношении принци-
пиально отличаются от текстов: они являются частью реальности — той,
в которой мы живем, принимаем решения и действуем. За исключением не-
которых особых случаев, мы не можем произвольным образом изменить
ситуацию неопределенности, в которой мы оказались. Так что эти ситуации
нельзя, например, “загонять” в какие-то специальные преобразователи и там
подвергать произвольным преобразованиям по нашему желанию, как это
делается с текстами.
Поэтому мы также не можем преобразовывать и информацию, являющуюся
внутренним свойством этих ситуаций. А, значит, мы вообще не можем подвергать ин-
формацию произвольным преобразованиям в специально построенных для этого “пре-
образователях”, поскольку всякая информация является внутренним свойством одной
или нескольких ситуаций неопределенности.
Иначе говоря, ситуации неопределенности, так же, как и информация
— это не математические объекты, т.е. не то, что мы выдумываем “из
головы” (как треугольники или интегралы), а то, с чем мы сталкиваемся
(в практической деятельности). Поэтому их изучение просто не может быть
математической проблемой. А если эта проблема — не математическая, то
какая? Очевидно, естественнонаучная, так как она состоит в нахождении
способа удовлетворительно описать некий фрагмент реальности — ситуа-
ции неопределенности — и (по возможности) обнаружить какие-либо
свойства данного фрагмента реальности (такие, как информация), а также
действующие в его пределах законы.
Этот вывод является ключевым — он должен существенно повлиять на
то, как данную проблему следует формулировать и решать. В самом деле,
если пытаться сравнивать естественнонаучные проблемы с математически-
ми, то бросается в глаза следующее: как способы постановки и решения тех
и других проблем, так и критерии правильности их решения не имеют меж-
ду собой почти ничего общего.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 112
Однако…
Главной особенностью проблемы изучения ситуаций неопределенности
является то, что ее естественнонаучный характер с самого начала оказался
в интересной оппозиции к общепринятой трактовке теории вероятностей.
Действительно, ведь вся эта огромная наука тоже изучает ситуации неопре-
деленности, но только лишь одну конкретную их разновидность — вероят-
ностные ситуации. В то же время, сейчас считается общеизвестным, что тео-
рия вероятностей — это раздел математики. Вот цитата из известной
популярной книги Б.В. Гнеденко и А.Я. Хинчина «Элементарное введение
в теорию вероятностей»:
«Теория вероятностей есть одна из глав математической науки, подобно
арифметике или геометрии» [9, с. 15].
Но если теория вероятностей — раздел математики, то все объекты,
которые она изучает, являются не реальными, а математическими объекта-
ми. Это, конечно, в полной мере относится и к вероятностным ситуациям
неопределенности. К сожалению (точнее — к счастью), попытка согласо-
вать подобные представления с тем, что мы уже знаем о ситуациях неопре-
деленности, ведет к откровенному абсурду. Например, возникает вопрос,
может ли быть так, что вероятностные ситуации — это математические объ-
екты, а все остальные ситуации неопределенности — реальные? Вероятно,
так быть не может. Где же выход из этого тупика?
Выход находится у всех на виду. Действительно, вероятностные ситуа-
ции ничуть не лучше и не хуже всех остальных (они только гораздо лучше
изучены). И все знают, что с ними мы тоже сталкиваемся в практической
деятельности. Однако вероятностные ситуации имеют одну особенность,
которая заинтересовала прежде всего математиков. Вот что написал об
этом А.В. Скороход в книге «Вероятность вокруг нас»:
«…мы окружены явлениями, природа которых случайна. Как же может
оказаться, что тем не менее существуют точные законы, которым явления
подчиняются?.. Чтобы ответить на вопрос, нужно изучить случайные собы-
тия, отвлекаясь от их конкретных свойств, а лишь имея в виду случайность»
[10, с. 4].
Вот так и получилось, что теория вероятностей стала развиваться не
как естественная наука, а как «одна из глав математической науки». Благо-
даря такому (математическому) способу изучения случайных явлений тео-
рия вероятностей приобрела своеобразное совершенство и стройность. Гля-
дя на это совершенство, хочется спросить, не поспешили ли мы с выводом
о том, что изучение ситуаций неопределенности является естественнонауч-
ной (а не математической) проблемой. Поэтому сейчас мы приведем еще
более веское — логическое — обоснование этого вывода. Но для этого нуж-
но сначала дать краткую формулировку проблемы. Вот она.
Необходимо разработать теорию ситуаций неопределенности (ТСН),
которая должна обеспечивать возможность удовлетворительно описывать
(с помощью специально созданного для этой цели математического аппа-
рата) произвольные ситуации неопределенности, встречающиеся на
практике, а также их преобразования и систему их информационных ха-
рактеристик (в том числе таких, как количество информации, энтропия,
мера неопределенности).
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 113
Автор настоящей статьи занимается созданием этой теории около тридцати лет.
Первая публикация на эту тему [11] вышла в 1983 г.; а в 1993 г. вышла статья [12] (в двух
частях), в которой была сделана попытка осмыслить возникшее новое направление, под-
вести предварительные итоги и дать этому направлению название. Но впоследствии вы-
яснилось, что предложенное в этой статье название «Теория неопределенности» является
неудачным как слишком общее и не отражающее суть проблемы.
В 2004 г. автором была подготовлена к публикации рукопись книги «Теория не-
определенности», которую так и не удалось опубликовать из-за “небольших” разногла-
сий с потенциальными рецензентами. Каждый из них не понимал какой-то мелочи:
один не понимал того, что вообще существует рассматриваемая в книге проблема; дру-
гой не понимал связи информации с ситуациями неопределенности; третий не понимал
названия. При этом все они не понимали естественнонаучного характера решаемой
проблемы (интересно, как можно рецензировать научную работу, не понимая даже,
к какой области знания она относится?).
Более подходящее название «Теория ситуаций неопределенности» появилось со-
всем недавно.
Теперь наш вопрос выглядит так: почему, все-таки, нельзя теорию си-
туаций неопределенности развивать “математическим способом” подобно
тому, как развивается теория вероятностей? Ведь подобный подход обладал
бы даже некоторым преимуществом: он позволил бы упростить терминоло-
гию, так как в этом случае незачем (да и невозможно) различать ситуации
неопределенности и их математические описания (теория вероятностей не
позволяет их различать). Имея в виду эту особенность “математического
способа”, достаточно задать следующий вопрос:
Как изменится проблема изучения ситуаций неопределенности и ее фор-
мулировка, если кто-то собирается ее решать “математическим способом”?
Пусть читатель (используя аналогию с теорией вероятностей) сам по-
пытается изменить формулировку данной проблемы таким образом, чтобы
она превратилась в чисто математическую проблему. Очевидно, что если
предварительно не принять решения об отождествлении описаний рассмат-
риваемых ситуаций неопределенности с самими этими ситуациями, то это
сделать не удастся. Ну, а если принять такое решение? Пусть читатель само-
стоятельно убедится, что в этом случае мы не получим ничего — никакой
математической проблемы, — а получим полную бессмыслицу. Так что ка-
кая бы то ни было формулировка станет невозможной.
Действительно, если кому-то хочется видеть себя чистым математи-
ком и по этой причине он будет настаивать на том, чтобы описания ситуа-
ций неопределенности отождествлялись с самими этими ситуациями (автор
имел “удовольствие” сталкиваться с такими “чистыми математиками”), то
для него наша проблема просто исчезнет (а он скажет: «я же говорил, что
эта проблема не существует!»). Однако, “к сожалению”, уничтожение про-
блемы таким способом не избавляет нас от нее, так как в первоначальной
формулировке проблема останется. Так что мы получаем следующий окон-
чательный вывод:
Проблема изучения разнообразных ситуаций неопределенности и раз-
работки ТСН может иметь ТОЛЬКО естественнонаучную формулировку, но
не может иметь математической формулировки.
Итак, мы еще раз пришли к выводу, что ситуации неопределенности
нельзя изучать “математическим способом”. То же самое можно сказать и
о способе изучения информации и ее преобразований. Действительно, мы
убедились, что никакими уловками информацию не удастся превратить
в математический объект, поскольку она является внутренним свойством
реальных ситуаций. Причины же, по которым ситуации неопределенности
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 114
(а следовательно, и информация) могут изменяться, вообще не имеют ниче-
го общего ни с математикой, ни с компьютерами. А математика нам нужна
не для того, чтобы осуществлять эти изменения, а для того только, чтобы
суметь их описать, когда они происходят.
3. ЗАМЕЧАНИЯ ОБ ИСПОЛЬЗУЕМОМ ЯЗЫКЕ
То, что в статье в качестве ведущего примера используется вероятностный
тип неопределенности, вовсе не значит, что здесь потребуется весь мощный
аппарат современной теории вероятностей. Напротив, нам здесь нужна лишь
простейшая вероятностная модель, сводящаяся к следующему.
1. Задано некоторое абстрактное множество X , о котором известно
только то, что его мощность не более чем счетна (ради краткости такие
множества были названы дискретными).
Понятие дискретного множества не следует смешивать с топологическим поня-
тием дискретного пространства (дискретное пространство — это множество, наде-
ленное дискретной топологией) [13, гл. I, § 1, п. 1].
2. Элементы множества X будем называть событиями, или возмож-
ными состояниями природы (состояниями среды, возможными значениями
некоторого параметра и т.п.). Само множество X будем называть множе-
ством возможностей (оно же является и полной системой событий).
3. На множестве возможностей X задано некоторое распределение ве-
роятностей (РВ) p .
Теория вероятностей уже давно перестала интересоваться такой прос-
той моделью, и сейчас забыта даже соответствующая ей терминология. Дело
в том, что главная область интересов современной теории вероятностей от-
носится к случаю, когда множество событий может быть несчетным. Имен-
но переход к несчетной модели потребовал привлечения аппарата теории
меры (который к тому времени уже был разработан). В результате появи-
лись вероятностные пространства, σ-алгебры, измеримые отображения,
а также новые проблемы, связанные с интегрированием.
В то же время, все эти хлопоты, связанные с несчетными множествами,
нас не касаются (пока), поскольку мы здесь занимаемся не теорией вероят-
ностей, а теорией ситуаций неопределенности, которая до рассмотрения
несчетного множества возможностей не доросла (и неизвестно, сможет ли
когда-нибудь дорасти). Тем не менее построение общей ТСН даже в пред-
положении, что множество возможностей счетно, является серьезным до-
стижением, поскольку номинальное количество типов неопределенности,
охватываемых теорией, бесконечно (напомним, что классическая теория ин-
формации была разработана только для одного типа неопределенности —
вероятностного).
Как видно из приведенной выше формулировки, главная задача, возник-
шая при разработке ТСН, состояла в создании совершенно нового матема-
тического аппарата — аппарата, который, конечно, не может (и не должен)
быть похожим на аппарат теории вероятностей (поскольку большинство си-
туаций неопределенности, подлежащих описанию, не имеют ничего общего
ни со случайностью, ни с вероятностями). Элементы же вероятностного
языка нам здесь необходимы только потому, что вероятностные ситуации
являются одним из важных частных случаев ситуаций неопределенности.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 115
Однако — и это очень важно — даже тот простейший вероятностный
язык, который здесь используется, все равно не может полностью совпадать
с языком теории вероятностей. Причина отличий в языке неустранима, так
как она обусловлена различным отношением двух упомянутых теорий к ре-
альному Миру. Согласно сказанному выше эти две теории относятся к раз-
ным областям знания: теория вероятностей относится к математике,
а ТСН — к естествознанию.
Первое отличие. С точки зрения теории вероятностей имеется единст-
венный способ, позволяющий задать некоторую (вероятностную) ситуацию
неопределенности: для этого необходимо ее описать. С другой стороны,
в ТСН вообще нельзя говорить о задании ситуаций неопределенности, по-
скольку задать реальную ситуацию неспособен никто (если, конечно, не
принимать во внимание возможности Господа Бога). Это первое отличие
ведет к тому, что даже самую обычную для теории вероятностей фразу «на
множестве X задано распределение вероятностей p » в ТСН применять
нежелательно, так как здесь эта фраза не может иметь того смысла, кото-
рый она имеет в теории вероятностей — она не задает (и даже не описывает)
никакую ситуацию неопределенности.
Поэтому, если в ТСН мы хотим описать реальную вероятностную си-
туацию, характеризуемую распределением p на множестве ,X то мы гово-
рим, что на множестве X действует распределение .p В этом случае не-
известное состояние природы из множества X оказывается случайным
событием. Также в этом случае, если на множестве X определена некото-
рая числовая функция f, то она оказывается случайной величиной (относи-
тельно действующего распределения .)p Математическое ожидание fE
этой случайной величины характеризуется выражением
)()( xfxpf
Xx
∑ ⋅
∈
=E . (1)
Второе отличие. Возможен ряд более сложных квазивероятностных
ситуаций, которые в ТСН должны поддаваться как содержательному, так и
формальному описанию. Все они связаны с разнообразными случаями, когда
сведения о действующем на множестве X распределении ошибочны, не-
полны или вообще отсутствуют. Для содержательного описания в ТСН каж-
дого из этих случаев должна быть выработана терминология (теория вероят-
ностей в такой терминологии никогда не нуждалась, поскольку ее
формальный аппарат все равно не позволял рассматривать подобные случаи).
Первый из этих трех случаев (когда сведения о действующем на мно-
жестве X распределении ошибочны) может быть содержательно описан
путем указания пары ),( qp распределений вероятностей на множестве воз-
можностей X , где p — действующее РВ, а q — гипотеза о действующем
РВ. Эта ситуация превращается в обычную вероятностную ситуацию тогда
и только тогда, когда .pq = В противном случае мы получаем так называе-
мую ситуацию заблуждения (2-я часть статьи, разд. 10, п. 1).
Все остальные случаи (когда сведения о действующем на множестве X
распределении неполны или вообще отсутствуют) связаны с возникновением
различных ситуаций неопределенности, но уже не на множестве ,X а на множе-
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 116
стве всех РВ на множестве X (это новое множество несчетно). Поэтому понят-
но, каково здесь разнообразие возможных частных случаев. Одним из наиболее
интересных примеров такого рода являются так называемые поливероятност-
ные ситуации (их содержательное описание и способ погружения в общий ап-
парат неопределенности предложены в работе [8, разд. 8, 9]).
4. ПОНЯТИЯ ВНУТРЕННЕЙ И ВНЕШНЕЙ ИНФОРМАЦИИ
С тех пор, как была создана классическая теория информации, параллельно
сосуществуют две хорошо известные точки зрения по вопросу о том, как
следует измерять количество информации. Поскольку эти точки зрения не-
совместимы, одна из них должна быть отброшена. Какая? Очевидно, та, ко-
торая (несмотря на свою интуитивную привлекательность) противоречит
теории информации. Однако ниже будет показано, что ее можно использо-
вать для развития аппарата информационных мер.
Мы рассмотрим здесь упомянутые точки зрения на примере того типа
неопределенности — вероятностного, — в рамках которого они возникли.
Предположим, что на множестве X имеет место вероятностная ситуация
неопределенности, характеризуемая действующим на X распределением p
(причем, РВ p известно). Тогда, согласно теории информации, с каждым эле-
ментом x множества X связано число )(xpI , характеризуемое выражением
)(
1
log)( xpxpI = . (2)
Величина )(xpI называется количеством собственной информации эле-
мента x .
Но, несмотря на то, что представление о количестве информации, соот-
ветствующее выражению (2), сейчас уже вошло во все учебники по теории
информации, иногда можно столкнуться с другим мнением о том, как нужно
измерять количество информации. Вот что, например, написал Н.И. Конда-
ков в своем «Логическом словаре-справочнике»:
«…информация — это сведения, которые снимают существовавшую до
их получения неопределенность… Степень неопределенности сообщений стали
измерять величиной, получившей название энтропия и являющейся функци-
ей вероятности. Если вероятность равна 1, то энтропия равна нулю, а если
вероятность равна 0, то энтропия равна бесконечности. Количество инфор-
мации, полученное как разность между начальной энтропией (до получения
сообщения) и конечной энтропией (после получения сообщения), называется
негэнтропией (отрицательной энтропией). Поэтому информацию иногда на-
зывают отрицательной энтропией» [14, с. 210, 211].
К сожалению, этот отрывок является своеобразным “портретом” широко распро-
страненных представлений об информации — это смесь ошибок, путаницы и неумест-
ных намеков на термодинамику. Автор начинает с традиционной ошибки — отождест-
вления информации со сведениями (об этом мы уже говорили). Затем выясняется (2-я и
3-я фразы), что автор не знает, что такое теоретико-информационная энтропия (он пу-
тает ее с количеством собственной информации (2)). Заканчивается отрывок отождест-
влением информации с негэнтропией. А это противоречит сказанному выше, так как
негэнтропия — это понятие, принадлежащее не теории информации, а термодинамике
[15, стр. 156].
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 117
(Попытки использования понятия физической энтропии в качестве “подпорки” для
освоения понятия информации были начаты еще Винером, а затем приобрели большую
популярность. Эти попытки привели к целому ряду судьбоносных для кибернетики ляп-
сусов в трактовке понятия информация.)
Несмотря на неразбериху и путаницу, составляющие основное содер-
жание приведенного выше отрывка, в нем можно отыскать также некую
мысль, ради которой он здесь и приведен. Ее нетрудно сформулировать
очень коротко. Например, так: информация — это то, что устраняет (или
хотя бы уменьшает) неопределенность. Однако легко увидеть, что такое
представление об информации явно противоречит представлению, связан-
ному с выражением (2). Действительно, рассмотрим информационную
функцию
XxpIxpI ◊= )( (3)
(функция pI определена на множестве X и каждому элементу Xx∈ ставит
в соответствие количество его собственной информации )(xpI ). Очевидно,
что функция pI является случайной величиной (относительно действующего
распределения .)p Ее математическое ожидание pIE имеет вид
)()( xpIxppI
Xx
⋅= ∑
∈
E . (4)
В теории информации число pIE называется энтропией распределе-
ния p и обозначается ),( pXH . Энтропию рассматривают также как меру
неопределенности ситуации, характеризуемой распределением .p
Таким образом, для вероятностных ситуаций эти две меры — энтропия и мера
неопределенности — совпадают по определению (Шеннон). Однако, как показано в ра-
боте [16], в общем случае эти меры различны. Поэтому в ТСН для них приняты и раз-
ные обозначения (обе эти меры одинаково хорошо обоснованы — соответственно об-
щей и усиленной теоремами кодирования [17, 16]).
В ТСН энтропия и мера неопределенности вероятностной ситуации,
которая характеризуется действующим на X распределением p , обознача-
ются соответственно ),( pXH и .),( pXG Причем, имеет место равенство
.),(),( pXGpXH = Но поскольку в этой статье всюду идет речь не об энтро-
пии, а о неопределенности, будет логичнее в дальнейшем использовать сим-
вол .),( pXG Итак, мера неопределенности ),( pXG имеет вид
)()(),( xpIxppIpXG
Xx
⋅== ∑
∈
E . (5)
Очевидно, что число ),( pXG измеряет также количество той неопре-
деленности, которая будет снята (исчезнет) в результате наступления любого
события .Xx∈ Но легко понять, что в общем случае равенство =)(xpI
),( pXG= выполняться не может (только в исключительных случаях значе-
ние случайной величины может равняться ее математическому ожиданию).
Фактически оба упомянутые подхода впервые возникли в связи с рабо-
тами Р. Хартли. И тогда они не противоречили друг другу — равенство
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 118
),()( pXGxpI = можно было обеспечить предположением, что p — равно-
мерное распределение на множестве X (Хартли предполагал, что множест-
во X конечно). Однако после работ К. Шеннона, а в особенности — его по-
следователей, стало ясно, что эти подходы несовместимы.
Тем не менее сопоставление этих двух подходов явно указывает на не-
кую насущную потребность в дальнейшем развитии как представлений об
информации, так и аппарата информационных мер. Так, в аппарате теории
информации нет четкого разграничения между информационными мерами,
которые относятся к событиям, внутренним по отношению к данной ситуа-
ции неопределенности, и к внешним событиям, влияющим (со стороны) на
ситуацию неопределенности (взятую в целом).
Легко понять, что представления о внутренней и внешней информации и
о способах измерения количества той и другой должны опираться на совер-
шенно непохожие соображения. В то время как под внутренней информацией
естественно понимать информацию, непосредственно связанную с событиями,
относящимися к данной ситуации, понятие внешней информацией, по-
видимому, следует связать с преобразованиями самих ситуаций неопределен-
ности. Появление понятия внешней информации позволяет по-новому отнес-
тись к вышеупомянутой идее о способе измерения информации. Действитель-
но, эту идею теперь можно сформулировать так:
Внешняя информация — это то, что устраняет (или хотя бы
уменьшает) неопределенность.
В такой формулировке она уже не противоречит классическим представ-
лениям. И поэтому ее можно было бы рассматривать как предположение
о том, как следует измерять количество внешней информации. Вот развер-
нутая формулировка этого предположения.
Предположение 1. Если в результате полученной внешней информа-
ции некоторая ситуация неопределенности изменилась, то количество
этой информации (по-видимому) равно разности между степенями неопре-
деленности до и после изменения.
На первый взгляд это предположение кажется многообещающим. Од-
нако попытка положить его в основу разработки системы мер внешней ин-
формации привела к выводу, что оно является неудовлетворительным сра-
зу по нескольким причинам.
Во-первых, преобразования ситуаций неопределенности могут быть свя-
заны не только с приобретением информации, но и с ее потерей. Во-вторых,
в случаях, когда информация приобретается (поступая из какого-то внешнего
источника), результат преобразования ситуации неопределенности, вызван-
ного поступившей информацией, иногда оказывается парадоксальным:
степень неопределенности заключительной ситуации может (вопреки ожи-
даниям) оказаться большей, чем степень неопределенности исходной ситуа-
ции. В-третьих, преобразования ситуаций неопределенности, связанные
с потерей информации, тоже ведут себя парадоксально: разность между сте-
пенями неопределенности до и после такого преобразования в некоторых
случаях оказывается положительной, а в некоторых — отрицательной.
Все это означает, что идея, содержащаяся в предположении 1, фак-
тически не работоспособна. Тем не менее мы покажем, что ее можно ис-
пользовать как (очень грубую) подсказку при разработке конкретных мер
внешней информации.
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 119
5. “ЛИШНИЕ” ПРОБЛЕМЫ
Изучать преобразования ситуаций неопределенности мы начинаем с анализа
таких преобразований, как квантование (с двумя его частными случаями:
концентрация информации и образование проекций) и ограничение разнооб-
разия. Эти преобразования выбраны не случайно: они не только являются
важными примерами “настоящих” преобразований информации, но и могут
послужить хорошей иллюстрацией тех проблем, которые возникают при раз-
работке математического аппарата ТСН. Читатель скоро убедится, что описа-
ния преобразований квантование и ограничение разнообразия для вероят-
ностных ситуаций хорошо известны (и очень просты). Но поскольку таким
преобразованиям могут подвергаться не только вероятностные ситуации, воз-
никла проблема нахождения универсальных описаний этих преобразований
(т.е. описаний, применимых к ситуациям всех типов неопределенности).
Проблема состояла в следующем. В разработке математического аппа-
рата ТСН уже был сделан решающий шаг: было показано, что любую ситу-
ацию неопределенности, существующую на (дискретном) множестве ,X
можно описать с помощью некоторого пространства неопределенности,
имеющего вид )( ,TX , где RR →+
X:T — возрастающий функционал (а
R и +R — результаты пополнения числовых множеств R и R+ “бесконеч-
ным числом” +∞) [7]. Из этого следовало, что описание произвольного пре-
образования ситуации, описываемой пространством )( ,TX , должно сво-
диться к некоторому преобразованию самого этого пространства. Так что
осталось “всего лишь” узнать, каким преобразованиям нужно подвергнуть
пространство )( ,TX для того, чтобы получить универсальные описания
преобразований квантование и ограничение разнообразия.
Но как это узнать? Очевидно, что нужно искать аналогию. Можно за-
метить, что пара ),( pX , фигурирующая в выражении (5), в каком-то смыс-
ле аналогична паре )( ,TX . Действительно, пары вида ),( pX и )( ,TX яв-
ляются универсальными способами описания соответственно
вероятностных и произвольных ситуаций неопределенности на (дискрет-
ном) множестве .X Далее, пары ),( pX и )( ,TX напоминают обозначения
разнообразных математических пространств, примеры которых в матема-
тике хорошо известны (алгебраические, топологические, векторные, тензор-
ные, проективные, аффинные пространства, группы, кольца, тела, поля, мо-
дули). А с формальной точки зрения преобразования квантование и
ограничение разнообразия представляют собой (как станет ясно немного
позже) переход к таким производным математическим пространствам, как
факторпространства и подпространства соответственно. Так что, каза-
лось бы, все остальное — дело техники.
Но вот тут-то и начинаются “лишние” проблемы. Их суть состоит
в следующем. Считается, что понятие математическое пространство от-
носится к так называемым “общематематическим понятиям” (наряду
с такими производными понятиями, как подпространство, факторпро-
странство, изоморфизм). Поэтому естественно ожидать, что должно быть
известно, как строить подпространства и факторпространства произвольных
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 120
математических пространств. Но не тут-то было! Оказывается, что не толь-
ко это неизвестно, но неизвестно даже, что такое вообще произвольное ма-
тематическое пространство (несмотря на большое количество известных
частных случаев).
Такое положение объясняется тем, что как традиционная, так и современная ма-
тематика (а также логика и метаматематика) не восприняли общий подход к математи-
ке, предложенный Н. Бурбаки в знаменитом трактате «Элементы математики». В первом
томе трактата, которому автор присвоил вводящее в заблуждение название «Теория
множеств» [18], фактически излагается метатеория математики, которая является
ключом к пониманию языка, архитектуры и способа изложения трактата. А наиболее
важный раздел первого тома — Теория структур [18, гл. IV].
Неприятие подхода Бурбаки проявилось, в частности, в том, что нигде
в традиционной или современной математике (кроме самого трактата «Эле-
менты математики») не используется введенное Н. Бурбаки общее понятие
математической структуры и, в особенности, понятие рода структуры
[18, гл. IV, § 1, п. 4]. Вместо этого в каждом разделе математики (и в мета-
математике) до сих пор используются свои “местные” понятия математиче-
ской структуры, которые не стыкуются между собой. Это значит, что каж-
дая математическая теория должна была самостоятельно определять все
основные и производные “общематематические понятия” и даже понятие
изоморфизма (без которого нельзя построить ни одно из производных поня-
тий). Вот что написал по этому поводу Бурбаки:
«...каждая новая аксиоматическая теория естественно приводила к оп-
ределению понятия изоморфизма; но только с современным понятием струк-
туры было окончательно признано, что каждая структура несет в себе поня-
тие изоморфизма и нет никакой нужды давать особое определение
изоморфизма для каждого рода структуры» [18, с. 323] (или — в другом пере-
воде — [19, с. 35]).
Использование “местных” разновидностей математических структур
в свою очередь вело и к “местным” разновидностям математических про-
странств. Известные примеры трудно даже перечислить. Тем не менее упо-
мянутые выше пары ),( pX и )( ,TX среди этих примеров не числятся, и
они также не подпадают под определения каких-либо “местных” разновид-
ностей математических пространств. Следовательно, современная мате-
матика не дает никаких оснований для отнесения пар ),( pX и )( ,TX
к категории математических пространств. Откуда сразу следует, что и
производные пространства (факторпространства и подпространства) от них
получить нельзя…
Хотя все это очень печально (точнее — смешно), но здесь и закончи-
лись бы наши поиски аналогии, если бы не теория структур Н. Бурбаки, со-
держащая ключевое понятие рода структуры. Из этой теории следует, что
как РВ p , так и возрастающий функционал T , представляют собой разно-
видности структур на множестве .X И хотя род структуры p отличается
от рода структуры T , имеется целый ряд стандартных процедур, примени-
мых к структурам любого рода (что и является основой для искомой анало-
гии). К сожалению, однако, сам Бурбаки не ввел понятие математическое
пространство. И это стало, хотя и не самой главной, но одной из причин
исключительной тяжеловесности языка, на котором изложена теория струк-
тур. Действительно, гораздо удобнее вместо рода структуры говорить
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 121
о роде пространства. Поэтому здесь дается формальное определение поня-
тия математическое пространство (с одиночным носителем).
Определение 1. Пусть X — абстрактное множество и s — заданная
на нем математическая структура в смысле Н. Бурбаки [18, рез, § 8, п. 2].
Тогда пару ),( sX будем называть математическим пространством,
а множество X — носителем пространства ),( sX . ■
Важно понимать, что если ),( sX — математическое пространство, то род струк-
туры s однозначно характеризует род пространства ),( sX . Но если тому и другому
роду присваивают имена, то имя рода пространства ),( sX должно (по чисто лингвис-
тическим причинам) отличаться от имени рода структуры s . А это как раз и позволяет
сделать язык изложения более выразительным.
Теперь, наконец, мы имеем все основания для отнесения пар ),( pX и
)( ,TX к категории математических пространств (со всеми вытекающими
последствиями). Пары вида ),( pX (которые являются одним из наиболее
простых примеров математических пространств) мы будем называть про-
странствами вероятностей (понятие пространство вероятностей следует
отличать от известного понятия вероятностное пространство). А пары ви-
да )( ,TX (о которых шла речь выше) названы пространствами неопреде-
ленности.
Отсутствие в математике общего понятия математического пространства очень ма-
ло волнует специалистов, работающих в устоявшихся разделах математики. Однако, если
по какой-то причине Вам понадобится построить новую аксиоматическую теорию, т.е.
теорию таких пространств ,),( sX что соответствующий им род структуры еще никем не
изучался, то Вы попадете в ситуацию, которая описана выше, и у Вас просто не будет
другого выхода, кроме обращения к определению понятия математического пространства
и к теории структур Н. Бурбаки [18, гл. IV].
При разработке ТСН как раз возникла такая ситуация — создание необходимого
для ТСН аппарата неопределенности потребовало построения аксиоматической теории
рода пространств неопределенности. И эту теорию пришлось строить с самого начала.
В статьях [7, 20] показано, как такую работу следует начинать — с построения соответст-
вующего рода структуры и вывода понятия изоморфизма (рассматриваемых математиче-
ских пространств). В статьях [21, 22] показано, что следует делать дальше — выбрать
систему морфизмов и построить образы пространств (в частности — факторпростран-
ства и проекции двумерных пространств) и их прообразы (в частности — подпростран-
ства).
6. ПРЕОБРАЗОВАНИЕ «КВАНТОВАНИЕ»
Мы теперь переходим к рассмотрению конкретных примеров “настоящих”
преобразований информации. Квантование — одно из наиболее простых
преобразований. Оно имеет следующий смысл. Пусть X есть множество
возможностей исходной ситуации неопределенности. Бывают случаи, когда
мы не хотим (или не умеем) отличать некоторые элементы множества X от
некоторых других его элементов. И иногда оказывается возможным выде-
лить такие подмножества множества ,X внутри которых элементы нераз-
личимы. Если набор всех таких подмножеств неразличимости образует
разбиение множества ,X то это разбиение можно рассматривать как новое
множество возможностей.
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 122
Покажем способ описания этого преобразования на примере вероятност-
ной ситуации неопределенности, которая описывается пространством веро-
ятностей .),( pX Пусть X — разбиение множества ,X которое получи-
лось в результате выделения в множестве X классов неразличимости (они и
стали элементами множества X ). Тогда можно построить новое простран-
ство вероятностей вида ,),( pX где РВ p характеризуется следующим ус-
ловием: для каждого класса неразличимости X∈A имеет место
)()( apA
Aa
∑
∈
=p . (6)
Будем говорить, что ситуация неопределенности, описываемая по-
строенным выше пространством вероятностей ,),( pX является результа-
том квантования (относительно разбиения X ) исходной ситуации (опи-
сываемой пространством ),( pX ).
Таким образом, нахождение способа описания преобразования квантование для
вероятностных ситуаций неопределенности оказалось очень простым. Однако нельзя
сказать то же самое о других типах неопределенности. Так, (как уже было отмечено
в разд. 5) для получения адекватного описания этого преобразования в общем случае
потребовалось привлечь теорию структур Н. Бурбаки [18, гл. IV].
Можно показать, что пространство вероятностей ),( pX является
факторпространством пространства ),( pX . Но это можно сделать тоже
только путем привлечения теории структур Бурбаки. Для каждого Xx∈
существует единственное множество ,X∈A такое, что Ax∈ . Это множе-
ство A (класс из разбиения X , в который попал элемент x ) обозначим
X][x . Существует так называемое каноническое отображение
Xxx ◊= X][ξ (7)
множества X на множество X , которое каждому Xx∈ ставит в соответ-
ствие класс X][x .
С помощью канонического отображения ξ можно (опираясь на теорию
структур) построить факторпространство (когда оно существует) любого
математического пространства ),( sX . Для этого достаточно построить об-
раз пространства ),( sX при отображении ξ [18, гл. IV, § 2, п. 6]. Поскольку
построенное выше пространство вероятностей ),( pX является образом
пространства ),( pX при отображении ξ , оно является факторпространст-
вом пространства ),( pX .
1. Информационный аспект квантования. Приведенное выше выра-
жение (2), показывает способ вычисления количества собственной инфор-
мации )(xpI каждого элемента x пространства вероятностей ),( pX . Легко
построить аналогичное выражение для количества собственной информации
)(AIp каждого элемента X∈A нового пространства вероятностей
:),( pX
)(
1log)(
A
AI
pp = . (8)
Меры внутренней и внешней информации (на примере вероятностных ситуаций …
Системні дослідження та інформаційні технології, 2012, № 3 123
Можно показать, что для любой пары ),( Ax , такой, что X∈A и
Ax∈ , числа )(xpI и )(AIp находятся в следующем отношении:
)()( AIxpI p≥ . (9)
Неравенство (9) показывает, что количество собственной информации при
квантовании не возрастает. Это представляется вполне логичным.
Теперь запишем (по аналогии с (5)) выражение для меры неопределен-
ности квантованной ситуации неопределенности, описываемой факторпро-
странством ),( pX :
)()(),( AIAIG
A
ppppX
X
⋅==
∈
∑E . (10)
А из выражений (5), (9) и (10) нетрудно получить следующее неравенство:
),(),( pXGpXG ≥ . (11)
2. Мера интенсивности квантования. Теперь можно предложить сле-
дующую меру внешней информации:
.),(),()|,( pXX GpXGpXE −= (12)
Число )|,( XpXE будем называть мерой интенсивности квантова-
ния (или количеством внешней информации квантования) пространства
вероятностей ),( pX (относительно разбиения X ).
Из неравенства (11) следует, что, каким бы ни было разбиение ,X
имеет место неравенство
0)|,( ≥XpXE . (13)
Неслучайно для обозначения внутренних и внешних мер информации выбраны
буквы I и E . Так, I есть начальная буква не только слова «information», но и таких
слов, как «inner» (внутренний), «inside» (внутри), «interior» (внутренность), а E — это
начальная буква таких слов, как «external», «exterior» (внешний, наружный), «externals»
(внешность).
Что же измеряет мера интенсивности квантования )|,( XpXE ? Не-
трудно догадаться, что величина )|,( XpXE выражает меру той информа-
ции, которая вследствие квантования была потеряна. Эта информация как
бы осталась внутри классов неразличимости.
3. Примеры. Для того чтобы лучше познакомиться с мерой )|,( XpXE ,
рассмотрим два предельных частных случая, когда разбиение X тривиаль-
но: 1) каждый класс разбиения X содержит только один элемент множе-
ства X и 2) разбиение X содержит только один класс (и этот класс,
конечно, совпадает с множеством X ). Формально первый случай изобра-
жается так: }{ :}{ Xxx ∈=X , а второй случай — так: }{ }{X=X .
Нетрудно понять, что в первом случае квантование является чисто фик-
тивным, поскольку в множестве X имеется в точности столько же элемен-
тов, сколько было в множестве X (т.е. мощности множеств X и X сов-
падают, что формально мы будем изображать так: |||| X=X ). А это значит,
что никакая информация не терялась. Действительно, можно показать, что
в этом случае имеют место равенства ),(),( pXGpXG = и 0)|,( =XpXE .
Н.Н. Дидук
ISSN 1681–6048 System Research & Information Technologies, 2012, № 3 124
Второй же случай соответствует настолько “радикальному” квантованию,
что фактически вся информация теряется, т.е. остается внутри классов не-
различимости. Действительно, ввиду того, что множество X в этом случае
состоит только из одного класса, мера неопределенности ),( pXG должна
равняться нулю, а тогда получится, что .),()|,( pXGpXE =X
ЛИТЕРАТУРА
1. Словарь по кибернетике. — К.: Гл. ред. УСЭ, 1979. — 624 с.
2. Энциклопедия кибернетики. — К.: Гл. ред. УСЭ, 1974. — 1. — 608 с.; 2. — 624 с.
3. Глушков В.М. Мышление и кибернетика. — М.: Знание, 1966. — 32 с.
4. Яглом А.М., Яглом И.М. Вероятность и информация. — 3-е изд. перераб. и доп. —
М.: Наука. Гл. ред. физ.-мат. лит., 1973. — 512 с.
5. Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. ин. лит.,
1963. — 830 с.
6. Эшби У.Р. Введение в кибернетику. — М.: Изд. ин. лит., 1959. — 432 с.
7. Дидук Н.Н. Пространства неопределенности и изоморфизм // Системні дослі-
дження та інформаційні технології. — 2002. — № 4. — С. 128–143.
8. Дидук Н.Н. Сигнальные пары и их применение // Системні дослідження та ін-
формаційні технології. — 2008. — № 2. — С. 128–143.
9. Гнеденко Б.В., Хинчин А.Я. Элементарное введение в теорию вероятностей. —
М.: Наука. Гл. ред. физ.-мат. лит., 1970. — 168 с.
10. Скороход А.В. Вероятность вокруг нас. — К.: Наук. думка, 1980. — 196 с.
11. Дидук Н.Н. Энтропия дискретных пространств неопределенности // Докл. АН
УССР. Сер. А. — 1983. — № 1. — С. 63–65.
12. Дидук Н.Н. Теория неопределенности: назначение, первые результаты и
перспективы. I, II // Кибернетика и системный анализ. — 1993. — № 4. —
С. 160–168; — № 5. — С. 165–173.
13. Бурбаки Н. Общая топология. Основные структуры. — М.: Наука. Гл. ред.
физ.-мат. лит., 1966. — 272 с.
14. Кондаков Н.И. Логический словарь-справочник. — 2-е изд. испр. и доп. —
М.: Наука, 1975. — 720 с.
15. Бриллюэн Л. Наука и теория информации. — М.: Гос. изд. физ.-мат. лит, 1960.
— 392 с.
16. Дидук Н.Н. Информационные пространства. Понятия собственной информации
и неопределенности // Кибернетика. — 1986. — № 4. — С. 74–80.
17. Дидук Н.Н. Пространства неопределенности. Энтропия и теорема кодирования //
Кибернетика. — 1984. — № 2. — С. 69–73.
18. Бурбаки Н. Теория множеств. — М.: Мир, 1965. — 456 с.
19. Бурбаки Н. Очерки по истории математики. — М.: Изд. ин. лит., 1963. — 292 с.
20. Дидук Н.Н. Новая ветвь аппарата неопределенности широкого назначения. Изо-
морфизм // Управляющие системы и машины. — 2004. — № 2. — С. 13–22.
21. Дидук Н.Н. Система морфизмов для пространств неопределенности и ее при-
менение // Системні дослідження та інформаційні технології. — 2003. —
№ 1. — С. 34–47.
22. Дидук Н.Н. Прообразы пространств неопределенности. Простые подпростран-
ства // Системні дослідження та інформаційні технології. — 2005. —
№ 1. — С. 127–142.
Поступила 01.06.2009
Стаття надрукована в редакції автора
|