ФЭНДОМ


Вопрос «как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными. Выше мы подошли к информации только с одной стороны: выяснили, чем она является для человека. Другую точку зрения на информацию, объективную, то есть не связанную с её отношением к человеку, мы обсудим несколько позже.

Итак, пока остаемся на прежней позиции: информация — это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно. Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2 х 2 = 4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Отсюда, казалось бы, следует вывод, что сообщение информативно для человека, если оно содержит новые сведения, и неинформативно, если сведения старые, известные.

Но вот вы раскрыли учебник по высшей математике и прочитали там такое определение: Значение определённого интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах. Пополнил этот текст ваши знания? Скорее всего, нет! Он вам непонятен, а поэтому – неинформативен. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Для того, чтобы понять данное определение, нужно изучить элементарную математику и знать начала высшей.

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека. Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными.

Неопределённость знаний и единица информации

Пока мы с вами научились различать лишь две ситуации: «нет информации» — «есть информация», то есть количество информации равно нулю или не равно нулю. Но, очевидно, для измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Её определение звучит так: Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации. В этом определении есть понятия, которые требуют пояснения. Что такое «неопределённость знаний»? Лучше всего это объяснить на примерах. Допустим, вы бросаете монету, загадывая, что выпадет: орёл или решка? Есть всего два варианта возможного результата бросания монеты. Причём, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны. В этом случае перед подбрасыванием монеты неопределённость знаний о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределённость знаний о результате бросания кубика равна шести. Ещё пример: спортсмены-лыжники перед забегом путём жеребьёвки определяют свой порядковый номер на старте. Допустим неопределённость знаний спортсменом своего номера до жеребьёвки равна ста. Следовательно, можно сказать так: неопределённость знаний о некотором событии — это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).

Вернёмся к примеру с монетой. После того, как вы бросили монету и посмотрели на неё, вы получили зрительное сообщение, что выпал, например, орёл. Произошла одно из двух возможных событий. Неопределённость знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации. Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.

А теперь такая задача: студент на экзамене может получить одну из четырёх оценок: «5» — «отлично», «4» — «хорошо», «3» — «удовлетворительно», «2» — неудовлетворительно». Представьте себе, что ваш товарищ пошёл сдавать экзамен. Причём, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». Вы волнуетесь за него, ждёте результата экзамена. Наконец, он пришёл и на ваш вопрос: «Ну, что получил? — ответил: «Четвёрку!». Вопрос. Сколько бит информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдём к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет». Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

Оценка выше тройки?

Да!

После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». Получен 1 бит информации.

Второй вопрос:

Ты получил пятёрку?

Нет!

Выбран один вариант из двух оставшихся: оценка – «четвёрка». Получен еще 1 бит информации. В сумме имеем 2 бита. Сообщение о том, что произошло одно из четырёх равновероятных событий несёт 2 бита информации.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий, или, как мы это ещё называли, - неопределённость знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

В примере с монетой N = 2, i = 1.

В примере с оценками N = 4, i = 2.

В примере со стеллажом N = 8, i = 3.

Нетрудно заметить, что связь между этими величинами выражается формулой: 2i = N

Действительно: 21 = 2; 22 = 4; 23 = 8.

Если величина N известна, аi – неизвестно, то формула становится показательным уравнением для определения i.

Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение: 2i = 16.

Поскольку 16 = 24, то i = 4.

Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2i = N.

Если значение N равно целой степени числа 2 (4, 8,16, 32, 64 и т.д.), то такое уравнение решается просто: i будет целым числом.

А чему равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6?

Решение уравнения: 2i = 6

будет дробным числом, лежащим между числами 2 и 3, поскольку 22 = 4, а 23 = 8. С точностью до пяти знаков после запятой решение такое: 2,58496.