ФЭНДОМ


Вопрос «как измерить информацию?» очень непростой. Ответ на него зависит от того, что понимать под информацией. Но поскольку определять информацию можно по-разному, то и способы измерения тоже могут быть разными. Выше мы подошли к информации только с одной стороны: выяснили, чем она является для человека. Другую точку зрения на информацию, объективную, то есть не связанную с её отношением к человеку, мы обсудим несколько позже.

Итак, пока остаемся на прежней позиции: информация — это знания человека. Отсюда следует вывод, что сообщение информативно (содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно: нам это уже известно. Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: 2 х 2 = 4 информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника. Отсюда, казалось бы, следует вывод, что сообщение информативно для человека, если оно содержит новые сведения, и неинформативно, если сведения старые, известные.

Но вот вы раскрыли учебник по высшей математике и прочитали там такое определение: Значение определённого интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах. Пополнил этот текст ваши знания? Скорее всего, нет! Он вам непонятен, а поэтому – неинформативен. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Для того, чтобы понять данное определение, нужно изучить элементарную математику и знать начала высшей.

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет понятным, а значит, будет нести информацию для человека. Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными.

Неопределённость знаний и единица информации

Пока мы с вами научились различать лишь две ситуации: «нет информации» — «есть информация», то есть количество информации равно нулю или не равно нулю. Но, очевидно, для измерения, тогда мы сможем определять, в каком сообщении информации больше, в каком — меньше.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица называется «бит». Её определение звучит так: Сообщение, уменьшающее неопределённость знаний в два раза, несёт 1 бит информации. В этом определении есть понятия, которые требуют пояснения. Что такое «неопределённость знаний»? Лучше всего это объяснить на примерах. Допустим, вы бросаете монету, загадывая, что выпадет: орёл или решка? Есть всего два варианта возможного результата бросания монеты. Причём, ни один из этих вариантов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны. В этом случае перед подбрасыванием монеты неопределённость знаний о результате равна двум.

Игральный кубик с шестью гранями может с равной вероятностью упасть на любую из них. Значит, неопределённость знаний о результате бросания кубика равна шести. Ещё пример: спортсмены-лыжники перед забегом путём жеребьёвки определяют свой порядковый номер на старте. Допустим неопределённость знаний спортсменом своего номера до жеребьёвки равна ста. Следовательно, можно сказать так: неопределённость знаний о некотором событии — это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия).

Вернёмся к примеру с монетой. После того, как вы бросили монету и посмотрели на неё, вы получили зрительное сообщение, что выпал, например, орёл. Произошла одно из двух возможных событий. Неопределённость знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации. Сообщение о том, что произошло одно событие из двух равновероятных, несёт 1 бит информации.

А теперь такая задача: студент на экзамене может получить одну из четырёх оценок: «5» — «отлично», «4» — «хорошо», «3» — «удовлетворительно», «2» — неудовлетворительно». Представьте себе, что ваш товарищ пошёл сдавать экзамен. Причём, учится он очень неровно и может с одинаковой вероятностью получить любую оценку от «2» до «5». Вы волнуетесь за него, ждёте результата экзамена. Наконец, он пришёл и на ваш вопрос: «Ну, что получил? — ответил: «Четвёрку!». Вопрос. Сколько бит информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдём к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет». Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

Оценка выше тройки?

Да!

После этого ответа число вариантов уменьшилось в два раза. Остались только «4» и «5». Получен 1 бит информации.

Второй вопрос:

Ты получил пятёрку?

Нет!

Выбран один вариант из двух оставшихся: оценка – «четвёрка». Получен еще 1 бит информации. В сумме имеем 2 бита. Сообщение о том, что произошло одно из четырёх равновероятных событий несёт 2 бита информации.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий, или, как мы это ещё называли, - неопределённость знаний. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

В примере с монетой N = 2, i = 1.

В примере с оценками N = 4, i = 2.

В примере со стеллажом N = 8, i = 3.

Нетрудно заметить, что связь между этими величинами выражается формулой: 2i = N

Действительно: 21 = 2; 22 = 4; 23 = 8.

Если величина N известна, аi – неизвестно, то формула становится показательным уравнением для определения i.

Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение: 2i = 16.

Поскольку 16 = 24, то i = 4.

Количество информации i, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2i = N.

Если значение N равно целой степени числа 2 (4, 8,16, 32, 64 и т.д.), то такое уравнение решается просто: i будет целым числом.

А чему равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6?

Решение уравнения: 2i = 6

будет дробным числом, лежащим между числами 2 и 3, поскольку 22 = 4, а 23 = 8. С точностью до пяти знаков после запятой решение такое: 2,58496.

Обнаружено использование расширения AdBlock.


Викия — это свободный ресурс, который существует и развивается за счёт рекламы. Для блокирующих рекламу пользователей мы предоставляем модифицированную версию сайта.

Викия не будет доступна для последующих модификаций. Если вы желаете продолжать работать со страницей, то, пожалуйста, отключите расширение для блокировки рекламы.

Также на ФЭНДОМЕ

Случайная вики