Как найти количество бит информации. Определение количества информации в сообщении
Все мы привыкли к тому, что все вокруг можно измерить. Мы можем определить массу посылки, длину стола, скорость движения автомобиля. Но как определить количество информации, содержащееся в сообщении? Ответ на вопрос в статье.
Итак, давайте для начала выберем сообщение. Пусть это будет «Принтер — устройство вывода информации. «. Наша задача — определить, сколько информации содержится в данном сообщении. Иными словами — сколько памяти потребуется для его хранения.
Определение количества информации в сообщении
Для решения задачи нам нужно определить, сколько информации несет один символ сообщения, а потом умножить это значение на количество символов. И если количество символов мы можем посчитать, то вес символа нужно вычислить. Для этого посчитаем количество различных символов в сообщении. Напомню, что знаки препинания, пробел — это тоже символы. Кроме того, если в сообщении встречается одна и та же строчная и прописная буква — мы считаем их как два различных символа. Приступим.
В слове Принтер 6 различных символов (р встречается дважды и считается один раз), далее 7-й символ пробел и девятый — тире . Так как пробел уже был, то после тире мы его не считаем. В слове устройство 10 символов, но различных — 7, так как буквы с , т и о повторяются. Кроме того буквы т и р уже была в слове Принтер . Так что получается, что в слове устройство 5 различных символов. Считая таким образом дальше мы получим, что в сообщении 20 различных символов.
2 i =N
Подставив в нее вместо N количество различных символов, мы узнаем, сколько информации несет один символ в битах. В нашем случае формула будет выглядеть так:
2 i =20
Вспомним и поймем, что i находится в диапазоне от 4 до 5 (так как 2 4 =16, а 2 5 =32). А так как бит — минимальная и дробным быть не может, то мы округляем i в большую сторону до 5. Иначе, если принять, что i=4, мы смогли бы закодировать только 2 4 =16 символов, а у нас их 20. Поэтому получаем, что i=5, то есть каждый символ в нашем сообщении несет 5 бит информации.
Осталось посчитать сколько символов в нашем сообщении. Но теперь мы будем считать все символы , не важно повторяются они или нет. Получим, что сообщение состоит из 39 символов. А так как каждый символ — это 5 бит информации, то, умножив 5 на 39 мы получим:
5 бит x 39 символов = 195 бит
Это и есть ответ на вопрос задачи — в сообщении 195 бит информации. И, подводя итог, можно написать алгоритм нахождения объема информации в сообщении :
- посчитать количество различных символов.
- подставив это значение в формулу 2i=N найти вес одного символа (округлив в большую сторону)
- посчитать общее количество символов и умножить это число на вес одного символа.
Четвергова Ю. Н.
Место работы, должность:
МОУ "Средняя общеобразовательная школа №1 г. Порхова", учитель
Псковская область
Характеристики урока (занятия)
Уровень образования:
Среднее (полное) общее образование
Целевая аудитория:
Учитель (преподаватель)
Класс(ы):
Предмет(ы):
Информатика и ИКТ
Цель урока:
Повторение, закрепление, контроль знаний и умений
Тип урока:
Урок комплексного применения ЗУН учащихся
Учащихся в классе (аудитории):
Используемая методическая литература:
Поурочные разработки по информатике. 10 класс. О. Л. Соколова;
Используемое оборудование:
Программа "Калькулятор"
Калькулятор
Тема. Количество информации. Формулы Хартли и Шеннона
Ход занятия
Повторение материала пройденного на уроке. Дополнение.(10 минут)
Тренировочные карточки. Групповая работа (20 минут)
Решение задач. Парная работа (10 минут)
Контрольная работа. (40 минут)
Взаимопроверка. Работа над ошибками.
Основные знания, умения и компетенции
Знания:
Какие события равновероянные, какие - не равновероятные;
Как найти вероятность события;
Как найти количество информации в сообщении при разных событиях.
Умения:
Различать равновероятные и не равновероятные события;
Находить количество информации при разных событиях.
Компетенции:
Сотрудничество
Коммуникативность
Креативность и любознательность
Критическое мышление (оценочное суждение)
Повторение материала пройденного на урокеКакие события равновероянные, какие - не равновероятные?
В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:
I = log 2 K ,
Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2 I .
Иногда формулу Хартли записывают так:
I = log 2 K = log 2 (1 / р) = - log 2 р,
т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.
Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В.
Решение.
Такое сообщение содержит I = log 2 3 = 1,585 бита информации.
Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или "правило бутерброда".
"Однажды в детстве я уронил бутерброд. Глядя, как я виновато вытираю масляное пятно, оставшееся на полу, старший брат успокоил меня:
Не горюй, это сработал закон бутерброда.
Что еще за закон такой? - спросил я.
Закон, который гласит: "Бутерброд всегда падает маслом вниз". Впрочем, это шутка, - продолжал брат.- Никакого закона нет. Просто бутерброд действительно ведет себя довольно странно: большей частью масло оказывается внизу.
Давай-ка еще пару раз уроним бутерброд, проверим, - предложил я. - Все равно ведь его придется выкидывать.
Проверили. Из десяти раз восемь бутерброд упал маслом вниз.
И тут я задумался: а можно ли заранее узнать, как сейчас упадет бутерброд маслом вниз или вверх?
Наши опыты прервала мать…"
(Отрывок из книги "Секрет великих полководцев", В.Абчук).
В 1948 г. американский инженер и математик К Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.
Если I - количество информации,
К - количество возможных событий, р i - вероятности отдельных событий,
то количество информации для событий с различными вероятностями можно определить по формуле:
I = - Sum р i log 2 р i , где i принимает значения от 1 до К.
Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:
I = - Sum 1 / К log 2 (1 / К ) = I = log 2 К .
При равновероятных событиях получаемое количество информации максимально.
Как найти вероятность события?
Если заключённые в каком-то сообщении сведения являются для человека новыми, понятными, пополняют его знания, т.е. приводят к уменьшению неопределённости знаний, то сообщение содержит информацию.
1 бит - количество информации, которое содержится в сообщении, которое уменьшает неопределённость знаний в 2 раза.
Пример
При бросании монеты возможны 2 события (случая) - монета упадёт орлом или решкой, причём оба события равновероятны (при большом количестве бросаний количество случаев падения монеты орлом и решкой одинаковы). После получения сообщения о результате падения монеты неопределённость знаний уменьшилась в 2 раза, и, поэтому, количество информации, полученное при этом равно 1 бит.
Как найти количество информации в сообщении при разных событиях?
Вычисление количества информации для равновероятных событий.
Если события равновероятны, то количество информации можно рассчитать по формуле:
N = 2 I
где N - число возможных событий,
I - количество информации в битах.
Формула была предложена американским инженером Р. Хартли в 1928 г.
Задача 1. В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?
Решение.
Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий
равно 32.
N = 32, I = ?
N = 2 I , 32 = 2 5 , I = 5 бит .
Ответ: 5 бит.
Вычисление количества информации для событий с различными вероятностями.
Существует множество ситуаций, когда возможные события имеют различные вероятности реализации. Рассмотрим примеры таких событий.
1. В коробке 20 карандашей, из них 15 красных и 5 чёрных. Вероятность вытащить наугад красный карандаш больше, чем чёрный.
2. При случайном падении бутерброда вероятность падения его маслом вниз (более тяжёлой стороной) больше, чем маслом вверх.
3. В пруду живут 8000 карасей, 2000 щук и 40000 пескарей. Самая большая вероятность для рыбака - поймать в этом пруду пескаря, на втором месте - карася, на третьем - щуку.
Количество информации в сообщении о некотором событии зависит от его вероятности. Чем меньше вероятность события, тем больше информации оно несёт.
P
=
K
/
N
, где К - количество случаев реализации одного из исходов события,
N
- общее число возможных исходов одного из событий
2
I
=
log
2
(1/
p
), где
I
- количество информации,
p
- вероятность события
Задача 1. В коробке 50 шаров, из них 40 белых и 10 чёрных. Определить количество информации в сообщении о вытаскивании наугад белого шара и чёрного шара.
Решение
.
Вероятность вытаскивания белого шара
P
1 = 40/50 = 0,8
Вероятность вытаскивания чёрного шара
P
2 = 10/50 = 0,2
Количество информации о вытаскивании белого шара
I
1
=
log
2
(1/0,8) =
log
2
1,25 =
log
1,25/
log
2
»
0,32 бит
Количество информации о вытаскивании чёрного шара
I 2 = log 2 (1/0,2) = log 2 5 = log5/log2 » 2,32 бит
Ответ : 0,32 бит, 2,32 бит
Что такое логарифм?
Логарифмом числа а по основанию b называется показатель степени, в которую надо возвести число a , чтобы получить число b .
a logab = b, a > 0, b > 0, a ≠ 1
Разбор задач
Определить количество информации, получаемое при реализации одного из событий, если бросают
а) несимметричную четырехгранную пирамидку;
б) симметричную и однородную четырехгранную пирамидку.
Решение.
А) Будем бросать несимметричную четырехгранную пирамидку.
Вероятность отдельных событий будет такова:
р1 = 1 / 2,
р2 = 1 / 4,
р3 = 1 / 8,
р4 = 1 / 8,
тогда количество информации, получаемой после реализации одного из этих событий, рассчитывается по формуле:
I = -(1 / 2 log 2 1/2 + 1 / 4 log 2 1/4 + 1 / 8 log 2 1/8 + 1 / 8 log 2 1/8) = 1 / 2 + 2 / 4 + 3 / 8 + 3 / 8 = 14/8 = 1,75 (бит).
б) Теперь рассчитаем количество информации, которое получится при бросании симметричной и однородной четырехгранной пирамидки:
I = log 2 4 = 2 (бит).
2. Вероятность перового события составляет 0,5, а второго и третьего 0,25. Какое количество информации мы получим после реализации одного из них?
3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?
4. Сколько различных чисел можно закодировать с помощью 8 бит?
Решение: I=8 бит, K=2 I =2 8 =256 различных чисел.
Задача 2. В озере живут караси и окуни. Подсчитано, что карасей 1500, а окуней - 500. Сколько информации содержится в сообщениях о том, что рыбак поймал карася, окуня, поймал рыбу?
Решение.
События поимки карася или окуня не являются равновероятными, так как окуней в озере меньше, чем карасей.
Общее количество карасей и окуней в пруду 1500 + 500 = 2000.
Вероятность попадания на удочку карася
p 1 = 1500/2000 = 0,75, окуня p 2 = 500/2000 = 0,25.
I 1 = log 2 (1/ p I ), I 1 = log 2 (1/ p 2 ), где P 1 и P 2 - вероятности поймать карася и окуня соответственно.
I 1 = log 2 (1 / 0,75) » 0,43 бит, I 2 = log 2 (1 / 0,25) =2 бит - количество информации в сообщении поймать карася и поймать окуня соответственно.
Количество информации в сообщении поймать рыбу (карася или окуня) рассчитывается по формуле Шеннона
I = - p 1 log 2 p 1 - p 2 log 2 p 2
I = - 0,75*log 2 0,75 - 0,25*log 2 0,25 = - 0,75*(log0,75/log2)-0,25*(log0,25/log2) =
0,311 + 0,5 = 0,811
Ответ: в сообщении содержится 0,811 бит информации
Тренировочные карточки (20 минут)
№1
1. В коробке лежало 32 разноцветных карандаша. Сколько информации несет сообщение о том, что из коробки достали красный карандаш?
2. Сообщение о том, что ваш друг живет на 9 этаже, несет 4 бита информации. Сколько этажей в доме?
3. Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?
4. Книга, набранная с помощью компьютера, содержит 250 страниц; на каждой странице—40 строк, в каждой строке—60 символов. Каков объем информации в книге?
5. Записать следующие числа в двоичной системе счисления: 37 и 52.
№2
2. В школьной библиотеке 8 стеллажей с книгами. На каждом стеллаже 4 полки. Библиотекарь сообщил Васе, что нужная ему книга находится на пятом стеллаже на второй сверху полке. Какое количество информации библиотекарь передал Васе?
4. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 2 раза?
5. Записать следующие числа в двоичной системе счисления: 12 и 49.
1. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержит этот диапазон?
2. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?
3. Племя Пульти имеет 16-ти символьный алфавит. Племя Мульти использует 32-х символьный алфавит. Вожди племен обменялись письмами. Письмо племени Пульти содержало 90 символов, а письмо племени Мульти—70 символов. Сравните объемы информации, содержащейся в письмах.
4. Сколько килобайт составит сообщение из 384 символов 8-ми символьного алфавита?
5. Записать следующие числа в двоичной системе счисления: 33 и 15.
2. Сообщение занимает 2 страницы и содержит 1/16Кбайта информации. На каждой странице записано 256 символов. Какое количество информации несет одна буква использованного алфавита?
3. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 11 символов. Какой объем информации оно несет?
4. В коробке лежат 64 разноцветных карандаша. Какое количество информации содержит сообщение, что из коробки достали зеленый карандаш?
5. Записать следующие числа в двоичной системе счисления: 17 и 42.
1. Какое количество информации получит второй игрок после первого хода первого игрока в игре “крестики-нолики” на поле 4х4?
2. В барабане для розыгрыша лотереи находится 8 шаров. Сколько информации содержит сообщение о первом выпавшем номере, например, выпал номер 2?
3. Количество бит информации в сообщении “Миша на олимпиаде по информатике занял одно из 16 мест”?
4. Растровый графический файл содержит черно-белое изображение с 16 градациями серого цвета размером 10х10 точек. Каков информационный объем этого файла?
5. Записать следующие числа в двоичной системе счисления: 28 и 51.
1. Алфавит племени Мульти состоит из 8 букв. Какое количество информации содержит сообщение, состоящее из 13 символов?
2. Растровый графический файл содержит черно-белое изображение (без градаций серого) размером 100х100 точек. Каков информационный объем этого файла?
3. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?
4. Была получена телеграмма: ” Встречайте, вагон 6”. Известно, что в составе поезда 16 вагонов. Какое количество информации было получено?
5. Записать следующие числа в двоичной системе счисления: 23 и 38.
1. Производится бросание симметричной четырехгранной пирамидки. Какое количество информации мы получаем в зрительном сообщении о ее падении на одну из граней?
2. Каков информационный объем текста, содержащего слово КОДИРОВКА, в 8-ми битной кодировке?
3. Цветное (с палитрой из 256 цветов) растровое графическое изображение имеет размер 10х10 точек. Какой объем памяти займет это изображение?
4. Сообщение о том, что ваш друг живет на 8 этаже, несет 4 бита информации. Сколько этажей в доме?
5. Записать следующие числа в двоичной системе счисления: 19 и 46.
1. Происходит выбор одной карты из колоды в 32карты. Какое количество информации мы получаем в зрительном сообщении о выборе определенной карты?
2. Какое количество информации требуется для двоичного кодирования каждого символа набора из 256 символов?
3. Текст занимает 0,5Кбайта памяти компьютера. Сколько символов содержит этот текст?
4. Алфавит племени Пульти состоит из 128 букв. Какое количество информации несет одна буква этого алфавита?
5. Записать следующие числа в двоичной системе счисления: 11 и 35.
1. “Дома ли твой друг?”— спросили ученика в школе. “Нет”,— ответил он. Сколько информации содержит ответ?
2. Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?
3. В коробке лежат 16 разноцветных шаров. Какое количество информации содержит сообщение, что из коробки достали желтый шар?
4. При угадывании целого числа в некотором диапазоне было получено 5 бит информации. Сколько чисел содержит этот диапазон?
5. Записать следующие числа в двоичной системе счисления: 13 и 41.
1. Чему равно количество бит информации в сообщении “Ваня на олимпиаде по информатике занял одно из 8 мест”?
2. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге? Определить в Кбайтах.
3. При угадывании целого числа в диапазоне от 1 до N было получено 8 бит информации. Чему равно N?
4. Сообщение, записанное буквами из 32-х символьного алфавита, содержит 30 символов. Какой объем информации оно несет?
5. Записать следующие числа в двоичной системе счисления: 16 и 39.
1. Алфавит племени Мульти состоит из 16 букв. Какое количество информации несет одна буква этого алфавита?
2. Сообщение о том, что ваш друг живет на 8 этаже, несет 5 бит информации. Сколько этажей в доме?
3. Найти максимальное количество книг (каждая объемом 200 страниц, на каждой странице 60 строк, 80 символов в строке), полностью размещенных на лазерном диске емкостью 600 Мбайт.
4. Какое количество информации, необходимо для отгадывания одного из 64 чисел?
5. Записать следующие числа в двоичной системе счисления: 14 и 53.
1. Была получена телеграмма: ”Встречайте, вагон 4”. Известно, что в составе поезда 8 вагонов. Какое количество информации было получено?
2. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита (сколько символов в алфавите?), с помощью которого записано сообщение?
3. “Вы выходите на следующей остановке?” — спросили человека в автобусе. “Да”, — ответил он. Сколько информации содержит ответ?
4. Сообщение, записанное буквами из 16-ти символьного алфавита, содержит 25 символов. Какой объем информации содержит ответ?
5. Записать следующие числа в двоичной системе счисления: 26 и 47.
1. Сколько килобайтов составляет сообщение, содержащее 12288 битов?
2. Какой объем информации содержит сообщение, уменьшающее неопределенность знаний в 4 раза?
3. Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?
4. Группа школьников пришла в бассейн, в котором 8 дорожек для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 4. Сколько информации получили школьники из этого сообщения?
5. Записать следующие числа в двоичной системе счисления: 18 и 25.
1. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?
2. Для записи текста использовался 256-ти символьный алфавит. Каждая страница содержит 30 строк по 60 символов в строке. Какой объем информации содержат 6 страниц текста?
3. В барабане для розыгрыша лотереи находится 64 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 32)?
4. При угадывании целого числа в некотором диапазоне было получено 7 бит информации. Сколько чисел содержит этот диапазон?
5. Записать следующие числа в двоичной системе счисления: 27 и 56.
1. Сообщение о том, что Петя живет в первом подъезде, несет 2 бита информации. Сколько подъездов в доме?
2. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 40 символов. Какой объем информации оно несет?
3. Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?
4. Сколько килобайтов составит сообщение из 284 символов 16-ти символьного алфавита?
5. Записать следующие числа в двоичной системе счисления: 10 и 29.
1. Какое количество информации получит второй игрок после первого хода первого игрока в игре в “крестики-нолики” на поле 4х4?
2. Какое количество байт информации содержится в 1Мбайте?
3. Каково было количество возможных событий, если после реализации одного из них мы получили количество информации равное 7 бит?
4. Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?
5. Записать следующие числа в двоичной системе счисления: 22 и 59.
1. Сообщение, записанное буквами из 128-ми символьного алфавита, содержит 40 символов. Какой объем информации оно несет?
2. Какое количество информации получит второй игрок в игре “Угадай число” при правильной стратегии, если первый игрок загадал число в интервале от 1 до 64?
3. Для записи текста использовался 256-ти символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 3 страницы текста?
4. Текст занимает 0,25Кбайт памяти компьютера. Сколько символов содержит этот текст?
5. Записать следующие числа в двоичной системе счисления: 32 и 51.
1. Какое количество бит информации содержится в 1 Кбайте?
2. Первое племя имеет 16-ти символьный алфавит. Второе племя использует 32-х символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 90 символов, а письмо второго племени — 80 символов. Сравните объемы информации, содержащейся в письмах.
3. Какое количество информации будет получено при игре в рулетку с 32-мя секторами?
4. Информация передается со скоростью 2,5Кбайт/с. Какой объем информации будет передан за 20мин?
5. Записать следующие числа в двоичной системе счисления: 21 и 48.
Решение задач по выбору (20 минут)
№1
Сообщение записано с помощью алфавита, содержащего 8 символов. Ка кое количество информации несет одна буква этого алфавита? Решение: I = log 2 8 = 3 бита.
Ответ: 3 бита.
№2
Информационный объем одного символа некоторого сообщения равен 6 битам. Сколько символов входит в алфавит, с помощью которого было/ составлено это сообщение? Решение: N = 2 I = 2 6 = 64 символа.
Ответ: 64 символа.
№3
Информационный объем одного символа некоторого сообщения равен 5 битам. Каковы пределы (максимальное и минимальное значение) мощности алфавита, с помощью которого составлено это сообщение?
Решение: N = 2 I = 2 5 = 32 — максимальное значение мощности алфавита. Если символов будет больше хотя бы на один, то для кодирования понадобится 6 бит.
Минимальное значение — 17 символов, т.к. для меньшего количества символов будет достаточно 4 бит. Ответ: 4 бита.
№4
Сообщение, записанное буквами из 128-символьного алфавита, содержания 30 символов. Какой объем информации оно несет?
Дано: N = 128, К = 30.
Найти: 1 т — ?
Решение:
1) I т = KI , неизвестно I ;
2) I = log 2 N = log 2 l 28 = 7 бит — объем одного символа;
3) I т = 30*7 = 210 бит — объем всего сообщения.
Ответ: 210 бит объем всего сообщения.
№5
Сообщение, составленное с помощью 32-символьного алфавита, содержит 80 символов. Другое сообщение составлено с использованием 64-символьного алфавита и содержит 70 символов. Сравните объемы информации, содержащейся в сообщениях.
Дано: N 1 = 32, К 1 = 80, N 2 = 64, К 2 = 70.
Найти: I т1 I т2
Решение:
I ) I 1 = log 2 Nl = log 2 32 = 5 бит — объем одного символа первого сооб-щения;
Лабораторная работа № 1
ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ В СООБЩЕНИИ
1 Цель и содержание
Ввести понятие «количество информации»; сформировать у студентов понимание вероятности, равновероятных и неравновероятных событий; научить студентов определять количество информации.
Данное практическое занятие содержит сведения о подходах к определению количества информации в сообщении.
2 Теоретическое обоснование
2.1 Введение понятия «количество информации»
В основе нашего мира лежат три составляющие вещество, энергия и информация. А как много в мире вещества, энергии и информации? Можно измерить количество вещества, например взвесив его. Можно определить количество тепловой энергии в Джоулях, электроэнергии в киловатт/часах и т. д.
А можно ли измерить количество информации и как это сделать? Оказывается, информацию также можно измерять и находить ее количество. Количество информации в сообщении зависит от его информативности. Если в сообщении содержатся новые и понятные сведения , то такое сообщение называется информативным .
Например, содержит ли информацию учебник информатики для студентов, обучающихся в университете? (Ответ да). Для кого он будет информативным для студентов, обучающихся в университете или учеников 1 класса? (Ответ для студентов, обучающихся в университете он будет информативным, так как в нем содержится новая и понятная ему информация, а для учеников 1 класса он информативным не будет, так как информация для него непонятна).
Количество информации в некотором сообщении равно нулю, если оно с точки зрения конкретного человека неинформативно. Количество информации в информативном сообщении больше нуля.
Но информативность сообщения сама по себе не дает точного определения количества информации. По информативности можно судить только о том, много информации или мало.
2.2 Вероятностный подход к определению количества информации
Если некоторое сообщение является информативным, следовательно, оно пополняет нас знаниями или уменьшает неопределенность наших знаний. Другими словами сообщение содержит информацию, если оно приводит к уменьшению неопределенности наших знаний.
Например, мы бросаем монету и пытаемся угадать, какой стороной она упадет на поверхность. Возможен один результат из двух: монета окажется в положение «орел» или «решка». Каждое из этих двух событий окажется равновероятным, т. е. ни одно из них не имеет преимущества перед другим.
Перед броском монеты мы точно не знаем, как она упадет. Это событие предсказать невозможно, т. е. перед броском существует неопределенность нашего знания (возможно одно событие из двух). После броска наступает полная определенность знания, т. к. мы получает зрительное сообщение о положении монеты. Это зрительное сообщение уменьшает неопределенность нашего знания в два раза, т. к. из двух равновероятных событий произошло одно.
Если мы кидаем шестигранный кубик, то мы также не знаем перед броском, какой стороной он упадет на поверхность. В этом случае, возможно получить один результат из шести равновероятных . Неопределенность знаний равна шести , т. к. именно шесть равновероятных событий может произойти. Когда после броска кубика мы получаем зрительное сообщение о результате, то неопределенность наших знаний уменьшается в шесть раз .
Контрольный пример . На экзамене приготовлено 30 билетов.
- Чему равно количество событий, которые могут произойти при вытягивании билета? (Ответ 30).
- Равновероятны эти события или нет? (Ответ равновероятны).
- Чему равна неопределенность знаний студента перед тем как он вытянет билет? (Ответ 30).
- Во сколько раз уменьшится неопределенность знаний после того как студент билет вытянул? (Ответ в 30 раз).
- Зависит ли этот показатель от номера вытянутого билета? (Ответ нет, т. к. события равновероятны).
Можно сделать следующий вывод.
Чем больше начальное число возможных равновероятных событий, тем в большее количество раз уменьшается неопределенность наших знаний, и тем большее количество информации будет содержать сообщение о результатах опыта.
Для того, чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту .
Таким образом 1 бит это количество информации, уменьшающее неопределенность знаний в два раза .
Группа из 8 битов информации называется байтом . Если бит минимальная единица информации, то байт ее основная единица. Существуют производные единицы информации: килобайт (Кбайт, Кбт), мегабайт (Мбайт, Мбт) и гигабайт (Гбайт, Гбт).
1 Кбт = 1024 байта = 2 10 (1024) байтов.
1 Мбт = 1024 Кбайта = 2 20 (1024 1024) байтов.
1 Гбт = 1024 Мбайта = 2 30 (1024 1024 1024) байтов.
Существует формула, которая связывает между собой количество возможных событий и количество информации:
N = 2 i ,
где N количество возможных вариантов;
I количество информации.
Отсюда можно выразить количество информации в сообщении об одном из N равновероятных событий: I = log 2 N .
Контрольный пример . Пусть имеется колода карт, содержащая 32 различные кары. Мы вытаскиваем одну карту из колоды. Какое количество информации мы получим?
Количество возможных вариантов выбора карты из колоды 32 (N = 32) и все события равновероятны. Воспользуемся формулой определения количества информации для равновероятных событий I = log 2 N = log 2 32 = 5 (32 = 2 i ; 2 5 = 2 i ; отсюда I = 5 бит).
Если количество возможных вариантов N является целой степенью числа 2, то производить вычисления по формуле N = 2 i достаточно легко. Если же количество возможных вариантов не является целой степенью числа 2, то необходимо воспользоваться инженерным калькулятором; формулу I = log 2 N представить как и произвести необходимые вычисления.
Контрольный пример . Какое количество информации можно получить при угадывании числа из интервала от 1 до 11?
В этом примере N = 11. Число 11 не является степенью числа 2, поэтому воспользуемся инженерным калькулятором и произведем вычисления для определения I (количества информации). I = 3,45943 бит.
2.3 Неравновероятные события
Очень часто в жизни мы сталкиваемся с событиями, которые имеют разную вероятность реализации. Например:
1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятны летом, а сообщение о снеге зимой.
2. Если вы лучший студент в группе, то вероятность сообщения о том, что за контрольную работу вы получите 5, больше, чем вероятность получения двойки.
3. Если в мешке лежит 10 белых шаров и 3 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.
Как вычислить количество информации в сообщении о таком событии? Для этого необходимо использовать следующую формулу:
где I это количество информации;
p вероятность события.
Вероятность события выражается в долях единицы и вычисляется по формуле: где K величина, показывающая, сколько раз произошло интересующее нас событие; N общее число возможных исходов какого-то процесса.
Контрольный пример . В мешке находятся 20 шаров. Из них 15 белых и 5 красных. Какое количество информации несет сообщение о том, что достали: а) белый шар; б) красный шар. Сравните ответы.
1. Найдем вероятность того, что достали белый шар:
2. Найдем вероятность того, что достали красный шар:
3. Найдем количество информации в сообщении о вытаскивании белого шара: бит.
4. Найдем количество информации в сообщении о вытаскивании красного шара: бит.
Количество информации в сообщении о том, что достали белый шар, равно 1, 1547 бит. Количество информации в сообщении о том, что достали красный шар, равно 2 бит.
При сравнении ответов получается следующая ситуация: вероятность вытаскивания белого шара была больше, чем вероятность красного шара, а информации при этом получилось меньше. Это не случайность, а закономерная, качественная связь между вероятностью события и количеством информации в сообщении об этом событии.
2.4 Алфавитный подход к измерению количества информации
При определения количества информации с помощью вероятностного подхода количество информации зависит от ее содержания, понятности и новизны. Однако любое техническое устройство не воспринимает содержание информации. Поэтому с этой точки зрения используется другой подход к измерению информации алфавитный.
Предположим, что у нас есть текст, написанный на русском языке. Он состоит из букв русского алфавита, цифр, знаков препинания. Для простоты будем считать, что символы в тексте присутствуют с одинаковой вероятностью.
Множество используемых в тексте символов называется алфавитом. В информатике под алфавитом понимают не только буквы, но и цифры, и знаки препинания, и другие специальные знаки. У алфавита есть размер (полное количество его символов), который называется мощностью алфавита. Обозначим мощность алфавита через N . Тогда воспользуемся формулой для нахождения количества информации из вероятностного подхода: I = log 2 N . Для расчета количества информации по этой формуле нам необходимо найти мощность алфавита N .
Контрольный пример . Найти объем информации, содержащейся в тексте из 3000 символов, и написанном русскими буквами.
1. Найдем мощность алфавита:
N = 33 русских прописных буквы + 33 русских строчных буквы + 21 специальный знак = 87 символов.
2. Подставим в формулу и рассчитаем количество информации:
I = log 2 87 = 6,4 бита.
Такое количество информации информационный объем несет один символ в русском тексте. Теперь, чтобы найти количество информации во всем тексте, нужно найти общее количество символов в нем и умножить на информационный объем одного символа. Пусть в тексте 3000 символов.
6,4 3000 = 19140 бит.
Теперь дадим задание переводчику перевести этот текст на немецкий язык. Причем так, чтобы в тексте осталось 3000 символов. Содержание текста при этом осталось точно такое же. Поэтому с точки зрения вероятностного подхода количество информации также не изменится, т. е. новых и понятных знаний не прибавилось и не убавилось.
Контрольный пример . Найти количество информации, содержащейся в немецком тексте с таким же количеством символов.
1. Найдем мощность немецкого алфавита:
N = 26 немецких прописных буквы + 26 немецких строчных букв + 21 специальный знак = 73 символа.
2. Найдем информационный объем одного символа:
I = log 2 73 = 6,1 бит.
3. Найдем объем всего текста:
6,1 3000 = 18300 бит.
Сравнивая объемы информации русского текста и немецкого, мы видим, что на немецком языке информации меньше, чем на русском. Но ведь содержание не изменилось! Следовательно, при алфавитном подходе к измерению информации ее количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте. С точки зрения алфавитного подхода, в толстой книге информации больше, чем в тонкой. При этом содержание книги не учитывается.
Правило для измерения информации с точки зрения алфавитного подхода:
- Найти мощность алфавита N.
- Найти информационный объем одного символа I = log 2 N .
- Найти количество символов в сообщении K .
- Найти информационный объем всего сообщения K I ..
Контрольный пример . Найти информационный объем страницы компьютерного текста.
Примечание . В компьютере используется свой алфавит, который содержит 256 символов.
1. Найдем информационный объем одного символа:
I = log 2 N, где N = 256.
I = log 2 256 = 8 бит = 1 байт .
2. Найдем количество символов на странице (примерно, перемножив количество символов в одной строке на количество строк на странице).
40 символов на одной строке 50 строк на странице = 2000 символов.
3. Найдем информационный объем всей страницы:
1 байт 2000 символов = 2000 байт.
Информационный объем одного символа несет как раз 1 байт информации. Поэтому достаточно подсчитать количество символов в тексте, которое и даст объем текста в байтах.
Например, если в тексте 3000 символов, то его информационный объем равен 3000 байтам.
3 Задания
1. Какое количество информации будет получено при отгадывании числа из интервала от 1 до 64; от 1 до 20?
2. Какое количество информации будет получено после первого хода в игре «крестики-нолики» на поле 3 x 3; 4 x 4?
3. Сколько могло произойти событий, если при реализации одного из них получилось 6 бит информации?
4. В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.
5. В коробке лежат 36 кубиков: красные, зеленые, желтые, синие. Сообщение о том, что достали зеленый кубик, несет 3 бита информации. Сколько зеленых кубиков было в коробке.
6. В группе учатся 12 девочек и 8 мальчиков. Какое количество информации несет сообщение, что к доске вызовут девочку; мальчика?
7. Найти объем текста, записанного на языке, алфавит которого содержит 128 символов и 2000 символов в сообщении.
8. Найти информационный объем книги в 130 страниц.
9. Расположите в порядке возрастания:
1 Мбт, 1010 Кбт, 10 000 бит, 1 Гбт, 512 байт.
10. В пропущенные места поставьте знаки сравнения <, >, =:
1 Гбт … 1024 Кбт … 10 000 бит … 1 Мбт … 1024 байт.
4 Контрольные вопросы
1. Какое сообщение называется информативным?
2. Что значит событие равновероятно; неравновероятно?
3. Что такое 1 бит информации?
4. Как определить количество информации для равновероятных событий?
5. Как определить количество информации для неравновероятных событий?
6. В чем заключается алфавитный подход к измерению количества информации
5 Домашняя работа
1.Установите знаки сравнения (<, > , =):
1байт 32бита 4байта 1Мбайт 1024Кбайт
2.Упорядочите по убыванию:
5байт 25бит 1Кбайт 1010байт
3.Упорядочите по возрастанию:
2Мбайта 13байт 48бит 2083Кбайт
4.Книга содержит 100 страниц; на каждой странице по 35 строк, в каждой строке - 50 символов. Рассчитать объем информации, содержащийся в книге.
5.Имеется следующая черно-белая картинка. Определите информационный объем этой картинки.
6.В языке племени Мумбо-Юмбо всего 129 разных слов. Сколько бит нужно чтобы закодировать любое из этих слов?
8.Дана черно-белая картинка. Определите количество информации, содержащейся в картинке.
9.Информационный объем черно-белой картинки равен 6000бит. Какое количество точек содержит картинка
Количество информации как мера уменьшения неопределенности знаний. Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.
Сообщения обычно содержат информацию о каких-либо событиях. Количество информации для событий с различными вероятностями определяется по формуле:
или из показательного уравнения:
Пример 2.1. После экзамена по информатике, который сдавали ваши друзья, объявляются оценки («2», «3», «4» или «5»). Какое количество информации будет нести сообщение об оценке учащегосяA, который выучил лишь половину билетов, и сообщение об оценке учащегосяB, который выучил все билеты.
Опыт показывает, что для учащегося Aвсе четыре оценки (события) равновероятны и тогда количество информации, которое несет сообщение об оценке можно вычислить по формуле 2.2:
I = log 2 4 = 2 бит
На основании опыта можно также предположить, что для учащегося Bнаиболее вероятной оценкой является «5» (p 1 = 1/2), вероятность оценки «4» в два раза меньше (p 2 = 1/4), а вероятности оценок «2» и «3» еще в два раза меньше (p 3 = p 4 = 1/8). Так как события неравновероятны, воспользуемся для подсчета количества информации в сообщении формулой 2.1:
I = -(1/2Elog 2 1/2 + 1/4Elog 2 1/4 + 1/8Elog 2 1/8 + 1/8Elog 2 1/8) бит = 1,75 бит
Вычисления показали, что при равновероятных событиях мы получаем большее количество информации, чем при неравновероятных событиях.
Пример 2.2. В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.
Так как количество шариков различных цветов неодинаково, то зрительные сообщения о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета деленному на общее количество шариков:
p б = 0,1; p к = 0,2; p з = 0,3; p с = 0,4
События неравновероятны, поэтому для определения количества информации, содержащимся в сообщении о цвете шарика, воспользуемся формулой 2.1:
I = -(0,1·log 2 0,1+ 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) бит
Пример 2.3. Какое количество вопросов достаточно задать вашему собеседнику, чтобы наверняка определить месяц, в котором он родился?
Будем рассматривать 12 месяцев как 12 возможных событий. Если спрашивать о конкретном месяце рождения, то, возможно, придется задать 11 вопросов (если на 11 первых вопросов был получен отрицательный ответ, то 12-й задавать не обязательно, так как он и будет правильным).
Правильно задавать «двоичные» вопросы, т.е. вопросы, на которые можно ответить только «Да» или «Нет». Например, «Вы родились во второй половине года?». Каждый такой вопрос разбивает множество вариантов на два подмножества: одно соответствует ответу «Да», а другое - ответу «Нет».
Правильная стратегия состоит в том, что вопросы нужно задавать так, чтобы количество возможных вариантов каждый раз уменьшалось вдвое. Тогда количество возможных событий в каждом из полученных подмножеств будет одинаково и их отгадывание равновероятно. В этом случае на каждом шаге ответ («Да» или «Нет») будет нести максимальное количество информации (1 бит).
По формуле 2.2 и с помощью калькулятора получаем:
I = log 2 12 »3,6 бит
Количество полученных бит информации соответствует количеству заданных вопросов, однако количество вопросов не может быть нецелым числом. Округляем до большего целого числа и получаем ответ: при правильной стратегии необходимо задать не более 4 вопросов.
Единицы измерения количества информации
Единицы измерения количества информации. За единицу количества информации принят 1 бит - количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в два раза.
Принята следующая система единиц измерения количества информации:
1 байт = 8 бит
1 Кбайт = 2 10 байт
1 Мбайт = 2 10 Кбайт = 2 20 байт
1 Гбайт = 2 10 Мбайт = 2 20 Кбайт = 2 30 байт
Определение количества информации, представленной с помощью знаковых систем
Если рассматривать символы алфавита как множество возможных сообщений (событий) N, то количество информации, которое несет один знак можно определить из формулы 2.1. Если считать появление каждого знака алфавита в тексте событиями равновероятными, то для определения количества информации можно воспользоваться формулой 2.2 или уравнением 2.3.
Количество информации, которое несет один знак алфавита тем больше, чем больше знаков входят в этот алфавит, т.е. чем больше мощность алфавита.
Количество информации, содержащейся в сообщении, закодированном с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.
Пример 2.5. Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1,25 Кбайта.
Перевести информационный объем сообщения в биты:
I = 10 240 бит
Определить количество бит, приходящееся на один символ:
10 240 бит: 2 048 = 5 бит
По формуле 2.3 определить количество символов в алфавите.
По информатике
Количество информации
Введение
2. Неопределенность, количество информации и энтропия
3. Формула Шеннона
4. Формула Хартли
5. Количество информации, получаемой в процессе сообщения
Список использованной литературы
Введение
По определению А.Д. Урсула - «информация есть отраженное разнообразие». Количество информации есть количественная мера разнообразия. Это может быть разнообразие совокупного содержимого памяти; разнообразие сигнала, воспринятого в процессе конкретного сообщения; разнообразие исходов конкретной ситуации; разнообразие элементов некоторой системы… - это оценка разнообразия в самом широком смысле слова.
Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени, но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.
Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.
1.Бит
Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.
Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.
Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.
1 бит (bit - сокращение от англ. binary digit - двоичное число) - единица измерения информационной емкости и количества информации, а также и еще одной величины – информационной энтропии, с которой мы познакомимся позже. Бит, одна из самых безусловных единиц измерения. Если единицу измерения длины можно было положить произвольной: локоть, фут, метр, то единица измерения информации не могла быть по сути никакой другой.
На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: «0» или «1».
Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации – количество информации, получаемое в результате подбрасывания монеты – “орел” или “решка”.
Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.
Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.
Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.
2.Неопределенность, количество информации и энтропия
Основоположник теории информации Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации - необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Задача, которая решается в ходе снятия неопределенности – уменьшение количества рассматриваемых вариантов (уменьшение разнообразия), и в итоге выбор одного соответствующего ситуации варианта из числа возможных. Снятие неопределенности дает возможность принимать обоснованные решения и действовать. В этом управляющая роль информации.
Ситуация максимальной неопределенности предполагает наличие нескольких равновероятных альтернатив (вариантов), т.е. ни один из вариантов не является более предпочтительным. Причем, чем больше равновероятных вариантов наблюдается, тем больше неопределенность, тем сложнее сделать однозначный выбор и тем больше информации требуется для этого получить. Для N вариантов эта ситуация описывается следующим распределением вероятностей: {1/N, 1/N, … 1/N}.
Минимальная неопределенность равна 0, т.е. эта ситуация полной определенности, означающая что выбор сделан, и вся необходимая информация получена. Распределение вероятностей для ситуации полной определенности выглядит так: {1, 0, …0}.
Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия, точнее информационная энтропия.
Энтропия (H) – мера неопределенности, выраженная в битах. Так же энтропию можно рассматривать как меру равномерности распределения случайной величины.
На рисунке 1. показано поведение энтропии для случая двух альтернатив, при изменении соотношения их вероятностей (p, (1-p)).
Максимального значения энтропия достигает в данном случае тогда, когда обе вероятности равны между собой и равны ½, нулевое значение энтропии соответствует случаям (p 0 =0, p 1 =1) и (p 0 =1, p 1 =0).
Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. По определению Леона Бриллюэна информация есть отрицательная энтропия (негэнтропия).
Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H.
При частичном снятии неопределенности, полученное количество информации и оставшаяся неснятой неопределенность составляют в сумме исходную неопределенность. H t + I t = H.
По этой причине, формулы, которые будут представлены ниже для расчета энтропии H являются и формулами для расчета количества информации I, т.е. когда речь идет о полном снятии неопределенности, H в них может заменяться на I.
3.Формула Шеннона
В общем случае, энтропия H и количество получаемой в результате снятия неопределенности информации I зависят от исходного количества рассматриваемых вариантов N и априорных вероятностей реализации каждого из них P: {p 0 , p 1 , …p N -1 }, т.е. H=F(N, P). Расчет энтропии в этом случае производится по формуле Шеннона, предложенной им в 1948 году в статье "Математическая теория связи".
В частном случае, когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов, т.е. H=F(N). В этом случае формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, т.е. на 20 лет раньше.
Формула Шеннона имеет следующий вид:
(1)
Рис. 3. Нахождение логарифма b по основанию a - это нахождение степени, в которую нужно возвести a, чтобы получить b.
Напомним, что такое логарифм.
Логарифм по основанию 2 называется двоичным:
log 2 (8)=3 => 2 3 =8
log 2 (10)=3,32 => 2 3,32 =10
Логарифм по основанию 10 –называется десятичным:
log 10 (100)=2 => 10 2 =100
Основные свойства логарифма:
1. log(1)=0, т.к. любое число в нулевой степени дает 1;
2. log(a b)=b*log(a);
3. log(a*b)=log(a)+log(b);
4. log(a/b)=log(a)-log(b);
5. log(1/b)=0-log(b)=-log(b).
Знак минус в формуле (1) не означает, что энтропия – отрицательная величина. Объясняется это тем, что p i £1 по определению, а логарифм числа меньшего единицы - величина отрицательная. По свойству логарифма
, поэтому эту формулу можно записать и во втором варианте, без минуса перед знаком суммы.
интерпретируется как частное количество информации, получаемое в случае реализации i-ого варианта. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {I 0
, I 1,
… I N
-1
}.