Семантический способ измерения информации: сущность, основные понятия и свойства. Уровни и структура экономической информации
Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера (предложена Ю. И. Шрейдером), которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Для этого используется понятие тезаурус пользователя .
Тезаурус - это совокупность сведений, которыми располагает пользователь или система.
В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя S p изменяется количество семантической информации 1 С, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. 1.5. Рассмотрим два предельных случая, когда количество семантической информации 1 С равно 0:
- при S p ->0 пользователь не воспринимает, не понимает поступающую информацию;
- при S p ->1 пользователь все знает, и поступающая информация ему не нужна.
Рис. 1.5.
Максимальное количество семантической информации / с потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S p (S p = S popt), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения. Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного. Относительной мерой количества семантической информации может служить коэффициент содержательности С, рассмотренный выше.
Прагматический (аксиологический) подход к информации базируется на анализе ее ценности, с точки зрения потребителя. Например, информация, имеющая несомненную ценность для биолога, будет иметь ценность, близкую к нулевой, для программиста. Ценность информации связывают со временем, поскольку с течением времени она стареет и ценность ее, а следовательно, и «количество» уменьшаются. Таким образом, прагматический подход оценивает содержательный аспект информации. Он имеет особое значение при использовании информации для управления, поскольку ее количество тесно связано с эффективностью управления в системе.
Прагматическая мера информации определяет полезность информации (ценность) для достижения пользователем поставленной цепи. Эта мера - также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.
Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.
Алгоритмический подход связан с желанием внедрения универсальной меры информации. Количественная характеристика, отражающая сложность (размер) программы и позволяющая произвести какое- либо сообщение, была предложена А. Н. Колмогоровым.
Так как существуют разные способы задания и реализации алгоритма с использованием различных вычислительных машин и языков программирования, то для определенности задается некоторая конкретная машина, например машина Тьюринга. В этом случае в качестве количественной характеристики сообщения можно взять минимальное число внутренних состояний машины, требующихся для воспроизведения данного сообщения.
Разные подходы к оценке количества информации заставляют, с одной стороны, использовать разнотипные единицы информации для характеристики различных информационных процессов, а с другой - увязывать эти единицы между собой как на логическом, так и на физическом уровнях. Например, процесс передачи информации, измеряемой в одних единицах, сопрягается с процессом хранения информации, где она измеряется в других единицах, и т.д., а поэтому выбор единицы информации является весьма актуальной задачей.
В табл. 1.3 сопоставлены введенные меры информации.
Таблица 1.3
Сопоставление мер информации
В базе данных информация записывается и воспроизводится с помощью специально созданных лексических средств и на основе принятых синтаксических правил и ограничений.
Синтаксический анализ устанавливает важнейшие параметры информационных потоков, включая необходимые количественные характеристики, для выбора комплекса технических средств сбора, регистрации, передачи, обработки, накопления, хранения и защиты информации.
Синтаксический анализ обслуживаемых информационных потоков обязательно предшествует всем этапам проектирования информационных систем.
Семантический анализ позволяет изучить информацию с точки зрения смыслового содержания отдельных элементов, находить способы языкового соответствия (язык человека, язык ЭВМ) при однозначном распознавании вводимых в систему сообщений.
Прагматический анализ проводится с целью определения полезности информации, используемой для управления, выявления практической значимости сообщений, применяемых для выработки управляющих воздействий.
Постоянная информация остается без изменений или же подвергается незначительным корректировкам в течение более или менее длительного периода времени. Это различные справочные сведения, нормативы, расценки и т.п.
Переменная информация отражает результаты выполнения производственно-хозяйственных операций, соответствует их динамизму и, как правило, участвует в одном технологическом цикле машинной обработки.
При вводе и обработке информации используются пакетный и интерактивные режимы.
Пакетный режим был наиболее распространен в практике централизованного решения экономических задач, когда большой удельный вес занимали задачи отчетности о производственнохозяйственной деятельности экономических объектов разного уровня управления. Организация вычислительного процесса при пакетном режиме строилась без доступа пользователя к ЭВМ.
Его функции ограничивались подготовкой исходных данных по комплексу информационно-взаимосвязанных задач и передачей их в центр обработки, где формировался пакет, включающий задание для ЭВМ на обработку, программы, исходные, нормативнорасценочные и справочные данные. Пакет вводился в ЭВМ и реализовывался в автоматическом режиме без участия пользователя и оператора, что позволяло минимизировать время выполнения заданного набора задач. В настоящее время пакетный режим реализуется в электронной почте или при массированных обновлениях баз данных.
Интерактивный режим предусматривает непосредственное взаимодействие пользователя с информационно-вычислительной системой, может носить характер запроса или диалога с системой.
Запросный режим необходим пользователям для взаимодействия с системой через значительное число абонентских терминальных устройств, в том числе удаленных на значительное расстояние от центра обработки.
Пример: Задача резервирования билетов на транспорте.
Информационная система реализует массовое обслуживание, работает в режиме разделения времени, при котором несколько независимых пользователей с помощью терминалов имеют в процессе решения своих задач непосредственный и практически
одновременный доступ к информационной системе. Этот режим позволяет дифференцированно в строго установленном порядке предоставлять каждому пользователю время для общения с системой, а после окончания сеанса выходить из нее.
Диалоговый режим открывает пользователю возможность непосредственно взаимодействовать с информационно-вычислительной системой в допустимом для него темпе работы, реализуя повторяющийся цикл выдачи задания, получения и анализа ответа.
Еще по теме Синтаксический, семантический, прагматический аспекты информационного процесса:
- Структура массово-информационной деятельности: сбор, обработка, компоновка, передача, восприятие, трансформация, хранение и использование массовой информации. Потенциальная, принятая и реальная информация. Семантический, синтаксический и прагматический аспекты массово-информационных текстов.
- Единицы и способы концептуализации в семантическом, синтаксическом и прагматическом аспектах
- 7.ЖУРНАЛИСТСКИЙ ТЕКСТ КРИТЕРИИ АДЕКВАТНОСТИ ЖУРНАЛИСТСКОГО ТЕКСТА СЕМАНТИЧЕСКИЙ, СИНТАКСИЧЕСКИЙ, ПРАГМАТИЧЕСКИЙ АСПЕКТЫ ЖУРНАЛИСТСКОГО ТЕКСТАСПЕЦИФИКА ЭФФЕКТИВНОСТИ ЖУРНАЛИСТСКОГО ТЕКСТА
При реализации информационных процессов всегда происходит перенос информации в пространстве и времени от источника информации к приемнику (получателю). При этом для передачи информации используют различные знаки или символы, например естественного или искусственного (формального) языка, позволяющие выразить ее в некоторой форме, называемой сообщением.
Сообщение – форма представления информации в виде совокупности знаков (символов), используемая для передачи.
Сообщение как совокупность знаков с точки зрения семиотики (от греч. setneion - знак, признак ) – науки, занимающейся исследованием свойств знаков и знаковых систем, - может изучаться на трех уровнях:
1) синтаксическом , где рассматриваются внутренние свойства сообщений, т. е. отношения между знаками, отражающие структуру данной знаковой системы. Внешние свойства изучают на семантическом и прагматическом уровнях. На этом уровне рассматривают проблемы доставки получателю сообщений как совокупности знаков, учитывая при этом тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т. п., полностью абстрагируясь от смыслового содержания сообщений и их целевого предназначения. На этом уровне информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, так как смысловая сторона при этом не имеет значения.
Современная теория информации исследует в основном проблемы именно этого уровня. Она опирается на понятие «количество информации», являющееся мерой частоты употребления знаков, которая никак не отражает ни смысла, ни важности передаваемых сообщений. В связи с этим иногда говорят, что современная теория информации находится на синтаксическом уровне.
2) семантическом , где анализируются отношения между знаками и обозначаемыми ими предметами, действиями, качествами, т. е. смысловое содержание сообщения, его отношение к источнику информации. Проблемы семантического уровня связаны с формализацией и учетом смысла передаваемой информации, определения степени соответствия образа объекта и самого объекта. На данном уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи, формируются понятия и представления, выявляется смысл, содержание информации, осуществляется ее обобщение.
3) прагматическом , где рассматриваются отношения между сообщением и получателем, т. е. потребительское содержание сообщения, его отношение к получателю.
На этом уровне интересуют последствия от получения и использования данной информации потребителем. Проблемы этого уровня связаны с определением ценности и полезности использования информации при выработке потребителем решения для достижения своей цели. Основная сложность здесь состоит в том, что ценность, полезность информации может быть совершенно различной для различных получателей и, кроме того, она зависит от ряда факторов, таких, например, как своевременность ее доставки и использования.
Для каждого из рассмотренных выше уровней проблем передачи информации существуют свои подходы к измерению количества информации и свои меры информации. Различают соответственно меры информации синтаксического уровня, семантического уроня и прагматического уровня.
Меры информации синтаксического уровня. Количественная оценка информации этого уровня не связана с содержательной стороной информации, а оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. В связи с этим данная мера дает возможность оценки информационных потоков в таких разных по своей природе объектах, как системы связи, вычислительные машины, системы управления, нервная система живого организма и т. п.
Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации (данных) – V д (объемный подход) и количество информации – I (энтропийный подход).
Объем информацииV д (объемный подход). При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита. При этом каждый новый символ в сообщении увеличивает количество информации, представленной последовательностью символов данного алфавита. Если теперь количество информации, содержащейся в сообщении из одного символа, принять за единицу, то объем информации (данных) V д в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении. Так как одна и та же информация может быть представлена многими разными способами (с использованием разных алфавитов), то и единица измерения информации (данных) соответственно будет меняться.
Так, в десятичной системе счисления один разряд имеет вес, равный 10, и соответственно единицей измерения информации будет дит (десятичный разряд п п дит. Например, четырехразрядное число 2009 имеет объем данных V д = 4 дит.
В двоичной системе счисления один разряд имеет вес, равный 2, и соответственно единицей измерения информации будет бит (bit (binary digit) – двоичный разряд ). В этом случае сообщение в виде n -разрядного числа имеет объем данных V д = п бит. Например, восьмиразрядный двоичный код 11001011 имеет объем данных V д = 8 бит.
В современной вычислительной технике наряду с минимальной единицей измерения данных бит широко используется укрупненная единица измерения байт , равная 8 бит. Именно восемь битов требуется для того, чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2 8).
При работе с большими объемами информации для подсчета ее количества применяют более крупные единицы измерения:
1 Килобайт (Кбайт) = 1024 байт = 2 10 байт,
1 Мегабайт (Мбайт) = 1024 Кбайт = 2 20 байт = 1 048 576 байт;
1 Гигабайт (Гбайт) = 1024 Мбайт = 2 30 байт = 1 073 741 824 байт;
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
1 Терабайт (Тбайт) = 1024 Гбайт = 2 40 байт = 1 099 511 627 776 байт;
1 Петабайт (Пбайт) = 1024 Тбайт = 2 50 байт = 1 125 899 906 842 624 байт.
Следует обратить внимание, что в системе измерения двоичной (компьютерной) информации, в отличие от метрической системы, единицы с приставками «кило», «мега» и т. д. получаются путем умножения основной единицы не на 10 3 = 1000, 10 6 = 1 000 000 и т. д., а на 2 10 = 1024, 2 20 = 1 048 576 и т. д.
Количество информации I (энтропийный подход). В теории информации и кодирования принят энтропийный подход к измерению информации. Этот подход основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого, количество информации в сообщении определяется как мера уменьшения неопределенности состояния данной системы после получения сообщения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.
Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т.д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н , а количество информации равно:
I = H apr – H aps
где, H apr – априорная энтропия о состоянии исследуемой системы или процесса;
H aps – апостериорная энтропия.
Апостериори (от лат. a posteriori – из последующего ) – происходящее из опыта (испытания, измерения).
Априори (от лат. a priori – из предшествующего ) – понятие, характеризующее знание, предшествующее опыту (испытанию), и независимое от него.
В случае, когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т. е. Н = 0), количество полученной информации совпадает с первоначальной энтропией
Рассмотрим в качестве исследуемой системы дискретный источник информации (источник дискретных сообщений), под которым будем понимать физическую систему, имеющую конечное множество возможных состояний {а i }, i = .
Все множество А = {a 1 , a 2 , ..., а n } состояний системы в теории информации называют абстрактным алфавитом или алфавитом источника сообщений.
Отдельные состояния a 1 , а 2 ,..., а n называют буквами или символами алфавита.
Такая система может в каждый момент времени случайным образом принять одно из конечных множеств возможных состояний a i . При этом говорят, что различные состояния реализуются вследствие выбора их источником.
Получатель информации (сообщения) имеет определенное представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от этих вероятностей, количество информации в сообщении определяется тем, насколько уменьшается мера неопределенности после получения сообщения.
Поясним эту идею на примере.
Пусть у нас имеется 32 различные карты. Возможность выбора одной карты из колоды – 32. До произведения выбора, естественно предложить, что шансы выбрать некоторую определенную карту, одинаковы для всех карт. Произведя выбор, мы устраняем эту неопределенность. При этом неопределенность можно охарактеризовать количеством возможных равновероятностных выборов. Если теперь определить количество информации как меру устранения неопределенности, то полученную в результате выбора информацию можно охарактеризовать числом 32. Однако удобнее использовать не само это число, а логарифм от полученной выше оценки по основанию 2:
где m – число возможных равновероятных выборов (При m=2, получим информацию в один бит). То есть в нашем случае
H = log 2 32 = 5.
Изложенный подход принадлежит английскому математику Р. Хартли (1928 г.). Он имеет любопытную интерпретацию. Он характеризуется числом вопросов с ответами «да» или «нет», позволяющим определить, какую карту выбрал человек. Таких вопросов достаточно 5.
Если при выборе карты, возможность появления каждой карты не одинаковы (разновероятны), то получим статистический подход к измерению информации, предложенный К. Шенноном (1948 г.). В этом случае мера информации измеряется по формуле:
где p i – вероятность выбора i -го символа алфавита.
Легко заметить, что если вероятности p 1 , ..., p n равны, то каждая из них равна 1/N , и формула Шеннона превращается в формулу Хартли.
Меры информации семантического уровня. Для измерения смыслового содержания информации, т. е. ее количества на семантическом уровне, наибольшее распространение получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Действительно, для понимания и использования полученной информации получатель должен обладать определенным запасом знаний. Полное незнание предмета не позволяет извлечь полезную информацию из принятого сообщения об этом предмете. По мере роста знаний о предмете растет и количество полезной информации, извлекаемой из сообщения.
Если назвать имеющиеся у получателя знания о данном предмете тезаурусом (т. е. неким сводом слов, понятий, названий объектов, связанных смысловыми связями), то количество информации, содержащееся в некотором сообщении, можно оценить степенью изменения индивидуального тезауруса под воздействием данного сообщения.
Тезаурус - совокупность сведений, которыми располагает пользователь или система.
Иными словами, количество семантической информации, извлекаемой получателем из поступающих сообщений, зависит от степени подготовленности его тезауруса для восприятия такой информации.
В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя S p изменяется количество семантической информации I с , воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. 2.1. Рассмотрим два предельных случая, когда количество семантической информации I с равно 0:
а) при S p = 0 пользователь не воспринимает (не понимает) поступающую информацию;
б) при S -> ∞ пользователь «все знает», и поступающая информация ему не нужна.
Рис. 1.2. Зависимость количества семантической информации,
воспринимаемой потребителем, от его тезауруса I c =f(S p)
Максимальное количество семантической информации потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S p (S = S p opt), когда поступающая информация понятна пользователю и несет ему ранее неизвестные (отсутствующие в его тезаурусе) сведения.
Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного.
При оценке семантического (содержательного) аспекта информации необходимо стремиться к согласованию величин S и Sp.
Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему:
С = I с / V д
Меры информации прагматического уровня. Эта мера определяет полезность информации для достижения пользователем поставленной цели. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе.
Одним из первых российских ученых к проблеме оценки информации прагматического уровня обратился А.А. Харкевич, который предложил принять за меру ценности информации количество информации, необходимое для достижения поставленной цели, т. е. рассчитывать приращение вероятности достижения цели. Так, если до получения информации вероятность достижения цели равнялась р 0 , а после ее получения – p 1 то ценность информации определяется как логарифм отношения p 1 /p 0:
I = log 2 p 1 – log 2 р 0 = log 2 (p 1 /p 0)
Таким образом, ценность информации при этом измеряется в единицах информации, в данном случае в битах.
Количество и качество информации
Уровни проблем передачи информации
При реализации информационных процессов всегда происходит перенос информации в пространстве и времени от источника информации к приемнику (получателю) с помощью сигналов. Сигнал - физический процесс (явление), несущий сообщение (информацию) о событии или состоянии объекта наблюдения.
Сообщение - форма представления информации в виде совокупности знаков (символов), используемая для передачи.
Сообщение как совокупность знаков с точки зрения семиотики - науки, занимающейся исследованием свойств знаков и знаковых систем, - может изучаться на трех уровнях:
1) синтаксическом, где рассматриваются внутренние свойства сообщений, т. е. отношения между знаками, отражающие структуру данной знаковой системы.
2) семантическом, где анализируются отношения между знаками и обозначаемыми ими предметами, действиями, качествами, т. е. смысловое содержание сообщения, его отношение к источнику информации;
3) прагматическом, где рассматриваются отношения между сообщением и получателем, т. е. потребительское содержание сообщения, его отношение к получателю.
Проблемы синтаксического уровня касаются создания теоретических основ построения информационных систем. На этом уровне рассматривают проблемы доставки получателю сообщений как совокупности знаков, учитывая при этом тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации, надежность и точность преобразования этих кодов и т. п., полностью абстрагируясь от смыслового содержания сообщений и их целевого предназначения. На этом уровне информацию, рассматриваемую только с синтаксических позиций, обычно называют данными, так как смысловая сторона при этом не имеет значения.
Проблемы семантического уровня связаны с формализацией и учетом смысла передаваемой информации, определения степени соответствия образа объекта и самого объекта. На данном уровне анализируются те сведения, которые отражает информация, рассматриваются смысловые связи, формируются понятия и представления, выявляется смысл, содержание информации, осуществляется ее обобщение.
На прагматическом уровне интересуют последствия от получения и использования данной информации потребителем. Проблемы этого уровня связаны с определением ценности и полезности использования информации при выработке потребителем решения для достижения своей цели. Основная сложность здесь состоит в том, что ценность, полезность информации может быть совершенно различной для различных получателей и, кроме того, она зависит от ряда факторов, таких, например, как своевременность ее доставки и использования.
Меры информации
Меры информации синтаксического уровня
Для измерения информации на синтаксическом уровне вводятся два параметра: объем информации (данных) – V Д (объемный подход) и количество информации - I (энтропийный подход).
Объем информации V Д. При реализации информационных процессов информация передается в виде сообщения, представляющего собой совокупность символов какого-либо алфавита. Если количество информации, содержащейся в сообщении из одного символа, принять за единицу, тообъем информации (данных) V Д в любом другом сообщении будет равен количеству символов (разрядов) в этом сообщении.
Так, в десятичной системе счисления один разряд имеет вес, равный 10, и соответственно единицей измерения информации будет дит (десятичный разряд). В этом случае сообщение в виде n V Д = п дит. Например, четырехразрядное число 2003 имеет объем данных V Д = 4 дит.
В двоичной системе счисления один разряд имеет вес, равный 2, и соответственно единицей измерения информации будет бит (bit (binary digit) - двоичный разряд). В этом случае сообщение в виде n -разрядного числа имеет объем данных V Д = п бит. Например, восьмиразрядный двоичный код 11001011 имеет объем данных V Д = 8 бит.
В современной вычислительной технике наряду с минимальной единицей измерения данных бит широко используется укрупненная единица измерения байт, равная 8 бит. При работе с большими объемами информации для подсчета ее количества применяют более крупные единицы измерения, такие как килобайт (кбайт), мегабайт (Мбайт), гигабайт (Гбайт), терабайт (Тбайт):
1 кбайт = 1024 байт = 2 10 байт;
1 Мбайт = 1024 кбайт = 2 20 байт = 1 048 576 байт;
1 Гбайт = 1024 Мбайт = 2 30 байт = 1 073 741 824 байт; .
1 Тбайт = 1024 Гбайт = 2 40 байт = 1 099 511 627 776 байт.
Количество информации I (энтропийный подход). В теории информации и кодирования принят энтропийный подход к измерению информации. Этот подход основан на том, что факт получения информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого количество информации в сообщении определяется как мера уменьшения неопределенности состояния данной системы после получения сообщения. Как только наблюдатель выявил что-нибудь в физической системе, энтропия системы снизилась, так как для наблюдателя система стала более упорядоченной.
Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т. д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н, и количество информации равно:
где H apr - априорная энтропия о состоянии исследуемой системы;
H aps - апостериорная энтропия.
Апостериори - происходящее из опыта (испытания, измерения).
Априори - понятие, характеризующее знание, предшествующее опыту (испытанию), и независимое от него.
В случае, когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т. е. H aps = 0), количество полученной информации совпадает с первоначальной энтропией
Рассмотрим в качестве исследуемой системы дискретный источник информации (источник дискретных сообщений), под которым будем понимать физическую систему, имеющую конечное множество возможных состояний. Это множество А = {a 1, a 2 , ..., а п } состояний системы в теории информации называют абстрактным алфавитом или алфавитом источника сообщений.
Отдельные состояния а 1 , а 2 ,..., а„ называют буквами или символами алфавита.
Такая система может в каждый момент времени случайным образом принять одно из конечных множеств возможных состояний а i .
Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем случае он характеризуется ансамблем А, т. е. полной совокупностью состояний с вероятностями их появления, составляющими в сумме единицу:
, причем (2.2)
Введем меру неопределенности выбора состояния источника. Ее можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно равновероятных состояний источника.
Тогда при N = 1 получаем Н(А) = 0.
Указанная мера была предложена американским ученым Р. Хартли в 1928 г. Основание логарифма в формуле (2.3) не имеет принципиального значения и определяет только масштаб или единицу измерения В зависимости от основания логарифма применяют следующие единицы измерения.
1. Биты - при этом основание логарифма равно 2:
(2.4)
2. Ниты - при этом основание логарифма равно е:
3. Диты - при этом основание логарифма равно 10:
В информатике в качестве меры неопределенности обычно используют формулу (2.4). При этом единица неопределенности называется двоичной единицей, или битом, и представляет собой неопределенность выбора из двух равновероятных событий.
Формулу (2.4) можно получить эмпирически: для снятия неопределенности в ситуации из двух равновероятных событий необходим один опыт и соответственно один бит информации, при неопределенности, состоящей из четырех равновероятных событий, достаточно 2 бит информации, чтобы угадать искомый факт. Для определения карты из колоды, состоящей из 32 карт, достаточно 5 бит информации, т. е достаточно задать пять вопросов с ответами «да» или «нет», чтобы определить искомую карту.
Предложенная мера позволяет решать определенные практические задачи, когда все возможные состояния источника информации имеют одинаковую вероятность.
В общем случае степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния, так как в этом случае результат практически предрешен (реализация состояния, вероятность которого равна 0,99).
Американский ученый К. Шеннон обобщил понятие меры неопределенности выбора H на случай, когда H зависит не только от числа состояний, но и от вероятностей этих состояний (вероятностей р i выбора символов а i , алфавита A). Эту меру, представляющую собой неопределенность, приходящуюся в среднем на одно состояние, называют энтропией дискретного источника информации:
(2.5)
Если снова ориентироваться на измерение неопределенности в двоичных единицах, то основание логарифма следует принять равным двум:
(2.6)
При равновероятных выборах вероятность p i =1/N формула (2.6) преобразуется в формулу Р. Хартли (2.3):
Предложенная мера была названа энтропией не случайно. Дело в том, что формальная структура выражения (2.5) совпадает с энтропией физической системы, определенной ранее Больцманом.
Используя формулы (2.4) и (2.6), можно определить избыточность D алфавита источника сообщений А, которая показывает, насколько рационально применяются символы данного алфавита:
где Н max (А) - максимально возможная энтропия, определяемая по формуле (2.4);
Н(А) - энтропия источника, определяемая по формуле (2.6).
Суть данной меры заключается в том, что при равновероятном выборе ту же информационную нагрузку на знак можно обеспечить, используя алфавит меньшего объема, чем в случае с неравновероятным выбором.
При оценке информации различают такие её аспекты, как синтаксический, семантический, прагматический. Синтаксический аспект связан со способом передачи информации вне зависимости от её смысловых и потребительских качеств. На синтаксическом уровне рассматриваются формы её передачи и хранения. Обычно информация, предназначенная для передачи, называется сообщением. Сообщение может быть представлено в виде знаков и символов, преобразованных в электрическую форму и закодированную, т.е. представленную в виде определённой последовательности электрических сигналов, однозначно отображающих передаваемые сообщения. Характеристики процессов преобразования сообщений для передачи определяет синтаксический аспект. При хранении синтаксический аспект определяется другими формами представления информации, которые позволяют наилучшим образом осуществлять поиск, запись, обновления, изменение информации в информационной базе. Информацию, рассмотренную только относительно синтаксического аспекта, часто называют данными . Семантический аспект передаёт смысловое содержание информации и соотносит её с ранее имевшейся информацией. Смысловые связи между словами и другими элементами языка отражает “тезаурус” (словарь). Он состоит из двух частей: списка слов и устойчивых словосочетаний, сгруппированных по смыслу, и некоторого ключа (алфавит), позволяющего расположить слова в определённом порядке. При получении информации тезаурус может быть изменён, и степень этого изменения характеризует количество воспроизводимой информации. Прагматический аспект определяет возможность достижения поставленной цели с учётом получаемой информации. Этот аспект отражает потребительские свойства информации - если информация оказалось ценной, поведение её потребителя меняется в нужном направлении. Прагматический аспект проявляется при наличии единства потребителя и поставленной цели.
Таким образом, информация относительно её возникновения и преобразований проходит 3 этапа, которые определяют её семантический, синтаксический и прагматический аспект. Человек сначала наблюдает некоторые факты окружающей действительности, которые отражаются в виде определённого набора данных в его сознании - здесь проявляется синтаксический аспект . Затем, после структуризации этих данных в соответствии с предметной областью человек формализует знания о структуре объекта - это семантический аспект полученной информации. Информация в виде знаний имеет высокую степень структуризации, что позволяет выделять полную информацию об окружающей действительности и создавать информационные модели исследуемых объектов. Полученные знания человек затем использует в своей практике, то есть для достижения поставленных целей, что отражает прагматический аспект .