1 Определение количества информации по Хартли и Шеннону1
|
Скачать 490.82 Kb.
|
1.2. Концепция разнообразия ЭшбиР. Эшби считал, что информация есть там, где есть неоднородность (разнообразие) и единицей измерения может быть различие между объектами в одном определенном свойстве. Чем больше различий, тем больше информации. Под разнообразием следует подразумевать характеристику степени несовпадения элементов некоторого множества. Если единицей обозначить факт одинаковости элементов, то логарифм единицы - ноль. Это будет соответствовать единичной вероятности выбора элемента множества, поскольку элементы неразличимы. По Эшби теория информации изучает «процессы передачи разнообразия» по каналам связи. 1.3.Алгоритмическое измерение количества информации - КолмогоровБлизка к «разнообразностной» идея алгоритмического измерения количества информации, выдвинутая в 1965 г. А.Н. Колмогоровым. (См. также «Алгоритмическая теория информации, Алгоритма сложность» [4]). Количество информации определяется как минимальная длина программы, позволяющей преобразовать один объект (множество) в другой (множество). Чем больше различаются два объекта между собой, тем сложнее (длиннее) программа перехода от одного объекта к другому. Длина программы при этом измеряется количеством команд. Этот подход, в отличие от подхода Шеннона, не базирующийся на понятии вероятности, позволяет, например, определить прирост количества информации, содержащейся в результатах расчета, по сравнению с исходными данными. Вероятностная теория информации на этот вопрос не может дать удовлетворительного ответа. 1.4. Информация как мера неоднородности по ГлушковуЕсли понятие информации связывать с разнообразием, то причиной существующего в природе разнообразия, по мнению академика В.М. Глушкова, можно считать неоднородность в распределении энергии (или вещества, поскольку E=mC2) в пространстве и во времени. Информация же есть мера этой неоднородности. Информация существует постольку, поскольку существуют сами материальные тела. С понятием информации в кибернетике не связано свойство ее осмысленности. Звезды существуют независимо от того, имеют люди информацию о них или нет. Объективное существование объекта создает неоднородность в распределении вещества и поэтому является источником информации для когнитивной системы. Таким образом, по В.М. Глушкову, информация независима от нашего сознания. 1.5. Семантические и ценностные аспекты информацииРассмотренные выше определения и толкования понятия «информации» в принципе не могут учесть ее содержательного и ценностного аспектов. Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой - теорией знаковых систем. Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками. Семиотика исследует знаки как особый вид носителей информации. Рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, можно исходить из возможностей соответствующего анализа знаковых систем, таких как естественные и искусственные языки, системы сигнализации, логические, математические и химические символы. Знаковые системы рассматриваются с позиций синтактики, семантики и прагматики. Синтактика изучает синтаксис знаковых структур – способы сочетаний знаков, правила образования сочетаний и преобразований безотносительно к их значениям. Семантика изучает знаковые системы как средства выражения смысла, определенного содержания. Прагматика концентрируется на изучении практической полезности сообщений для потребителя. Основная идея семантической концепции информации заключается в возможности измерения содержания (предметного значения) суждений. Но содержание всегда связано с формой, хотя и не взаимно однозначно. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности. 1.5.1. Семантическая информация (Карнап и Бар-Хиллел)Первую попытку построения теории семантической информации предприняли Р. Карнап и И. Бар-Хиллел. Они предложили определять величину семантической информации посредством так называемой логической вероятности, представляющей собой степень подтверждения той или иной гипотезы. При этом количество семантической информации, содержащейся в сообщении, возрастает по мере уменьшения степени подтверждения априорной гипотезы. Если вся гипотеза построена на эмпирических данных, полностью подтверждаемых сообщением, то такое сообщение не приносит получателю никаких новых сведений. Логическая вероятность гипотезы при этом равна единице, а семантическая информация оказывается равной нулю. Наоборот, по мере уменьшения степени подтверждения гипотезы, количество семантической информации, доставляемой сообщением, возрастает. Концепция Карнапа - Бар-Хиллела является только началом исследований в области измерения содержания передаваемой информации. Она позволяет, например, выявить связь гипотезы с начальным достоверным значением, в частности, сделать заключение о степени подтверждения гипотезы. 1.5.2. ПрагматикаДля всех прагматических подходов характерно стремление связать понятие информации с целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации. А.А. Харкевич предложил связать меру ценности информации с изменением вероятности достижения цели при получении этой информации: I = log(p1/p0) = log(p1) – log(p0), где p0 и p1 - вероятность достижения цели соответственно до и после получения информации. А.А. Харкевич первым подчеркнул фундаментальный характер связи прагматических свойств информации с категорией цели, понимаемой как опережающее отражение, модель будущего результата деятельности. |
Похожие:
 |
Школьная газета как средство формирования Причины таких изменений вызваны резким увеличением количества информации. А на стыке веков в 2000 году на Давоском форуме Тони Блэр,... |
 |
Поиск информации в Интернет В таблице приведены запросы к поисковому серверу. Расположите обозначения запросов в порядке возрастания количества страниц, которые... |
|
Автоматизированная система регистрации на услуги одо «Автопроспектсервис» Анализ технологии обработки информации в предметной области и определение требований к асои 4 |
|
Практическое пособие. Оглавление А. Личные мотивы выдачи информации.... Определение людей, которым с точки зрения объекта предельно нежелательно знать чернящие его данные. 82 |
|
Рейтинг-план по курсовым работам Факультет ппф курс 2-3 Группы: о-11, сдп-11, о-12, сдп-12 Поиск и определение источников информации по теме курсовой работы, составление списка литературы и других источников |
|
Конфиденциальность гарантируется получателем информации Нарушение порядка представления статистической информации, а равно представление недостоверной статистической информации влечет ответственность,... |
|
Программа Visual Graph может работать как в Unix системах, так и в Windows Визуализация информации — это процесс преобразования больших и сложных видов абстрактной информации в визуальную форму. Универсальным... |
|
План Введение. Определение и виды эксперимента. Основные принципы... К числу самых своеобразных и трудноосваиваемых методов сбора социологической информации относится эксперимент. Уже одно название... |
|
Программа междисциплинарного экзамена по специальности 075200 «компьютерная безопасность» Понятие информации. Количество информации в равновероятных и неравновероятных сообщениях |
|
Колесник В. Д., Полтырев Г. Ш. Курс теории информации Сети ЭВМ и телекоммуникации, сетевые технологии, распределенные автоматизированные системы обработки информации и управления |