Информация по Шеннону

Как мы увидим ниже, для рассуждений в физике (а не в компьютерной технике) удобнее пользоваться информацией по Шеннону (3), т.е. измерять ее в натах. При желании с помощью (6) можно найти затем число бит, отвечающих заданной величине /. Информация по Шеннону (3) может использоваться не только для текста, но и для любой другой дискретной (цифровой) информации. Например, черно-белое изображение на телевизоре можно разложить на множество дискретных точек белого и черного цветов, а также нескольких промежуточных серых оттенков. Тогда величина (3) определит объем информации для данного мгновенного изображения на экране. Аналогичное определение годится также для цветного изображения на экране телевизора или для бумажного отпечатка из-под принтера, если соответственным образом учесть информацию цветового оттенка. [c.21]

Как уже отмечалось ранее (см. формулу (6)), при использовании информационных соотношений в физике (а не в компьютерной технике) более удобным является определение величины информации по Шеннону (3) с использованием натуральных логарифмов. При этом величина информации измеряется не в битах, а в натах. [c.129]

Понятие энтропия информации ввел один из авторов теории информации - Шеннон. Поводом для этого послужил чисто формальный признак функция Шеннона, связывающая информацию с числом N возможных событий в поведении системы, математически оказалась сходной с Н-функцией Больцмана. Мерой энтропии информации I по Шеннону служит не само число N, а его логарифм по основанию 2 [c.10]

Как было установлено К. Шенноном, информация / о системе, получаемая при наблюдении за системой, связана с происходящим при этом изменением вероятности состояния системы таким же соотношением (с точностью до знака), как и (3.49). Это формальное сходство выражений для термодинамической энтропии S и уменьшения информации — / ( информационной энтропии по Шеннону) привело многих авторов к необоснованному отождествлению термодинамической энтропии с информационной энтропией , хотя последняя не является термодинамическим параметром. Использование одного и того же термина (энтропия) для различных величин лишь вводит в заблуждение. [c.73]

Если по каналу связи за время Т передается непрерывный сигнал, ограниченный частотой Р гц, то по теореме В. А. Котельникова по каналу должно быть передано 2РТ дискретных определяющих ординат. Пусть на канал действует помеха с равномерным частотным спектром в пределах передаваемой полосы частот и мгновенные напряжения помехи подчиняются нормальному закону распределения. Если — средняя мощность помехи, Р— средняя мощности сигнала, то по формуле Шеннона количество информации при сколь угодно малой вероятности ошибки выражается в двоичных единицах формулой [c.343]

Влияние электротехники на оптику, проявившееся и во многих других аспектах, сильно возросло в результате исследований Винера [63] и Шеннона [58] по теории статистических цепей и теории информации. [c.87]

ШЕННОНА ТЕОРЕМА — одна из основных теорем теории информации. Ш. т. касается передачи сигналов по каналам связи при наличии помех, приводящих к искажениям в процессе передачи. [c.418]

Часть I (Информация) начинается описанием вопросов вероятностного оценивания и байесовского перерасчета вероятностей, во-первых, потому, что эти темы важны сами по себе для систем человек—машина, и во-вторых, потому, что они дают математический аппарат для введения меры информации Шеннона—Винера. Далее в этой главе определяются меры информации, приводится исследование дискретного канала, а затем рассматриваются способы применения этих мер и понятий при моделировании действий человека в задачах абсолютных оценок, времени реакции, памяти, двигательных операций, и т. д. Заключительная глава части I посвящена непрерывным информационным процессам и их применению в таких задачах, как отслеживание или наблюдение показаний приборов. [c.23]

Можно интуитивно сформулировать три свойства, которыми должна обладать мера информации, сообщаемой дискретными данными о дискретных гипотезах. Можно доказать, что выполнение всех этих требований неизбежно приводит к определению меры Шеннона—Винера. Пусть количество информации, которое несет о гипотезе х наблюдаемое событие у обозначено / (л у). Переменные х VI у — элементы двух дискретных конечных множеств X и У. Это могут быть события или состояния любого вида, хотя удобно называть х сообщением, посланным по системе связи, а у полученным сообщением — данными, которые свидетельствуют [c.62]

Мера информации Шеннона—Винера, которая излагается в этой главе, тесно связана с кодированием, т. е. способом представления сообщений или событий (для передачи по каналу). Информация Я, связанная с множеством сообщений, равна среднему значению информации, необходимой для точного определения одного элемента этого множества. Данный код однозначно определяет каждое сообщение из множества. Энтропию множества, выраженную в битах, легко можно интерпретировать как среднее значение минимального числа двоичных цифр, необходимых для однозначного описания одного элемента множества. Если 6 — основание логарифма, применяемого для определения информационной меры, то количество информации равно среднему значе- [c.80]

Величина I характеризует какое именно состояние системы реализовалось. Шенноновская информация относится к замкнутым системам. Г. Хакен [15] расширил предстаяления об информационной энтропии он показал, что с формальной точки зрения различие в интерпретации энтропии Больцмана и информационной энтропии по Шеннону обусловлено различием в ограничениях, используемых для замкнутых и открытых систем. Это позволило придать универсальность информационной энтропии и расширить ее использование также и для открытых систем, если в процессе самоорганизации в системе образуются макроскопические структуры. Хакен представил соогношение (1.4) в виде [c.10]

Поскольку волновой функции мы придаем информационный характер, приходится более подробно познакомиться с понятием информации. Информация, как обычно, вводится по Шеннону, а для выявления ее связи с энтропией используются тепловые "микромашины" Сцилларда [9]. Для описания классических измерений в терминах информационных процессов в книге вводится специальное понятие восприятия. [c.12]

Данная глава имеет вводный характер. Она знакомит читателя с понятием информации в ее простейшем варианте, т.е. по Шеннону. Здесь же выясняется связь информации с энтропией. На примере идеальной газодинамики поясняется, как возникают физические классические поля в таких динамических процессах, которые описываются непрерывными функциями координат и времени. Вопрос о том, как могут быть связаны между собой динамические и информационные процессы, в данной главе пока не обсуждается. В конце главы выводится уравнение Леонтовича — уравнение для огибающей волнового пакета. Нетрудно видеть, что это уравнение похоже на квантовое уравнение Шрёдингера для волновой функции. Но на самом деле между этими двумя уравнениями имеется коренное различие уравнение Леонтовича описывает эволюцию классического физического поля, а уравнение Шрёдингера, как будет видно из дальнейшего изложения, описывает эволюцию волн информации. [c.18]

По той же причине эксперимент Сциларда не может служить основанием для отождествления физической энтропии, используемой в термодинамике, с информационной энтропией, введенной Шенноном. В эксперименте Сциларда вообще не требуется никакой предварительной информации о местонахождении молекулы после введения в цилиндр поршня, поскольку само движение поршня указывает на ее местонахождение и превращение теплоты в работу будет происходить независимо от того, где находится молекула. [c.166]

ТШРИЯ ИНФОРМАЦИИ — наука о с1атистич. процессах передачи информации в техн., природных и сот ,иальных систе.мах. Осн. понятия Т. и.— мера кол-ва информации, пропускная способность канала связи, зфф. кодирование сообщений — бв ити введены в 40-х i i. 20 в. К. Шенноном [1]. Т. и. является по существу статистич. теорией связи, или теорией передачи информации, однако общий характер её положений позволяет исследовать также процессы получения, обработки и хранения информации. [c.71]

Приблизительно с 1945 по 1955 г. работы К. Шеннона [12] в США, Д. Габора [13] и П. Вудворда [14] в Англии сделали теорию информации вполне законченной научной дисциплиной. Габор п Вудворд, в частности, предложили новый подход к решению проблемы синтезирования формы сигнала, которая влияет на такие характеристики системы, как разрешающая способность обнаружения цели, определение дистанции до нее и скорость движения. [c.20]

Свойственный Александру Александровичу интерес ко всему новому, прогрессивному, исключительное умение предвидеть особенно перспективные направления в науке и технике очень быстро заставили его перейти от исследования классических проблем радиотехники к общим вопросам теории передачи сигналов. Начиная с 1954 г. Александр Александрович начал работать в качестве старшего научного сотрудника в Лаборатории по разработке научных проблем проводной связи АН СССР, и его научные интересы сосредоточились главным образом на общей теории связи. Выпущенная им в 1955 г. книга Очерки общей теории связи была первым сочинением на русском языке, в котором последовательно излагались основные вопросы теории информации, как основы техники связи. Эта книга вместе с другими работами Александра Александровича, в которых широко применялись и популяризировались геометрические методы исследования в теории связи и которые по характеру изложения отличались от работ Шеннона, была основным источником ознакомления широкого круга советских инженеров и научных работников с важнейшими идеями теории информации. [c.8]

Концепция постоянной скорости передачи информации в битах в секунду как теоретической основы для описания времени реагирования критиковалась Лемингом [55]. Его возражения, помимо того обстоятельства, что экспериментальные результаты не всегда могут быть предсказаны по модели канала с ограниченной передачей, использующей меру информации Шеннона, основаны на проблеме кодирования. Чтобы скорость передачи оставалась постоянной с изменением вероятностей стимулов, человек должен иметь возможность изменять способ кодирования но если он в действительности управляет кодированием, то почему максимальная скорость передачи варьируется с изменением условий задачи Эти соображения подвели Леминга к принятию предложенного Кульбаком [52] определения информации, содержащейся в данных д и свидетельствующей в пользу справедливости гипотезы Н , а не Hi [c.108]

Хотя его аналогия с формулой Шеннона неточна, показатель трудности Фиттса очевидно представляет одну из возможных форм меры информации. Пригодность такого показателя должна быть проверена экспериментальными исследованиями. Фиттс измерял время выполнения трех задач с повторяющимися движениями перенесения штифтов из одного ряда отверстий в другой перенесения шайб с одного ряда штифтов на другой последова тельного нанесения меток грамофонной иголкой сначала в одном а затем в другом узком интервале ширины Ь (эти интервалы раз несены на расстояние А). Результаты, полученные для послед ней задачи, являются типичными они представлены на рис. 6.13 Хотя имеет место существенная зависимость от расстояния и до пуска, взятых по отдельности, среднее время выполнения одного движения чрезвычайно хорошо описывается уравнением вида [c.124]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...