Шеннон

Шеннон. Оно играет фундаментальную роль в теоремах Шеннона об оптимальном кодировании передаваемой информации. [c.89]

Понятие энтропия информации ввел один из авторов теории информации - Шеннон. Поводом для этого послужил чисто формальный признак функция Шеннона, связывающая информацию с числом N возможных событий в поведении системы, математически оказалась сходной с Н-функцией Больцмана. Мерой энтропии информации I по Шеннону служит не само число N, а его логарифм по основанию 2 [c.10]

В кибернетике энтропия используется в качестве количественной меры информации, которую несет данный набор сигналов. Набор сигналов можно отождествить с физической системой, состоящей из дискретных подсистем, которые с некоторой вероятностью могут находиться в одном из нескольких структурных состояний Для вычисления средней информации, или энтропии, сообщаемой данным набором сигналов, служит формула Шеннона [c.153]

Как было установлено К. Шенноном, информация / о системе, получаемая при наблюдении за системой, связана с происходящим при этом изменением вероятности состояния системы таким же соотношением (с точностью до знака), как и (3.49). Это формальное сходство выражений для термодинамической энтропии S и уменьшения информации — / ( информационной энтропии по Шеннону) привело многих авторов к необоснованному отождествлению термодинамической энтропии с информационной энтропией , хотя последняя не является термодинамическим параметром. Использование одного и того же термина (энтропия) для различных величин лишь вводит в заблуждение. [c.73]

Шеннон Р. Имитационное моделирование систем — искусство и наука. М. Мир, 1978. [c.15]

Кодирование и теорема Шеннона. [c.342]

Основная теорема Шеннона. Если Но — энтропия источника, С — пропускная способность канала и Но < С, то для любого е > О существует такое натуральное число п, зависящее от Е, и такой код, зависящий от Е, что зная п последовательных букв на выходе канала, мы можем правильно определить соответствующие п букв на входе с вероятностью большей, чем 1 — е если Но >- С, то при достаточно малом Е такого кода не существует. [c.342]

При наличии помех в линии связи можно на основании теоремы Шеннона при помощи выбора специального кода передавать сообщение со скоростью, сколь угодно близкой к [c.343]

Если по каналу связи за время Т передается непрерывный сигнал, ограниченный частотой Р гц, то по теореме В. А. Котельникова по каналу должно быть передано 2РТ дискретных определяющих ординат. Пусть на канал действует помеха с равномерным частотным спектром в пределах передаваемой полосы частот и мгновенные напряжения помехи подчиняются нормальному закону распределения. Если — средняя мощность помехи, Р— средняя мощности сигнала, то по формуле Шеннона количество информации при сколь угодно малой вероятности ошибки выражается в двоичных единицах формулой [c.343]

Шатунные кривые 478 Шеннона теорема 342 Шестизвенные кривошипно-кулисные механизмы — см. Механизмы кривошипно-кулисные шестизвенные [c.591]

Используя выражение энтропии и доверительного интервала поля рассеяния для соответствующих законов распределения контролируемой величины (нормального, равновероятного, существенно положительных величин), можно рассчитать верхние пределы допускаемых значений параметров т),-, v,-, yjv (табл. 1). При вычислении энтропии для закона Максвелла, например, согласно теореме Шеннона [48], интегрирование выполняем в пределах [О, оо] [c.27]

Для гиперболического, или логарифмически равномерного закона распределения Шеннона, характерного [481 в случае широкого диапазона значений измеряемой величины JT,), имеем Я, [c.28]

Величина I P)—L Р)—Я [Р) ная, избыточностью кодирования при распределении Р. Задача состоит в отыскании в заданном классе взаимно однозначных кодирований кодирования, обладающего мин. величиной 1(Р). Существование минимума и его значение устанавливаются теоремой Шеннона для канала без шума, гласящей, что для источника с конечный алфавитом А с энтропией Н Р) можно так приписать кодовые слова буквам источника, что ср. длина кодового слова L P) будет удовлетворять условиям [c.398]

Теорема Шеннона для канала связи с шумами формулируется след, образом. [c.73]

Вводные замечания. В технической диагностике, особенно при построении оптимальных диагностических процессов, широко используется теория информации. Возникшая как математическая теория связи в трудах Винера и Шеннона, теория информации получила применение и в других областях науки как общая теория связи статистических систем, [c.117]

Величина Н (А), введенная Шенноном, называется энтропией системы. Обозначение Н (А) показывает, что энтропия относится к системе А, и его не следует понимать как обычное обозначение функциональной зависимости. [c.118]

Глава 7. Наиболее важные результаты современной теории информации принадлежат Шеннону [65]. Теория информации, возникшая в статистической теории Связи, оказала большое влияние на теорию вероятности и математическую статистику. [c.234]

Влияние электротехники на оптику, проявившееся и во многих других аспектах, сильно возросло в результате исследований Винера [63] и Шеннона [58] по теории статистических цепей и теории информации. [c.87]

Величина I характеризует какое именно состояние системы реализовалось. Шенноновская информация относится к замкнутым системам. Г. Хакен [15] расширил предстаяления об информационной энтропии он показал, что с формальной точки зрения различие в интерпретации энтропии Больцмана и информационной энтропии по Шеннону обусловлено различием в ограничениях, используемых для замкнутых и открытых систем. Это позволило придать универсальность информационной энтропии и расширить ее использование также и для открытых систем, если в процессе самоорганизации в системе образуются макроскопические структуры. Хакен представил соогношение (1.4) в виде [c.10]

По той же причине эксперимент Сциларда не может служить основанием для отождествления физической энтропии, используемой в термодинамике, с информационной энтропией, введенной Шенноном. В эксперименте Сциларда вообще не требуется никакой предварительной информации о местонахождении молекулы после введения в цилиндр поршня, поскольку само движение поршня указывает на ее местонахождение и превращение теплоты в работу будет происходить независимо от того, где находится молекула. [c.166]

Таким образом, нагрузка на каждом конце полосы является самоуравнове-шеннон. [c.78]

Плотность информации (информационная емкость снимка) согласно теории Шеннона может быть представлена в следующем виде при условии, что спектры изображения и гранулярности изотропны [c.351]

Прошло время, утихли залпы полемических сражений, похоронили убитых физически, отреклись от убитых морально, осмотрелись и увидели, что второй закоя и энтропия зажили самостоятельной жизнью и стали проникать всюду. Так, в 1929 г. Сциллард и более точно и широко в 1949 г. Шеннон открыли соотношение между энтропией и информацией. [c.171]

Первые работы в области теории релейных устройств, содержащих современную постановку имеющихся в ней задач, относятся к 1936—1938 гг., когда В. И. Шестаковым в СССР, К. Шенноном в США и А. Накасима и М. Ханзава в Японии впервые были показаны возможные применения для решения задач теории релейных устройств исчисления высказываний. С 1942 г. начинается планомерное развитие работ в области теории релейных устройств в связи с задачами, возникающими при построении структур сложных телемеханических устройств. На начальном этапе (1942—1950 гг.) было проведено обобщение опубликованных к тому времени работ и уточнение задач синтеза и анализа структуры релейных устройств и была раз работана первая терминология [48]. [c.250]

В дальнейшем, опираясь на работы советских математиков А. А. Маркова, А. М. Ляпунова, А. Н. Колмогорова и их учеников, ряд ученых разработал стройную математическую теорию сигналов. Важнейшими явились работы американского инженера К. Е. Шеннона (1948 г.), советских исследователей В. В. Солодовникова (1952 г.) и А. А. Харкевича (1955 г.). В результате этих работ получили математическое обоснование вопросы количественной оценки информации, надежности ее передачи, кодирования сооб-ш ений, формы сигналов, их преобразования и передачи. Другими словами, кончалась пора интуитивных поисков при проектировании средств передачи информации — были получены достаточно точные критерии для сравнительной оценки различных систем связи. [c.391]

Уже много раз писалось о применении манипуляторов в космосе и под водой, на атомных электростанциях и под землей — всюду, где пребывание человека опасно или нежелательно. Широко известны биоманипулятор-ные протезы для инвалидов, управляемые биотоками. Появилась даже возможность управлять манипуляторами посредством движений глаз. Эту идею подробно обосновал эстонский ученый А. О. Лаурингсон. Дело в том, что врачи-окулисты разработали надежные способы слежения за поворотом глазного яблока. Соответственно выделенный сигнал нужно усилить и использовать в цепи управления. Эксперименты показали, что глазное яблоко может поворачиваться с угловой скоростью до 30° в секунду и следить за целью довольно точно. По сравнению с обычной системой управления глаз—мозг— рука такой способ оказывается и быстрее и точнее. По-видимому, он мог бы пригодиться опять-таки космонавтам в условиях перегрузок, когда трудно пошевелить рукой. Последний крик манипуляторостроения — это так называемая Рука Эрнста , построенная швейцарским аспирантом Генрихом Эрнстом под руководством известных кибернетиков Клода Шеннона и Марвина Минского. Оснащенная фотоэлементами и контактными датчиками, спаренная с электронной вычислительной машиной Рука Эрнста может самостоятельно собрать кубики, разбросанные на полу, и сложить их в коробку. [c.288]

Теорема Шеннона для каналов с шумом, утверждающая, что при помощи подходящих кодов можно передавать информацию так, чтобы вероятность ошибки после декодирования была произвольно малой при условии, что скорость передачи не превосходит пропускной способности канала связи, неконструктивна она не указывает способа построения кода. При конструировании кода решающее значение имеет выбор модели возникновения онгабок в передаваемом слове. [c.398]

Криптография осуществляется путём подстановки, когда каждой букве шифруемого сообщения ставится в соответствие определ. символ (напр,, др. букна), либо путём перестановки, когда буквы внутри искусственных блоков текста меняются местами, либо комбинацией этих методов. Шенноном показано, что возможны криптограммы, не поддающиеся расшифровке за приемлемое время [5]. [c.399]

ТШРИЯ ИНФОРМАЦИИ — наука о с1атистич. процессах передачи информации в техн., природных и сот ,иальных систе.мах. Осн. понятия Т. и.— мера кол-ва информации, пропускная способность канала связи, зфф. кодирование сообщений — бв ити введены в 40-х i i. 20 в. К. Шенноном [1]. Т. и. является по существу статистич. теорией связи, или теорией передачи информации, однако общий характер её положений позволяет исследовать также процессы получения, обработки и хранения информации. [c.71]

Для оценки кол-ва информации в сообщении в Т. и. использусгся логарифмич, мера, введённая Р, Хартли [2 , вероятностная интерпретация к-рой была дана в работах Шеннона [1]. 1-хли вероятность появления сообщения -V есть причем О (л )<1, то количество информации 1(л), содержащееся в сообщении, определяется ф-лой [c.72]

Пусть источник сообщений характеризуется энтропией Н (бит/буква), а канал связи имеет пропускную способ-носз ь с (би1/с). Тогда можно закодировать сообщения так. чтобы передавать символы по каналу связи со ср. скоростью С///—Е (буква/с), где к—-сколь угодно малое число. Передавать буквы со ср. скоростью, превышающей jН, невозможно. Достижение верх, границы для скорости передачи, указываемой теоремой Шеннона, осуществляется за счёт применения процедур эфф. кодирования. [c.73]

Теорема Шеннона для ка-Hajsa с шумом не указывав конкретного способа борьбы с помехами. Простейший способ борьбы с помехами, состоящий в много- [c.73]

В статистич. теории энтропия служит мерой неопределенности рассматриваемых состояний системы при статистич. описании. Разность энтропий Шеннона не может, однако, быть мерой относит, степени хаотичности (или упорядоченности) выделенных состояний, т. к. она не является функционалом Ляпунова (см. Устойчивость движения). Это имеет место лишь при условии, что сравнение производится при одинаковых значениях энергии—ф-ции Хамильтона. В таком случае энтропия равновесного состояния максимальная и, следовательно, равновесное состояние при указанном условии является наиб, хаотическим. [c.229]

Это направление Э.т. возникло в кон. 50-х — нач. 60-х гг. после того, как А. Н. Колмогоровым было введено понятие энтропии ДС, близкое к теоретико-информац. энтропии К. Э. Шеннона (С. Е. Shannon) (см. Теория информации), Пусть измеримые множества А i, образуют разбиение а вероятностного пространства (X, ц). Энтропией этого разбиения наз. число [c.630]

Шеннон Р Имитационное моделирование систем — искусство и наука. Пер с англ год ред L К Масловского - М Мир, [c.407]

Максимально возможная информационная скорость Vсвязана с полосой пропускания канала связи формулой Хартли—Шеннона (предполагается, что одно [c.56]

Боде Г., Шеннон К. Упрощевпое изложение линейной минимально-квадратичной теории сглаживания и предсказания.— В кн. Теория информации и ее приложение. М. Физматгиз, 1959. [c.209]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...