Информация энтропия

В теории информации энтропия (степень неопределенности) системы А, имеющей п возможных состояний с вероятностями Р А,), Р А ), Р А,), [c.118]

Если в системе количество информации (энтропия-информация) 5 осч ается неизменным, а энергия в ней изменяется под действием сил, то такая система является адиабатической. [c.15]

В общем случае для физической системы мера информации - энтропия определена только в том слу 1ае, когда определен адиабатический инвариант системы, то есть множитель К в определении энтропии-информации (1.1). Для разных систем он может иметь разную величину (не обязательно К = к - постоянной Больцмана). Адиабатический инвариант всегда имеет конечную величину. Предельный переход А -> О при строгой постановке задач невозможен. [c.16]

Понятие энтропия информации ввел один из авторов теории информации - Шеннон. Поводом для этого послужил чисто формальный признак функция Шеннона, связывающая информацию с числом N возможных событий в поведении системы, математически оказалась сходной с Н-функцией Больцмана. Мерой энтропии информации I по Шеннону служит не само число N, а его логарифм по основанию 2 [c.10]

В кибернетике энтропия используется в качестве количественной меры информации, которую несет данный набор сигналов. Набор сигналов можно отождествить с физической системой, состоящей из дискретных подсистем, которые с некоторой вероятностью могут находиться в одном из нескольких структурных состояний Для вычисления средней информации, или энтропии, сообщаемой данным набором сигналов, служит формула Шеннона [c.153]

Как было установлено К. Шенноном, информация / о системе, получаемая при наблюдении за системой, связана с происходящим при этом изменением вероятности состояния системы таким же соотношением (с точностью до знака), как и (3.49). Это формальное сходство выражений для термодинамической энтропии S и уменьшения информации — / ( информационной энтропии по Шеннону) привело многих авторов к необоснованному отождествлению термодинамической энтропии с информационной энтропией , хотя последняя не является термодинамическим параметром. Использование одного и того же термина (энтропия) для различных величин лишь вводит в заблуждение. [c.73]

Лежащая в основе статистической термодинамики зависимость между энтропией и вероятностью впервые была установлена Больцманом, который исходил из представления об энтропии, как меры беспорядка молекулярной системы. Эта зависимость позволила позднейшим исследователям связать энтропию с информацией о механическом состоянии системы и трактовать энтропию как меру отсутствия этой информации, т. е. как меру неопределенности. Возможность такого толкования видна из следующих примеров нулевой энтропии соответствует полная информация о механическом состоянии молекулярной системы, большому значению энтропии отвечает практически исчезающая информация о механическом состоянии этой системы. Тем не менее нельзя не отметить формального характера связи между энтропией и информацией. [c.155]

Наконец, на правильность прогноза решаюш,ее влияние оказы вает достоверность информации о закономерностях изменения вы ходных параметров изделия в процессе эксплуатации, т. е. о слу чайных функциях (t) . .. (t). Информация о надежности изделия (понимая под этим оценку упомянутых функций (t) или данные по надежности элементов изделия) может быть получена из разных источников и этот вопрос рассмотрен в гл. 4, п. 5. Прогнозирование может вестись на стадии проектирования (имеются ТУ на изделие, конструктивные данные о машине и ее элементах, известны возможные условия эксплуатации), при наличии опытного образца изделия (можно получить начальные характеристики машины, оценить запас надежности) и при эксплуатации (имеется информация о потере работоспособности изделий при различных условиях эксплуатации). При прогнозировании надежности изделия на стадии проектирования имеется наибольшая неопределенность (энтропия) в оценке возможных состояний изделия. Однако методический подход к решению этой задачи остается общим. [c.211]

Излучая свет, лампочка отдает энергию и теряет энтропию. Энергия поглощается газом, температура которого ниже температуры нити электролампочки, и поэтому энтропия газа возрастает на большую величину, чем ее уменьшение у лампочки. В целом энтропия такой системы будет увеличиваться. У демона остается только один способ спастись — обнаруживать молекулы хотя бы по одному кванту света, излучаемому ими, который будет поглощаться в глазу демона. В результате тоже будет происходить возрастание энтропии, за счет чего демон и получает информацию о молекуле (об этом следующий рассказ). Но эта информация используется им для еще большего уменьшения энтропии системы, что он делает, открывая дверцу перед быстрой молекулой или не открывая ее перед медленной. Однако строгие расчеты показывают, что и в этом случае энтропия всей системы будет возрастать в полном согласии со вторым заколом оказывается, поглощение кванта света приводит к большему увеличению энтропии, чем ее уменьшение, связанное с внесением порядка в систему. В результате температура обязательно выравнивается и демон прекращает свое существование... [c.170]

Эти трудности связаны с тем, что метод, основанный на внешнем сходстве между выражением количества информации и формулой энтропии Больцмана, распространяется на области, на которые последняя при ее выводе не рассчитывалась. Поэтому теоретикам легче установить связь между энтропией и информацией, чем показать ее практически на численных примерах. [c.172]

В начальном состоянии такая машина полна неопределенности, и энтропия ее имеет максимальное значение. Как только машина начинает работать, в нее поступает информация, которая уничтожает неопределенность, уменьшает разнообразие, делает поведение системы предсказуемым, — энтропия уменьшается. Уменьшение разнообразия является одним из главных методов регулирования. [c.175]

В кибернетике используется особое понятие энтропия выбора , позволяющее сравнивать кибернетические машины в отношении эффективности, с которой они выполняют свои функции быть машинами для достижения той или иной цели . Выгоднее те машины, которые используют для этого минимум информации. Тогда все остальные страдают избыточностью информации. Так, мужчина, выбирающий жену по пяти параметрам, страдает избыточностью информации по сравнению с тем, который выбирает по одному... если, конечно, этот один параметр достаточен для решения задачи. [c.175]

Мы видели, как через энтропию и энергию термодинамика проникает и в теорию информации, и в кибернетику, и в биологию... Но встречаются случаи, когда термодинамикой называют совокупность соотношений, чисто внешне подогнанных под термодинамические, но не имеющих ничего общего ни с изменениями энтропии, ни с превращениями энергии. К таким случаям относится и термодинамика процесса производства или экономическая термодинамика . [c.182]

Способ программной "имитации случайных функций любой сложности сводится к генерированию некоторых стандартных базовых воздействий и к их последующему функциональному преобразованию для получения случайной величины (функции), подчиняющейся определенному закону распределения. Для большинства же исходных параметров, как уже отмечалось выше, вид закона распределения неизвестен. В этом случае для исходной информации, заданной в неопределенной форме, выдвигаются различные гипотезы о законах распределения, исходя из принципа максимума энтропии. Выдвинутые гипотезы, естественно, не снимают проблему принятия решений в условиях неопределенности, а лишь дают возможность использовать методы статистического моделирования для всестороннего исследования этой проблемы. [c.270]

Если схема В не зависит от А, то реализация А не уменьшает энтропии В тогда нет информации относительно -схемы В, которая содержалась бы в А, т. е. Л/д (В) = Н (В), поэтому R (/1, В) — 0. [c.340]

На энтропию Н(В) схемы В можно смотреть как на информацию относительно В, содержащуюся в самой схеме В [c.340]

Скорость передачи 342 Информационная емкость 339 Информационная энтропия 337 Информация 339 [c.572]

Энергия потенциальная 376 Энтропия (в теории информации) 336, 337, 338, 340 Эпициклоиды 279 [c.592]

Однако при всех достоинствах энтропии (и как критерия возможности осуществления процессов, и как меры, характеризующей качество энергетических превращений в них) ее непосредственно использовать для этих целей нельзя. Это объясняется тем, что энтропия и ее изменения не показывают непосредственно количества энергии как того, которым мы в каждом случае можем располагать и которое можем полезно использовать, так и того, которое теряется бесполезно. Конечно, можно их найти, зная энтропию, но каждый раз для этого нужен специальный расчет с привлечением дополнительной информации. [c.156]

Производим оценку результата вычислений в п. 4, сравнивая полученные в формуле (5) вероятности с некоторыми критериями, порогами Tj. Если для некоторого В,- порог Ту достигнут, то данное Bj суть диагноз. Если такого В, - нет, то назначаем следующее испытание (из группы более тяжелых испытаний), которое вносит максимальную информацию в полученную ситуацию, т. е. максимально уменьшает ее неопределенность (энтропию). [c.101]

При сочленении отдельных подсистем в единую структуру важно определить степень неопределенности вновь образованной системы, исходя из неопределенности исходных подсистем. Эта задача рещается на основе применения теоремы о сложении энтропий и понятия условной энтропии , разработанных в теории информации. [c.563]

Возможность возрастания энтропии может быть обоснована методами статистич. механики, к-рая приводит к выражению для положительного локального производства энтропии, связанного с внутр. неравновесно-стью системы, что соответствует термодинамике неравновесных процессов. При этом для кинетических коэффициен пов получаются выражения, пропорц. пространственно-временным корреляц. ф-циям потоков энергии, импульса и вещества (Грина — Кубо формулы). Энтропия системы в неравновесном случае определяется через локально-равновесное распределение /лон ф-лой S = — Jfe <1п/лов)- Она соответствует максимуму информац. энтропии при условии, что средние локально-равновесные значения плотности энергии, импульса и числа частиц равны их средним значениям, причём эти средние вычислены с помощью ф-ции распределения, удовлетворяющей ур-нию Лиувилля (хотя /лок не удовлетворяет). Возрастание энтропии связано с отбором запаздывающих решений ур-ния Лиувилля. Опережающие решения должны быть отброшены, т. к. приводили бы к убыванию энтропии [6]. Отбор запаздывающего решения ур-ния Лиувилля осуществляется введением в него бесконечно малого члена, нарушающего его симметрию относительно обращения времени. [c.530]

Это направление Э.т. возникло в кон. 50-х — нач. 60-х гг. после того, как А. Н. Колмогоровым было введено понятие энтропии ДС, близкое к теоретико-информац. энтропии К. Э. Шеннона (С. Е. Shannon) (см. Теория информации), Пусть измеримые множества А i, образуют разбиение а вероятностного пространства (X, ц). Энтропией этого разбиения наз. число [c.630]

Отличие между разулгом человека и разумом природы только в том, что для человека запоминание эфемерно, а условия ие имеют (рундаментальных способов контроля, так как процветание человека ие есть цель природы. Ее "цели" исчерпываются вторым началом термо-дииали1ки, то есть стремлением к максимальному хаосу в пределах величии обобщенной энергии (в том числе - абстрактной) и условии, заданных на данном уровне иерархии роста количества информации - энтропии. [c.33]

Допустим, что в идеальном цикле Карно рабочим телом является воздух при температуре ft. Пго нагрев продукталщ сгорания происходиг идеально. Объём газа, использованный в цикле Карио, до нагрева содержал количество информации 5 = О2/О1 После завершения идеального цикла Карио информация (энтропия), сообщё1И1ая газу при нагреве, использована в процессе механической работы. Это энтропию Вселенной не изменило - рабочее тело возвращено в первоначальное состояние. [c.43]

У элементов системы есть свойства при взаимодействии с окружением и самими собой. Свойства элементов системы заданы возможностью их движений и действием сил, обладающих потенциалом. Они определяют существование состояний - конкретных численных величин, характеризующих движение и потенциальные взаилюдействия. Мера информация - энтропия есть число, переменная. Она определяет распределение элементов системы по их состояниям. Эти состояния обязательно содержат элемент случайности. Из скольких и каких случайностей произведен выбор или, в другой терлтнологии, какова вероятность состояния. Это характеризует энтропия как переменная, как ве тчина, существующая независимо от человека в природе, измеримая им. [c.53]

Жизнь определяет информация-энтропия в ДНК как число возлюж-ных комбинаций химических реакций с ее участием. Человек этн же количества информации может описывать кодировкой - информацией и терминах четырёхбуквенного кода, то есть абстрактной формулой (1.2) при основании логарифма 4 и множителе прн энтропии-информации [c.55]

Если сравнить приведенные выше постановки задач Якоби н определение информации в главе I, то видно, что функции So и 5/, (две фор-. 1ы действия) удовлетворяют требованиям к функциям, описывающим меру информации - энтропию, когда их определяют на основе си тгеза информации в виде зaпoмш aния случайного выбора. Действительно [c.108]

Величина I характеризует какое именно состояние системы реализовалось. Шенноновская информация относится к замкнутым системам. Г. Хакен [15] расширил предстаяления об информационной энтропии он показал, что с формальной точки зрения различие в интерпретации энтропии Больцмана и информационной энтропии по Шеннону обусловлено различием в ограничениях, используемых для замкнутых и открытых систем. Это позволило придать универсальность информационной энтропии и расширить ее использование также и для открытых систем, если в процессе самоорганизации в системе образуются макроскопические структуры. Хакен представил соогношение (1.4) в виде [c.10]

ЭНТРОПИЯ, ИНФОРМАЦИЯ И МЫСЛЕННЫЙ ЭКСПЕРИМЕНТ СЦИЛАРДА [c.165]

По той же причине эксперимент Сциларда не может служить основанием для отождествления физической энтропии, используемой в термодинамике, с информационной энтропией, введенной Шенноном. В эксперименте Сциларда вообще не требуется никакой предварительной информации о местонахождении молекулы после введения в цилиндр поршня, поскольку само движение поршня указывает на ее местонахождение и превращение теплоты в работу будет происходить независимо от того, где находится молекула. [c.166]

Прошло время, утихли залпы полемических сражений, похоронили убитых физически, отреклись от убитых морально, осмотрелись и увидели, что второй закоя и энтропия зажили самостоятельной жизнью и стали проникать всюду. Так, в 1929 г. Сциллард и более точно и широко в 1949 г. Шеннон открыли соотношение между энтропией и информацией. [c.171]

Из сказанного ясно, что если рост энтропии есть мера трудности возврата системы в первоначальное состояние, то рост информации есть мера трудности познания м.икросостояния системы — расположения, скоростей, энергии ее частиц. Значит из-за незнания микросостояния системы надо затратить много энергии, или, точнее, негэнтропии, для возвращения ее в более упорядоченное состояние. [c.171]

Если же реализация А полностью -предопределяет исход. В, то условная энтропия Яд(В) = 0, и информация от- осительно В, содержащаяся в А, равна R(A, В) = Н(В). [c.340]

Однако истинное количество Н на одну букву осмысленного текста оказывается более чем вдвое меньше наибольшей информации, которая могла бы содержаться в букве алфавита. Это обусловлено не только тем, что частоты отдельных букв не одинаковы, но еще и тем, что при передаче букв осмысленного текста появление последующей буквы часто зависит существенным образом от предыдущих букв например, если появилась гласная буква, то вероятнее всего, что после нее появится согласная буква, и поэтому среднюю информацию на одну букву надо вычислять по формуле условной энтропии, т. е. сначала рассматривать двухбуквенные сочетания xi л ) и брать условную вероятность появления буквы лгд,, если известно, что предыдущая буква есть л ,-, затем рассматривать трехбуквенные сочетания (Xi Xf, Xi) и брать условную вероятность появления Xi после комбинации (Xi Xfi) и т. д. [c.341]

Оперирование этим понятием, как уже отмечалось, позволяет делать выводы о степени упорядоченности структуры. Система с боль-щим числом параметров, характеризующих ее, и связей между этими параметрами обладает больщим числом различных состояний и, следовательно, ей присуща высокая степень неопределенности. Энтропия возрастает по мере выравнивания вероятностей различных состояний и, по теории информации, достигает своего максимума, когда все состояния равновероятны. [c.563]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...