Информационная энтропия

В отличии от термодинамики, синергетика оперирует с принципами, базирующимися на микроскопических (или мезоскопических) теориях с предсказанием макроскопического поведения системы. Г. Хакен [6] показал, что принцип максимума информационной энтропии, являющийся аналогом принципа максимума энтропии Больцмана позволяет даже для сложных систем, находящихся вдали от равновесия, использовать макроскопические свойства системы для предсказания микроскопических свойств системы, если в процессе ее эволюции образуются макроструктуры. [c.11]

Как было установлено К. Шенноном, информация / о системе, получаемая при наблюдении за системой, связана с происходящим при этом изменением вероятности состояния системы таким же соотношением (с точностью до знака), как и (3.49). Это формальное сходство выражений для термодинамической энтропии S и уменьшения информации — / ( информационной энтропии по Шеннону) привело многих авторов к необоснованному отождествлению термодинамической энтропии с информационной энтропией , хотя последняя не является термодинамическим параметром. Использование одного и того же термина (энтропия) для различных величин лишь вводит в заблуждение. [c.73]

Величина (2) (иногда говорят информационная энтропия ) названа по аналогии с физической энтропией, и эта аналогия — не только по форме, но и по существу. [c.337]

Скорость передачи 342 Информационная емкость 339 Информационная энтропия 337 Информация 339 [c.572]

Для изолированной физической системы число микросостояний Рц определяется ее внутренней энергией и с течением времени растет из-за перехода энергии в теплоту. Информационная энтропия обычно оценивается как в изолированных, так и в неизолированных системах с отсутствием внутренней энергии взаимодействия между ее элементами или без учета последней ввиду малой значимости этого фактора. При этом уже нельзя априори требовать самопроизвольного увеличения энтропии со временем. [c.31]

Статистич. физика позволяет уточнить понятие Л. т. р. и указать пределы его применимости. Понятию Л. т. р. соответствует локально равновесная ф-ция распределения / плотности энергии, импульса и массы, к рая отвечает максимуму информационной энтропии при заданных ср. значениях этих величин как ф-ций координат и времени [c.606]

Информационная энтропия. Понятие энтропии в статистической механике тесно связано с теорией информации. Эту связь мы рассмотрим в настоящем разделе. [c.49]

Исторически теория информации заимствовала многие понятия из статистической механики. Среди прочих, к ним относится понятие информационной энтропии, введенное Шенноном [151]. Однако теперь, когда теория информации представляет собой хорошо разработанную теорию, можно, следуя Джейнсу [98, 99], принять ее положения за исходные и применить их к статистической механике. В частности, мы увидим, что все равновесные распределения Гиббса могут быть выведены из условия максимума информационной энтропии при соответствующих ограничениях, наложенных на статистический ансамбль. Отметим, однако, что подход, основанный на теории информации, не следует рассматривать как строгое обоснование статистической механики ). Но во всяком случае, он предоставляет собой очень удобный эвристический метод построения функций распределения и статистических операторов. Этот метод оказывается особенно полезным в неравновесной статистической механике. [c.49]

Для начала напомним определение информационной энтропии. Пусть wi — дискретное распределение вероятностей для К независимых элементарных событий, удовлетворяющее условию [c.49]

Информационную энтропию можно считать мерой неопределенности в информации, относящейся к статистическому распределению В самом деле, обращается в нуль, когда одна из вероятностей Wi равна единице, а все остальные равны нулю. [c.49]

Для непрерывной случайной величины х с плотностью вероятности f x) информационная энтропия есть функционал [c.50]

Это определение информационной энтропии легко обобщается на многомерные случайные величины ж = (Ж1,Ж2,..., Жу>). [c.50]

Отметим, что энтропия Гиббса является информационной энтропией классических и квантовых ансамблей, представляющих макроскопическое состояние системы многих частиц. В классическом случае это непосредственно видно из формул (1.3.2) и (1.3.3). Поскольку в квантовом определении энтропии Гиббса (1.3.6) величины Wn = ( ) есть вероятности нахождения системы в квантовых состояниях п), то энтропия Гиббса для смешанных квантовых ансамблей также является информационной энтропией. [c.50]

Особый интерес представляют экстремальные распределения вероятностей, соответствующие максимуму информационной энтропии при дополнительном условии, что некоторые случайные величины Am i) имеют заданные средние значения. В теории информации такие распределения часто называются наиболее объективными , так как они не содержат дополнительной информации, которая не следует из имеющихся данных. Как мы скоро увидим, экстремальные распределения играют важную роль и в статистической механике. Поэтому имеет смысл кратко обсудить способ построения распределений этого типа. [c.50]

Используя явное выражение для информационной энтропии (1.3.18), находим условия экстремума [c.50]

Мы показали, что распределение вероятностей (1.3.21) соответствует экстремуму информационной энтропии. Проверим, является ли этот экстремум максимумом. Рассмотрим два нормированных распределения и , первое из которых — экстремальное распределение, а второе — некоторое другое нормированное распределение, соответствующее тем же значениям средних (Л ), а в остальном произвольное. Поскольку предполагается, что распределение удовлетворяет условиям (1.3.20), для разности S[nf — можно записать цепочку преобразований [c.51]

Па последнем шаге мы использовали неравенство (1.3.13) z х — w j также нормировку распределений и Итак, мы видим, что причем равенство достигается только при w[ = Wi. Поэтому распределение (1.3.21) действительно соответствует максимуму информационной энтропии при заданных средних (1.3.20). [c.51]

Традиционный способ вывода равновесных распределений основан на постулате Гиббса о равновероятности всех доступных динамических состояний изолированной системы [39]. Этот постулат определяет так называемый микроканонический ансамбль и соответствующее микроканоническое распределение. Распределения Гиббса, описывающие статистическое равновесие при других внешних условиях, выводится затем из микроканонического распределения. Эта схема изложена во многих книгах по равновесной статистической механике, но, к сожалению, ее невозможно обобщить на неравновесные состояния. По этой причине мы рассмотрим другой способ построения равновесных распределений Гиббса, основанный на теории информации. Все эти распределения будут выведены из условия максимума информационной энтропии при дополнительных условиях, определяющих равновесный ансамбль. Мы покажем, что в равновесном случае максимум информационной энтропии совпадает с энтропией Гиббса и может быть отождествлен с термодинамической энтропией. Преимущество такого подхода перед традиционным заключается прежде всего в том, что он допускает интересные обобщения на неравновесные системы, и мы будем часто им пользоваться. [c.53]

Итак, мы ввели классический ансамбль, соответствующий экстремуму информационной энтропии для энергетически изолированных систем. Как мы видели, он совпадает с равновесным микроканоническим ансамблем, который был введен Гиббсом на основе постулата о равновероятности всех доступных динамических состояний изолированной системы. [c.55]

Нетрудно доказать, что микроканоническое распределение не только является экстремальным распределением, но действительно соответствует максимуму информационной энтропии. Для этого достаточно повторить рассуждения, приведенные в разделе 1.3.2. [c.55]

Квантовый микроканонический ансамбль и соответствующее микроканоническое распределение вводятся аналогичным путем. Пусть — пробное распределение вероятностей для квантовых состояний системы, причем все w l отличны от нуля только в слое Е [c.55]

Как уже отмечалось, микроканоническое распределение обычно постулируется в равновесной статистической механике. Между тем предположение о равновероятности динамических состояний замкнутой, энергетически изолированной системы — разумная, но отнюдь не очевидная гипотеза. Проблема обоснования этой гипотезы называется эргодической проблемой [53]. Мы не будем здесь обсуждать эту проблему, но заметим, что мы доказали важное свойство микроканонического распределения, которое можно считать аргументом в пользу эргодической гипотезы. Мы показали, что среди всех распределений в заданном энергетическом слое микроканоническое распределение соответствует максимальному значению информационной энтропии ). [c.56]

Перейдем теперь к квантовому случаю и найдем экстремум информационной энтропии [c.58]

Остается показать, что квантовое каноническое распределение (1.3.58) соответствует максимуму информационной энтропии. Так как мы не приводили подобного доказательства для квантовых систем, оно подробно рассмотрено в приложении 1Б. [c.59]

Рассмотрим теперь систему с фиксированным объемом V, находящуюся в контакте с термостатом, который служит также резервуаром частиц. Равновесное состояние такой системы описывается большим каноническим ансамблем а соответствующее статистическое распределение (классическое или квантовое) называется большим каноническим распределением. Мы получим это распределение, исходя из принципа максимума информационной энтропии. [c.59]

В данном случае энергия и число частиц в системе не фиксированы, а флуктуируют около равновесных значений, поэтому большой канонический ансамбль характеризуется средними значениями (Я) и N). Итак, для классических систем равновесная функция распределения соответствует максимуму информационной энтропии [c.59]

По аналогии с классическим случаем, построим теперь статистический оператор, описывающий большой канонический ансамбль квантовых систем. Для этого найдем экстремум информационной энтропии (1.3.53) при следующих дополнительных условиях на пробные статистические операторы д [c.60]

Мы не будем доказывать, что квантовое каноническое распределение соответствует максимуму информационной энтропии, так как это доказательство практически не отличается от приведенного в приложении 1Б доказательства для канонического распределения. [c.61]

Подводя итог обсуждению ансамблей Гиббса, мы хотели бы остановиться на трех основных моментах. Во-первых, мы выяснили, что все равновесные распределения выводятся из фундаментального принципа максимума информационной энтропии при дополнительных условиях, которые определяют макроскопическое состояние системы. Несмотря на то, что в равновесном случае этот принцип эквивалентен постулату о равновероятности доступных динамических состояний энергетически изолированной системы, он, как мы увидим, оказывается весьма полезным при изучении неравновесных статистических ансамблей. Дело в том, что во многих случаях неравновесное макроскопическое состояние системы может рассматриваться как состояние с частичным равновесием ее малых подсистем. Принцип максимума информационной энтропии позволяет построить статистический ансамбль, который описывает такое состояние с заданными макроскопическими параметрами для подсистем. В дальнейшем мы приведем много примеров, иллюстрирующих применение этой идеи. [c.61]

С другой стороны, эти формулы представляют собой равновесные термодинамические уравнения состояния. С их помощью внутренняя энергия U = (Н) и среднее число частиц могут быть выражены через естественные термодинамические переменные Т, fi и V. С физической точки зрения интерпретация термодинамических величин как множителей Лагранжа может показаться несколько формальной. Мы увидим, однако, что это очень удобно в неравновесной статистической механике, поскольку подход, основанный на экстремальности информационной энтропии, дает возможность распространить термодинамические соотношения на неравновесные состояния. [c.61]

Энтропия и термодинамические соотношения. В предыдущих разделах мы ввели энтропию системы как максимальное значение информационной энтропии при дополнительных условиях, наложенных на равновесный ансамбль. Теперь нужно доказать, что максимальная информационная энтропия совпадает с термодинамической энтропией. Иначе говоря, нужно доказать, что полная система тер- [c.61]

Напомним, что величина S в соотношении (1.3.82) — информационная энтропия большого канонического ансамбля, а Т = 1//5 вводится как множитель Лагранжа. Таким образом, мы приходим к выводу, что энтропию большого канонического ансамбля можно отождествить с термодинамической энтропией, выраженной через переменные Т, /I и а . Кроме того, мы видим что параметр Т в (1.3.82) совпадает с температурой термостата. [c.64]

Для определения энтропии канонического ансамбля, описывающего состояние с заданными средними значениями а- мы используем принцип максимума информационной энтропии. Рассмотрим обобщенные ансамбли Гиббса, в которых средние значения удовлетворяют условиям [c.72]

В настоящей г лаве даются понятия о термодинамической, статистической и информационной энтропии, рассматриваются типы термодинамических систем, а также основные принципы макродинамики и синергетики, контролирующие самоорганизацию диссипативных структур в квазизакрытых и открытых системах. Приводятся примеры самоорганизации таких структур применительно к процессам, протекающим вдали от термодинамического равновесия в различных системах. [c.6]

При описании поведения сложных систем используются различные представления, включающие термодинамическую, сгатическую или информационную энтропию. [c.7]

Величина I характеризует какое именно состояние системы реализовалось. Шенноновская информация относится к замкнутым системам. Г. Хакен [15] расширил предстаяления об информационной энтропии он показал, что с формальной точки зрения различие в интерпретации энтропии Больцмана и информационной энтропии по Шеннону обусловлено различием в ограничениях, используемых для замкнутых и открытых систем. Это позволило придать универсальность информационной энтропии и расширить ее использование также и для открытых систем, если в процессе самоорганизации в системе образуются макроскопические структуры. Хакен представил соогношение (1.4) в виде [c.10]

Г . Хакеп 17] использовал S - теорему Климонтовича для доказательства информационной энтропии с достижением максимального значения в процессе эволюции неравновесной системы. [c.28]

По той же причине эксперимент Сциларда не может служить основанием для отождествления физической энтропии, используемой в термодинамике, с информационной энтропией, введенной Шенноном. В эксперименте Сциларда вообще не требуется никакой предварительной информации о местонахождении молекулы после введения в цилиндр поршня, поскольку само движение поршня указывает на ее местонахождение и превращение теплоты в работу будет происходить независимо от того, где находится молекула. [c.166]

Термодинамическая энтропия и энтропия информационБшх процессов — это разные величины, что видно хотя бы из того, что информационная энтропия не является термодинамическим параметром. [c.166]

В литературе вначале отмечалось отличие этих двух величин, обозначаемых одним словом, но позже многие авторы последовали за Бриллюэном , отождествившим термодинамическую и информационную энтропии (одним из оснований для этого является мысленный эксперимент Сциларда). [c.166]

Известно, что второй закон термодинамики эквивалентен утверждению о невозможности убывания энтропии в изолированной физической системе. Хотя эта физическая энтропия в изолированной системе согласно формуле Больцмана выражается математически аналогично информационной энтропии для системы с равновероятностными состояниями Яэф = = in + onst (где k — постоянная Больцмана), смешивать их не следует. [c.31]

ЭНТРОПИЯ (от греч. entropfa—поворот, превращение)— понятие, впервые введённое в термодинамике для определения меры необратимого рассеяния энергии. В статистической физике Э. служит мерой вероятности осуществления к.-л. макроскопич. состояния, в теории информации—ые-рой неопределённости к.-л, опыта (испытания), к-рый может иметь разл. исходы. Эти трактовки Э. имеют глубо кую внутр. связь. Напр., на основе представлений об информационной энтропии можно вывести все равновесные статистич. распределения (см. 1иббса распределения). [c.616]

Информационная энтропия. Э, в статистич. физике связана с информационной Э.. к-рая служит. мерой неопреде-лённости сообщений (сообщения описываются множеством величин -ti,-Yj....,. 1с и вероятностей Р], Л, их появления). Для дискретного статистич. распределения вероятностей Р информационной Э. (с точностью до постоянного множителя) наз. величину [c.617]

Для оценки однородности смеси предположено несколько десятков критериев [6, 20], отличающихся входящими в них параметрами. Однако в большинстве из них присутствует в той или иной интерпретации статистический результат пробоотбора смеси размах значений концентраций компонентов, дисперсия значений концентраций ключевого компонента, вероятность отклонения значений концентрации от среднего значения, информационная энтропия, фрактальная размерность и т.д. [c.130]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...