Энтропия (в теории информации)

Энергия потенциальная 376 Энтропия (в теории информации) 336, 337, 338, 340 Эпициклоиды 279 [c.592]

Мы видели, как через энтропию и энергию термодинамика проникает и в теорию информации, и в кибернетику, и в биологию... Но встречаются случаи, когда термодинамикой называют совокупность соотношений, чисто внешне подогнанных под термодинамические, но не имеющих ничего общего ни с изменениями энтропии, ни с превращениями энергии. К таким случаям относится и термодинамика процесса производства или экономическая термодинамика . [c.182]

При сочленении отдельных подсистем в единую структуру важно определить степень неопределенности вновь образованной системы, исходя из неопределенности исходных подсистем. Эта задача рещается на основе применения теоремы о сложении энтропий и понятия условной энтропии , разработанных в теории информации. [c.563]

Центральное место в теории информации занимает понятие энтропии системы. [c.117]

В теории информации энтропия (степень неопределенности) системы А, имеющей п возможных состояний с вероятностями Р А,), Р А ), Р А,), [c.118]

Энтропия — ключевое понятие в термодинамике и статистической механике. В этом параграфе мы рассмотрим статистическое определение энтропии, введенное Гиббсом для классических равновесных систем [13] и впоследствии обобщенное Нейманом на квантовые системы [163]. Мы также обсудим связь энтропии с теорией информации. Эта связь будет играть важную роль в теории неравновесных процессов. [c.44]

Особый интерес представляют экстремальные распределения вероятностей, соответствующие максимуму информационной энтропии при дополнительном условии, что некоторые случайные величины Am i) имеют заданные средние значения. В теории информации такие распределения часто называются наиболее объективными , так как они не содержат дополнительной информации, которая не следует из имеющихся данных. Как мы скоро увидим, экстремальные распределения играют важную роль и в статистической механике. Поэтому имеет смысл кратко обсудить способ построения распределений этого типа. [c.50]

Количество информации, полученное при взаимодействии субъекта с системой, измеряется в теории информации логарифмом относительного уменьшения количества рациональных возможностей выбора, существовавших у субъекта до получения информации. Нетрудно увидеть, что в такой формулировке теория информации непосредственно связана с описанием поведения субъектов рынка. Тем самым энтропия системы становится важнейшим параметром описания экономической ситуации. Сама по себе эта мысль отнюдь не нова 4.5 . Однако до настоящего времени идея применения энтропии использовалась лишь в специальных задачах (в основном в транспортных задачах экономики, а не для построения теории экономического равновесия). Для построения термодинамической теории экономического равновесия одной энтропии недостаточно, необходимо вводить весь спектр стандартных термодинамических переменных температуру, давление, химический потенциал, свободную энергию и т. п. [c.36]

В теории информации мера неопределённости сопоставляется с термодинамическим понятием энтропии, а количество информации равно уменьшению этой неопределённости. [c.24]

Понятие энтропия информации ввел один из авторов теории информации - Шеннон. Поводом для этого послужил чисто формальный признак функция Шеннона, связывающая информацию с числом N возможных событий в поведении системы, математически оказалась сходной с Н-функцией Больцмана. Мерой энтропии информации I по Шеннону служит не само число N, а его логарифм по основанию 2 [c.10]

Известно, что процесс измерений, в результате которого получают информацию о значениях измеряемых физических величин (измерительная информация), является процессом информационным. Обработка результатов измерений проводится с использованием аппарата теории вероятностей и математической статистики, положений теории информации, при этом погрешности подразделяются на случайные и систематические. Совокупность возможных сведений о множестве значений физических величин хи хг,. .., л , уподобляют полю случайного события Е с различными элементарными возможными исходными Е, El,. .., имеющими соответственно вероятности р, р2, р.,. Мерой неопределенности измерений этого поля дискретных величин служит энтропия [c.194]

В статистической термодинамике и теории информации существуют и другие определения энтропии, которые отличаются от выражения (2.4) либо наличием аддитивных добавочных членов, либо более конкретным видом, учитывающим свойства плотности вероятности. Так как в дальнейшем нас будут интересовать лишь относительные значения энтропии, то постоянную Больцмана в формуле (2.4) можно положить равной единице. [c.40]

Это понятие в литературе по теории информации связывают с понятием энтропии информации.—Ярг/ж. ред. [c.206]

Информационная энтропия. Понятие энтропии в статистической механике тесно связано с теорией информации. Эту связь мы рассмотрим в настоящем разделе. [c.49]

Исторически теория информации заимствовала многие понятия из статистической механики. Среди прочих, к ним относится понятие информационной энтропии, введенное Шенноном [151]. Однако теперь, когда теория информации представляет собой хорошо разработанную теорию, можно, следуя Джейнсу [98, 99], принять ее положения за исходные и применить их к статистической механике. В частности, мы увидим, что все равновесные распределения Гиббса могут быть выведены из условия максимума информационной энтропии при соответствующих ограничениях, наложенных на статистический ансамбль. Отметим, однако, что подход, основанный на теории информации, не следует рассматривать как строгое обоснование статистической механики ). Но во всяком случае, он предоставляет собой очень удобный эвристический метод построения функций распределения и статистических операторов. Этот метод оказывается особенно полезным в неравновесной статистической механике. [c.49]

Традиционный способ вывода равновесных распределений основан на постулате Гиббса о равновероятности всех доступных динамических состояний изолированной системы [39]. Этот постулат определяет так называемый микроканонический ансамбль и соответствующее микроканоническое распределение. Распределения Гиббса, описывающие статистическое равновесие при других внешних условиях, выводится затем из микроканонического распределения. Эта схема изложена во многих книгах по равновесной статистической механике, но, к сожалению, ее невозможно обобщить на неравновесные состояния. По этой причине мы рассмотрим другой способ построения равновесных распределений Гиббса, основанный на теории информации. Все эти распределения будут выведены из условия максимума информационной энтропии при дополнительных условиях, определяющих равновесный ансамбль. Мы покажем, что в равновесном случае максимум информационной энтропии совпадает с энтропией Гиббса и может быть отождествлен с термодинамической энтропией. Преимущество такого подхода перед традиционным заключается прежде всего в том, что он допускает интересные обобщения на неравновесные системы, и мы будем часто им пользоваться. [c.53]

Когда физики начинают знакомиться с синергетикой, у них чаще всего возникают ассоциации с термодинамикой. Действительно, одна из наиболее поразительных особенностей термодинамики состоит в ее универсальности. Законы, или начала, термодинамики выполняются безотносительно к тому, из каких строительных кирпичиков устроено вещество в различных агрегатных состояниях (газообразном, жидком или твердом). Своей универсальности термодинамика достигает, рассматривая макроскопические величины или наблюдаемые объем, давление, температуру, энергию или энтропию. Ясно, что такого рода понятия применимы к большим ансамблям молекул, а не к отдельным молекулам. Близкий к термодинамическому подход избран теорией информации, которая стремится давать несмешанные оценки систем на основе ограниченной информации о них. Другие физики усматривают общие черты между синергетикой и термодинамикой необратимых процессов. По крайней мере в области физики, химии и биологии синергетика и термодинамика необратимых процессов занимаются изучением систем, находящихся далеко от теплового равновесия. [c.360]

В теории термодинамики открытых систем и теории информации любые разрушения или предразрушения можно трактовать как увеличение энтропии повышение хаоса, а любое увеличение энтропии вызывает изменение энергии, в том числе - тепловой. [c.67]

Итак, термодинамические данные по отдельным жидким системам и особенно энтропии смешения, когда они определены с достаточной точностью, могут дать значительную качественную информацию о степени ближнего порядка в жидкости. Современное состояние теории металлических жидкостей не позволяет количественно оценить степень преобладающего порядка, хотя в принципе это возможно. Однако в совокупности с другой информацией, особенно получаемой при физических измерениях в тех же жидкостях, термодинамические свойства могут дать почти законченную картину характеристик связи жидкого металлического сплава, хотя в настоящее время результаты не могут не считаться до некоторой степени двусмысленными. В действительности полученная таким путем информация не более двусмысленна, чем информация, полученная из прямых структурных измерений эти два пути подхода следует рассматривать как дополнение одного к другому. [c.62]

Этот замечательный график несет очень много информации о кинетике замораживания стекла и о подавлении кристаллизации. Прежде всего отметим довольно узкие пики в функции трудности стеклообразования при двух кристаллических составах i/ = 0 и t/ = Уз. Хотя теории пока нет я готов побиться об заклад, что функциональная форма этих пиков над фоном соответствующим штриховой линии, будучи описанной топологической теорией, отразит энтропию смешения, которая в идеальном растворе имеет вид y — yi log IУ — i/t 1 вблизи Но это только вторичные особенности кривой, налагающиеся на основную тенденцию, показанную штриховой линией. Минимум штриховой кривой находится при или очень [c.170]

Hi (х) dx построить большое канонич. распределение и перемножить эти распределения. Более строгий метод получения основан на экстремуме информац. энчропии (см. Энтропия в теории информации) при заданных <и/ (.х)>. Распредепенио (9) при постоянных fi, переходит в больтаое канонич. распределение Гиббса [c.688]

ЭНТРОПИЯ (от греч. entropfa—поворот, превращение)— понятие, впервые введённое в термодинамике для определения меры необратимого рассеяния энергии. В статистической физике Э. служит мерой вероятности осуществления к.-л. макроскопич. состояния, в теории информации—ые-рой неопределённости к.-л, опыта (испытания), к-рый может иметь разл. исходы. Эти трактовки Э. имеют глубо кую внутр. связь. Напр., на основе представлений об информационной энтропии можно вывести все равновесные статистич. распределения (см. 1иббса распределения). [c.616]

Те же авторы отметили связь между емкостью, ко феляционной функцией и информационной энтропией. В статистической механике и в теории информации можно определить серию мер информационной энтропии, называемых информацией порядка д [48] [c.226]

Это направление Э.т. возникло в кон. 50-х — нач. 60-х гг. после того, как А. Н. Колмогоровым было введено понятие энтропии ДС, близкое к теоретико-информац. энтропии К. Э. Шеннона (С. Е. Shannon) (см. Теория информации), Пусть измеримые множества А i, образуют разбиение а вероятностного пространства (X, ц). Энтропией этого разбиения наз. число [c.630]

Понятие энтропии как меры неопределенности тесно связано с понятием количества информации о состоянии стохастической системы в некоторый момент времени. Информационный смысл энтропии раскрыт в многочисленных работах по теории информации и широко используется при решении задач связи, кодирования и т. п. [13, 25]. Еще одной областью эффективного применения энтропийных подходов является математическая статистика. В данном параграфе мы рассмотрим задачу о восстановлении гипотетической плотности вероятности]Гслучайной величины по выборочной информации на основе принципа максимума энтропии. Этот пример еще раз иллюстрирует справедливость сформулированного выше принципа и указывает дополнительное направление его использования. [c.49]

Имеется обширная литература, посвященная бифуркациям, из которой мы можем привести только незначительную выборку. Работа [28] представляет собой всесторонний обзор, охватывающий локальную и нелокальную теорию. Книга Палиса и Такенса [243] — лучший источник информации об определенном классе нелокальных бифуркаций, связанных с появлением положительной энтропии в системах Морса — Смейла. Книги [25] и [283] содмжат введение в вопрос. Локальные и глобальные бифуркации также обсуждаются в [104]. Локальные нормальные формы и гомотопический прием представляют собой наиболее полезные инструменты в теории локальных бифуркаций. Алгебраическая геометрия и ее приложения в теории особенностей начинают играть важную роль, когда рассматриваются многопараметрнческие семейства. Интересный пример глобальных бифуркаций появляется в типичных семействах [c.728]

Этот парадокс многократно исследовался впоследствии 1.13 , став одним из краеугольных камней современной теории информации. Именно на этом примере Л. Сциллард показал, что работа подобного устройства невозможна без обмена информацией между демоном и газом, который он контролирует, и что информация может быть определена как энтропия с обратным знаком, т.е., уменьшая энтропию в системе, демон неизбежно будет увеличивать собственную энтропию, что и делает невозможной работу такого устройства. [c.10]

Теория И. Пригожина необратимых процессов, рассматривающая самоорганизацию диссипативных структур в открытых системах на основе теоремы о минимуме производства энтропии. И. Пригожин представлял эволюцию открытых систем в виде бифуркационных диаграмм, отражающих переходы устойчивость-неустойчивость-устойчи-вость , обусловленные нарушением устойчивости симметрии системы, что позволяет представить эволюцию системы при изменяющихся внешних условиях в виде последовательности бифуркаций взаимосвязанных между собой информационным полем, т.к. в открытых системах энтропия выступает в роли как управления, так и информации. [c.198]

В настоящей работе мы сосредоточили внимание на применении метода виртуального варьирования и метода переменного действия в области механики в связи с изучением классических дифференциальных и интегральных принципов. Метод переменного действия позволяет изучать основные образы всех трёх картин механики силовой, энергетической и геометрической. Без понятия о действии не обходятся и в других областях естествознания. Вспомним, например, принцип неопределённости в квантовой механике законы сохранения и симметрии уравнений движения в математической физике теорию интегральных инвариантов построение аналитической динамики систем Гельмгольца, Биркгофа и Намбу и т. д. Эти и многие другие направления исследования остались вне рамок книги. Обобщая сказанное, можно заметить важнейшую роль понятия о действии в развитии теории несвободных динамических систем и в становлении новой парадигмы науки в целом. Достаточно отметить, что понятие о действии стоит в одном ряду с понятиями энтропии и информации, которые являются концептуальными для естествознания. [c.264]

Прнчипа этого заключается в том, что при Т —>0 система стремится к своему наинизшему квантовому состоянию, соответствующему абсолютному нулю, и, следовательно. Это вполне согласуется с интерпретацией энтропии как меры отсутствия информации относительно механического состояния системы. При абсолютном нуле система с достоверностью находится в основном состоянии, и наще знание о ней является полным. Экспериментально подтвердить это не удается, однако можно высказать феноменологический постулат, который очень тесно связан с приведенными выше следствиями квантовой теории Невозможно достичь абсолютного нуля путем конечного числа операций. Этот постулат называют третьим законом тер.чодинамики-, мы рассмотрим его в гл. 8. [c.55]

Экспериментальные и теоретические методы, которые дают информацию об энтальпии Я, энтропии 5 и свободной энергии (потенциале Гиббса) С, описаны в стандартных учебниках [162]. Теории растворов посвящены труды Гуггенхейма [115] и Хильдебранда и Скотта [130]. Термохимические исследования металлических сплавов касаются жидких полупроводников, поэтому читателю рекомендуется обзор Кубашевски и Эванса [159]. [c.59]

Непрерывные отображения отрезка представляют собой идеальный объект для разработки структурной теории, основанной на идее кодирования и полусопряжения с топологаческими цепями Маркова. Теорема о промежуточном значении позволяет нам получить всю необходимую информацию из информации о том, каким образом отрезки содержатся в образах других отрезков. Этот подход дает очень точные результаты относительно топологической энтропии, роста числа периодических орбит, присутствия орбит различных периодов и структуры отображений с нулевой топологической энтропией. Позднее мы опишем технику, близкую к кодированию, которая выведет нас за рамки топологических цепей Маркова и обеспечит достаточную совокупность моделей для описания кусочно монотонных отображений с точностью до почти обратимого полусопряжения. [c.492]

Д 2 д. Неравенство Рюэля. В этом пункте будет доказан фундаментальный результат эргодической теории диффеоморфизмов, известный как неравенство Рюэля, хотя следует упомянуть, что Маргулис доказал его ранее для случая преобразований, сохраняющих объем. Этот реэтльтат связывает метрическую энтропию с суммой положительных показателей Ляпунова и оказывается очень полезным инструментом в доказательстве существования мер, у которых имеются ненулевые показатели. Важность этого неравенства основана на непосредственно вытекающем из него утверждении о том, что если топологическая энтропия диффеоморфизма отлична от нуля, то существует мера, некоторые показатели которой положительны. В случае поверхностей отсюда следует, что показатели отличны от нуля. Подчеркнем, что, как было несколько раз отмечено в гл. 8, положительность топологической энтропии может быть установлена различными методами. Для применения некоторых из этих методов достаточно лишь топологической информации (теорема 8.1.1, следствие 8.1.3, теорема 8.3.1). [c.665]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...