ПОИСК Статьи Чертежи Таблицы Информационная энтропия из "Статистическая механика неравновесных процессов Т.1 " Исторически теория информации заимствовала многие понятия из статистической механики. Среди прочих, к ним относится понятие информационной энтропии, введенное Шенноном [151]. Однако теперь, когда теория информации представляет собой хорошо разработанную теорию, можно, следуя Джейнсу [98, 99], принять ее положения за исходные и применить их к статистической механике. В частности, мы увидим, что все равновесные распределения Гиббса могут быть выведены из условия максимума информационной энтропии при соответствующих ограничениях, наложенных на статистический ансамбль. Отметим, однако, что подход, основанный на теории информации, не следует рассматривать как строгое обоснование статистической механики ). Но во всяком случае, он предоставляет собой очень удобный эвристический метод построения функций распределения и статистических операторов. Этот метод оказывается особенно полезным в неравновесной статистической механике. [c.49] Информационную энтропию можно считать мерой неопределенности в информации, относящейся к статистическому распределению В самом деле, обращается в нуль, когда одна из вероятностей Wi равна единице, а все остальные равны нулю. [c.49] Похожая ситуация возникает и при аксиоматическом построении равновесной статистической механики, когда просто постулируется существование вероятностной меры в фазовом пространстве [146]. [c.49] В теории информации обычно используют логарифм по основанию 2, однако в статистической механике более удобны натуральные логарифмы. [c.49] когда результат эксперимента может быть точно предсказан и неопределенность в информации отсутствует. С другой стороны, принимает наибольшее значение, когда все Wi равны 1/К. Очевидно, что этот предельный случай обладает максимальной неопределенностью и, следовательно, содержит минимальное количество информации о результате эксперимента. [c.50] Это определение информационной энтропии легко обобщается на многомерные случайные величины ж = (Ж1,Ж2. Жу ). [c.50] Отметим, что энтропия Гиббса является информационной энтропией классических и квантовых ансамблей, представляющих макроскопическое состояние системы многих частиц. В классическом случае это непосредственно видно из формул (1.3.2) и (1.3.3). Поскольку в квантовом определении энтропии Гиббса (1.3.6) величины Wn = ( ) есть вероятности нахождения системы в квантовых состояниях п), то энтропия Гиббса для смешанных квантовых ансамблей также является информационной энтропией. [c.50] Особый интерес представляют экстремальные распределения вероятностей, соответствующие максимуму информационной энтропии при дополнительном условии, что некоторые случайные величины Am i) имеют заданные средние значения. В теории информации такие распределения часто называются наиболее объективными , так как они не содержат дополнительной информации, которая не следует из имеющихся данных. Как мы скоро увидим, экстремальные распределения играют важную роль и в статистической механике. Поэтому имеет смысл кратко обсудить способ построения распределений этого типа. [c.50] МОЖНО выразить через средние значения (Л ), используя дополнительные условия (1.3.20). [c.51] Па последнем шаге мы использовали неравенство (1.3.13) z х — w j также нормировку распределений и Итак, мы видим, что причем равенство достигается только при w[ = Wi. Поэтому распределение (1.3.21) действительно соответствует максимуму информационной энтропии при заданных средних (1.3.20). [c.51] Нетрудно доказать, что функция распределения (1.3.26) соответствует максимуму функционала (1.3.19). Для этого достаточно рассмотреть разность между энтропией 5inf, вычисленной с экстремальной функцией распределения / (ж), и энтропией для некоторого нормированного распределения / (ж), соответствующего тем же значениям средних, а в остальном произвольного. Преобразования проводятся так же, как и в случае дискретного распределения, поэтому мы не будем их повторять (см. задачу 1.6). [c.52] Вернуться к основной статье