ПОИСК Статьи Чертежи Таблицы Кодирование из "Системы человек-машина Модели обработки информации, управления и принятия решений человеком-оператором " Заметим, что информация Н для множества с равновероятными элементами равна логарифму общего числа элементов множества. [c.81] Десятичные обозначения горизонтали и вертикали потребовали бы двух цифр для описания каждого из 64 сообщений, но это не означает, что в среднем необходимы две десятичные единицы информации или, как их принято называть, два Хартли. Требуемое количество таких единиц лежит между одним и двумя, так как две десятичные единицы обеспечивают кодирование любого из ста сообщений, а одна — любого из десяти. Аналогично, если число сообщений находится между 32 и 64, из определения информации следует, что требуемое количество двоичных цифр лежит между пятью и шестью. [c.81] Излагаемый ниже способ оптимального кодирования сообщений двоичными числами называют принципом Шеннона—Фано. Этот способ формулируется так разделить совокупность кодируемых сообщений на две группы с равными общими вероятностями и принять в качестве первой цифры кода нуль для сообщений одной группы и единицу для сообщений другой затем снова разделить каждую из групп на две равновероятные подгруппы, назначив аналогичным образом вторую цифру кода и т. д. . Когда число сообщений (или соответствующие вероятности) не могут быть разделены поровну, для лучшего приближения следует за единицу кодирования принять последовательность из й сообщений. Если имеем совокупность из N различных сообщений, то число таких последовательностей равно Чем больше число кодируемых элементов, тем точнее их множество можно разделить на две равновероятные группы. Например, если все 3 равновероятные последовательности из двух сообщений, приведенных в табл. 5.2, рассматривать как самостоятельные сообщения, то способ кодирования, иллюстрируемый рис. 5.13, приводит в среднем к затрате 1,61 бита на одно сообщение. Если применить аналогичную процедуру кодирования последовательностей из трех и большего числа сообщений, то удастся еще более приблизиться к минимуму в 1,58 бита. Достаточно длинные последовательности сообщений позволяют подойти сколь угодно близко к теоретическому минимуму. [c.82] Кодирующих некоторое сообщение, не должна совпадать с началом более длинного кода другого сообщения. Способ кодирования, представленный на рис. 5.13, обеспечивает выполнение этого условия, если при кодировании используются только те группы двоичных цифр, которые отвечают конечным узлам кодового дерева на рис. 5.13. [c.83] Если не все сообщения имеют одинаковую вероятность, то можно уменьшить среднее число бит, затрачиваемых на одно сообщение, кодируя те сообщения или их совокупности, которые встречаются чаще, меньшим числом цифр. [c.83] Когда обратные величины для вероятностей отличаются от степеней числа два, чтобы приблизиться к теоретическому минимуму, следует кодировать последовательности сообщений. [c.83] Подведем итоги энтропия множества сообщений дает минимум среднего значения числа двоичных цифр, необходимых для однозначного описания любого элемента этого множества. Конечно, всегда можно использовать большее число цифр, но никогда меньшее. Вместе с тем, чтобы получить минимальное среднее значение, может потребоваться кодирование длинных, даже бесконечных последовательностей сообщений. [c.83] Вернуться к основной статье