Код Шеннона-Фано

Излагаемый ниже способ оптимального кодирования сообщений двоичными числами называют принципом Шеннона—Фано. Этот способ формулируется так разделить совокупность кодируемых сообщений на две группы с равными общими вероятностями и принять в качестве первой цифры кода нуль для сообщений одной группы и единицу для сообщений другой затем снова разделить каждую из групп на две равновероятные подгруппы, назначив аналогичным образом вторую цифру кода и т. д. . Когда число сообщений (или соответствующие вероятности) не могут быть разделены поровну, для лучшего приближения следует за единицу кодирования принять последовательность из й сообщений. Если имеем совокупность из N различных сообщений, то число таких последовательностей равно Чем больше число кодируемых элементов, тем точнее их множество можно разделить на две равновероятные группы. Например, если все 3 равновероятные последовательности из двух сообщений, приведенных в табл. 5.2, рассматривать как самостоятельные сообщения, то способ кодирования, иллюстрируемый рис. 5.13, приводит в среднем к затрате 1,61 бита на одно сообщение. Если применить аналогичную процедуру кодирования последовательностей из трех и большего числа сообщений, то удастся еще более приблизиться к минимуму в 1,58 бита. Достаточно длинные последовательности сообщений позволяют подойти сколь угодно близко к теоретическому минимуму. [c.82]

При изучении процесса поиска информации как задачи ее передачи использовались две экспериментальных методики способ двадцати вопросов и прямое оценивание, В игре двадцать вопросов оптимальная стратегия для определения предмета, загаданного одним из играющих, заключается. в том, чтобы задавать ему вопросы, ответы да или нет , на которые позволяют разбить множество альтернатив на две равновероятные, до того как задан соответствующий вопрос, совокупности. Когда применяется такая стратегия (она описана в параграфе 5.6), ответы дают максимальную информацию — 1 бит. Это известный принцип деления пополам, он соответствует схеме кодирования Шеннона—Фано [c.103]

Кодовая последовательность 122, 123 Кодовое дерево 82, 83, 91 Код Шеннона-Фано 82, 91, 103 Консервативность вывода (консерватизм) 53—56, 58—60, 351, 352 Корневой годограф 278, 279 Корреляция 79, 178 Космическая медицина 26 Котельникова теорема (теорема отсчетов) 132, 136 [c.397]

Энциклопедия по машиностроению XXL

Оборудование, материаловедение, механика и ...