ПОИСК Статьи Чертежи Таблицы Информация из "Динамика и информация " В наш век, когда потоки информации обрушиваются на нас буквально со всех сторон, казалось бы, нет нужды объяснять, что такое информация. Однако это не совсем так. Существует точное математическое определение объема информации, и для тех, кто раньше с этим понятием не встречался, мы постараемся объяснить, что это такое. [c.18] Здесь log2—это логарифм при основании 2, а Мдг = 2 —полное число различных текстов. Согласно (1) объем информации равен просто минимальному числу двоичных ячеек, с помощью которых эту информацию можно записать. [c.19] Чем больше М, тем меньше величина Рдт и тем больше объем информации /в, содержащейся в данном конкретном тексте. [c.19] Вернемся теперь к обычному буквенному тексту. Пусть число букв алфавита равно 32 (как, например, в русском алфавите без буквы ё). Число 32 = 2 , и, следовательно, достаточно иметь пять двоичных ячеек, чтобы каждой букве сопоставить одну единственную комбинацию, например, из точек и тире. Если к строчным буквам добавить еще прописные, то число букв удвоится до 64 и потребуется еще один бит информации. Тогда объем информации на одну букву, строчную или заглавную, станет равным /в = 6. Добавление интервалов между словами и знаков препинаний дополнительно увеличивает величину информации, приходящуюся на один знак текста. [c.19] Здесь суммирование проводится по всем символам, а означает вероятность появления символа с номером г. Общее выражение (3) охватывает и часто используемые буквы, и те буквы, у которых вероятность появления в тексте очень мала. В выражении (3) используется натуральный логарифм соответствующую ему единицу информации называют нат . [c.20] Если речь снова идет о тексте, а величина /относится к одной ячейке текста, т.е. к одному знаку, тор1 — это вероятность появления символа с номером / . Например, если это буква а , то соответствующую вероятность можно найти, подсчитывая, сколько раз буква а встречается на одной странице, и деля полученное число на полное число знаков на одной странице. [c.20] Если известна величина информации (3), относящаяся к одному знаку, то для текста из N знаков эту информацию следует увеличить просто в N раз. Разумеется, формулой (3) можно пользоваться и для всего текста. При этом вероятности существенно меньше, поскольку резко возрастает число возможных комбинаций, а результат останется тем же информацию одного знака нужно умножить на N. [c.20] Вернуться к основной статье