Обновить

Законы для жизни

Научно-популярное

«Без дураков»

imageКак и раньше я буду стараться ссылаться на общеизвестные трактовки законов. Я не выражаю своего отношения, моё мнение может не совпадать с опубликованным в тексте.

Это продолжение попытки рассказать об информатике и об её законах и об их отпечатке в повседневной жизни. Отпечаток это, тень, или вообще иллюзия — решать каждому. Но если мы сами придумали себе все науки, чтобы познать мир, странно не видеть в физике природу, знать сопромат и не любоваться архитектурой, не писать программу как роман… Или наоборот, во всем видеть структуру, в общем понимать важность частного, жить и ощущать законы существования. Вопрос в том, что если один мыслит и понимает не так как другой? Кто прав, а кто нет, кого назвать глупцом, а кого умным? Возможно тот, кто больше знает и обладает большей информацией… Возможно это так. Но что такое информация, которая стала сегодня важнейшей экономической ценностью в мире и ознаменовавшая замещение машинной техники как главного производственного ресурса индустриальной эпохи знанием и интеллектом? Возможно, ответив на этот вопрос, мы сможем понять, кто глуп, а кто умен и почему.

Примерно в 1949-ом году Клод Элвуд Шеннон определил информацию через информационную энтропию — неопределённость появления какого-либо символа первичного алфавита. Для независимых случайных событий x с n возможными состояниями (от 1 до n) рассчитывается по формуле:
H(x)=-\sum_{i=1}^np(i)\log_2 p(i)

Шеннон пишет: «Величина H играет центральную роль в теории информации в качестве меры количества информации, возможности выбора и неопределенности».

Информационная энтропия — мера непредсказуемости. Понятия энтропии сообщения и избыточности естественно соответствуют интуитивным представлениям о мере информации. Чем более непредсказуемо сообщение (и чем больше его энтропия, потому что меньше вероятность) — тем больше информации оно несет. Сенсация — это редкое событие, предсказуемость которого очень мала, и потому велика его информационная стоимость. Часто информацией называют новости — сообщения о только что произошедших событиях, о которых мы еще не знаем. Но если о случившемся нам расскажут во второй и третий раз, избыточность сообщения станет очень велика, его непредсказуемость упадет до нуля.

Пусть источник сообщения передает предложение реального языка. То, какой символ последует дальше, зависит от символов, уже переданных. Например, в русском языке после символа «Ъ» не может идти символ согласного звука. После двух подряд гласных «Е» третий гласный «Е» следует крайне редко (например, в слове «длинношеее»). Таким образом, каждый следующий символ в некоторой степени предопределен, поэтому можно говорить об условной энтропии символа.

Согласно Ерохину («Теория информации. Часть 1.») избыточность русского языка составляет 73%, избыточность французского языка равна 71%, немецкого — 66%. Наибольшей избыточностью обладают «специальные языки», например язык «диспетчеров аэропорта» или язык юридических документов, менее избыточным является литературный язык, еще менее избыточным — живая речь. Например, для русского языка: живая речь: 72 %; литературный текст: 76%; юридический текст: 83%. Эти данные можно дополнить сравнением русского и французского языка:

Русский язык
Французский язык
Язык в целом
72,6%
70,6%
Разговорная речь
72,0% 68,4%
Литературный текст
76,2% 71,0%
Деловой текст
83,4%
74,4%
С этой точки зрения для нас наиболее интересен язык аэродромных диспетчеров, на котором они общаются по радио с пилотами взлетающих и садящихся самолетов. Соответствующие исследования показали чудовищную избыточность языка диспетчеров — до 96 процентов. Только столь низкая информационная плотность сигнала позволяет преодолеть высокий уровень помех. И хорошо, что никому в голову не приходит объявить 96 процентов слов в радиопереговорах лишними, «мусорными» и наказывать пилотов и диспетчеров за многословие.

В принципе возможно построить совершенно безызбыточный язык, так называемый оптимальный код. В нем каждое случайное сочетание букв означало бы осмысленное слово. Но пользоваться им было бы невозможно. Вот что пишет Александр Каравайкин («Некоторые вопросы неэлектромагнитной кибернетики»): «Увеличение информации эквивалентно сокращению энтропии. Это один из основных законов мироздания! За передачу информации приходится платить повышением энтропии, при этом система, получившая информацию, автоматически уменьшает свою „собственную“ энтропию.

Что есть мера информации? По Шеннону, базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос). Еще в 1946 г. американский ученый-статистик Джон Тьюки предложил название БИТ (BIT — аббревиатура от BInary digiT), одно из главных понятий XX века. Тьюки избрал бит для обозначения одного двоичного разряда, способного принимать значение 0 или 1, Шеннон использовал бит как единицу измерения информации.

Только два ответа „Да“ или „Нет“, третьего не дано. Можно считать этот факт проявлением закона чётности. Вот что говорит Игорь Михайлович Дмитриевский: „Закон сохранения четности — это симметрия между левым и правым. Оказывается, ни один природный процесс не позволяет ткнуть пальцем и сказать, что это — левое или это — правое. Природа индифферентна, она не дает ответа. Она симметрична. Отличие левого от правого она знает, но какое из них левое, и правое — это мы договариваемся“. На своих лекциях Дмитриевский продолжал эту мысль: «… кто дурак, а кто умный? Получается для природы нет значения».

«Дурак — инакомыслящий или инакочувствующий.»
Аркадий и Борис Стругацкие

«Страсть к машинам»
Теги:информатикаинформацияфилософиятеория
Хабы: Научно-популярное
Рейтинг +6
Количество просмотров 725 Добавить в закладки 4
Комментарии
Комментарии 10

Похожие публикации

Факультет Python-разработки
12 марта 2021180 000 ₽GeekBrains
React.js Developer
12 марта 202160 000 ₽OTUS
Android Developer. Professional
12 марта 202160 000 ₽OTUS
C++ Developer. Professional
12 марта 202160 000 ₽OTUS
Android-разработчик с нуля
12 марта 202170 740 ₽Нетология

Лучшие публикации за сутки