Comments 5
Безусловно в теории информации разночтений нет и под энтропией все понимают шенноновскую энтропию. Хотя, для ресурса с уклоном на популяризацию стоит немного переформулировать первое предложение. Всё-таки понятие энтропии ввели в XIX веке из термодинамических соображений и это сделал Клаузиус. Собственно об этом и говорит сам Шеннон в своей работе A Mathematical Theory of Communication за 1938 год.
UFO just landed and posted this here
Спасибо! Мне в свое время помогло понимание того, что энтропия — есть мера нашего знания о внутреннем устройстве системы. И тогда не важно, из чего она состоит.
Не совсем понятно, почему колмогоровскую сложность нельзя считать программно.
С одной стороны понятно, что при наличии алгоритма, вычисляющего колмогоровскую энтропию всякой строки при фиксированном языке, получается противоречие.
С другой стороны, вручную для конкретного языка можно определить колмогоровскую сложность отдельных строк; стало быть, можно написать программу, которая для некоторых строк вычисляет их энтропию, а на остальных зависает или даёт сигнал, что не может их вычислить.
Можно ли сформировать максимальное перечислимое множество строк, для которой найдётся программа, считающая колмогоровскую сложность этих строк? Вопрос похож на заданный в видео: мы не можем определить энтропию всякой строки, но для некоторых же это сделать можно? Конечно, на такую программу хотелось бы накладывать ограничение, чтобы она сама знала, для каких строк она может посчитать, а для каких — нет.
С одной стороны понятно, что при наличии алгоритма, вычисляющего колмогоровскую энтропию всякой строки при фиксированном языке, получается противоречие.
С другой стороны, вручную для конкретного языка можно определить колмогоровскую сложность отдельных строк; стало быть, можно написать программу, которая для некоторых строк вычисляет их энтропию, а на остальных зависает или даёт сигнал, что не может их вычислить.
Можно ли сформировать максимальное перечислимое множество строк, для которой найдётся программа, считающая колмогоровскую сложность этих строк? Вопрос похож на заданный в видео: мы не можем определить энтропию всякой строки, но для некоторых же это сделать можно? Конечно, на такую программу хотелось бы накладывать ограничение, чтобы она сама знала, для каких строк она может посчитать, а для каких — нет.
Понятие Шенноновской энтропии связано с больцмановской (физической) энтропией только огромным желанием связать оные самим Шенноном. Хотя надо отдать должное тов. Шеннону: ему посчастливилось с пользой сделать то, что не удаётся многим дуругим: более-менее содержательно притащить в свою науку кусок соседней. А то по тысячи статей в год выходит, где люди всякой фигнёй занимаются: то, «генетические» алгоритмы оптимизации выдумывают, то «нейроные» сети (якобы так же наш мозг работает, ха-ха!), то тут опять возобновились попытки (зачем-то) тензорную алгебру в обработку сигналов притащить за уши. Только всё впустую. И только шенноновская «энтропия» гордо возвышается над всем этим детским садом :)
Sign up to leave a comment.
Алгоритмическая теория информации и случайность индивидуальных объектов