Как стать автором
Обновить

Меры сложности: колмогоровская, вычислительная и эффективная сложность, логическая и термодинамическая глубина

Уровень сложностиСредний
Время на прочтение24 мин
Количество просмотров3.8K
Всего голосов 6: ↑6 и ↓0+6
Комментарии70

Комментарии 70

для достаточно мощного компьютера это не проблема) можно полностью воссоздать химический контекст, необходимый для расшифровки внутреннего сообщения ДНК – живую клетку.

Боюсь, что нет - это проблема. ДНК не настолько однозначна. Это как по кулачковому валу от станка с кулачковым управлением восстановить этот станок - у вас получится много чего, и что-то из них будет станками, а из них один будет вашим, от этого вала. Но это будет Вавилонская библиотека, а не "достаточно мощный компьютер"

Поэтому я и написал "для достаточно мощного компьютера", желательно - квантового. Ну и при наличии определённых знаний, из чего в принципе можно получить жизнь, а из чего нельзя. Как минимум нужно запрограммировать компьютер на отбор сред, допускающих саморепликацию с вариациями.

Сторонники эмпиризма, позитивизма и солипсизма считают, что энтропия – мера неопределённости системы для наблюдателя, которая зависит от его знаний.

Интересно было бы увидеть определение для энтропии которое вводит зависимость ее от знаний наблюдателя, на кого вы ссылаетесь?

Действительно, если вы не умеете читать или не знаете русского языка, то данная статья будет для вас бессмысленным набором непонятных символов. Соответственно энтропия каждого следующего бита будет максимальной, избыточности не будет вообще.

энтропия и избыточность считаются не зависимо от того понимаете вы значения символов или нет, это следует из определений энтропии и избыточности. Если мы вспомним что их можно посчитать, то станет очевидно, что они ни как не зависят от количества прочтений и/или того насколько вы хорошо помните последовательность символов по которой расчитываются эти параметры.

С такими предпосылками вряд ли у вас получится какая-то для чего либо годная философия.

Этим больше физики грешат, когда определяют энтропию как меру незнания или количества информации о системе, неизвестной наблюдателю. Для того же демона Максвелла энтропия молекул газа якобы равна нулю, потому что он знает их координаты и скорости. Вот некоторые так же думают и об энтропии Шеннона - раз это мера неопределённости (непредсказуемости) каждого следующего бита, значит, для наблюдателя, которому известно значение этих битов, энтропия сообщения равна нулю, как у строки из одних нулей или одних единиц. Я же отстаиваю объективность этих величин.

Для того же демона Максвелла энтропия молекул газа якобы равна нулю, потому что он знает их координаты и скорости.

А в этом есть какой-то практический смысл? На что влияет то что мы принимаем энтропию молекул газа равной нулю или не равной нулю? Особенно в зависимости от того что кто-то об этом знает или не знает?

Тем более что я точно знаю что чье-то знание, (на самом деле наблюдение) на это никак не влияет в отличие от квантовой механники, в которой действительно проявляется зависимость от наблюдателя, но не от чьего-то знания все же.

Выглядит как попытка натянуть законы квантовой физики на физику вообще, это очень не конструктивно, я бы сказал.

Я честно говоря не понял объективность каких величин вы отстаиваете, любые величины должны быть определены через способ их расчета, ничего такого я у вас не вижу.

Дело в том, что больцмановская энтропия является обобщением шенноновской, а та в свою очередь - обобщением квантовой энтропии фон Неймана. И вот в квантовой физике как раз очень даже актуальны интерпретации, в которых волновая функция и энтропия фон Неймана отображают именно знание наблюдателя о квантовой системе. Я с таким подходом не согласен, поскольку понятие наблюдателя нигде не определено и является фикцией, а т.н. "эффект наблюдателя" вызван запутыванием изолированной квантовой системы с окружением - декогеренцией. Поэтому любая энтропия - объективное свойство самой системы, просто для её расчёта нужно учитывать ещё и способ взаимодействия с системой - измерительный прибор, например.

И вот в квантовой физике как раз очень даже актуальны интерпретации ...

Я с таким подходом не согласен

то есть вы считаете что они на самом деле НЕ актуальны???

вас очень сложно понять.

Поэтому любая энтропия - объективное свойство самой системы

собственно на этом я и настаиваю. Поэтому не понимаю зачем рассуждать о том, кто что знает или не знает про систему. Чье-то знание никак не влияет на "объективное свойство самой системы", если кто-то и пытался их связать - это было заблуждением, зачем вспоминать заблуждения???

Если бы вы рассуждали о том, как кто-то когда-то запутался, это еще можно было бы понять, а так получается это вы хотите (вольно или невольно) кого-то запутать.

Субъективные интерпретации актуальны, потому что у них до сих пор много сторонников, но я их противник и критикую их с позиции реализма. Просто стараюсь по-философски рассматривать проблему с разных сторон и с разных точек зрения.

только вот проблему у вас не получилось сформулировать, на мой взгляд.

Куча определений, а к чему это все - непонятно.

А интересно было бы узнать в чем вы видите проблему.

Проблема в том, существует ли информация/энтропия/сложность как измеряемая физическая величина, без воспринимающего её субъекта или интерпретатора.

по моему однозначно можно сказать что информация/энтропия/сложность это статистические величины, то есть это всегда результат расчетов по выборке по измерениям. В каких-то применениях эти величины имеют физический смысл, в каких-то они просто не нужны и только поэтому и смысла не имеют.

Просто надо тогда начать с каких-то более простых статистических величин таких как мат-ожидание и дисперсия, есть у них физический смысл? - есть конечно, но зависит от области применения.

Вот для информации еще можно найти какую то проблему связанную с тем имеет ли она смысл, но вроде как это не на что не влияет в материальном мире, поэтому мне кажется сомнительным направлением для исследования.

информация/энтропия/сложность это статистические величины, то есть это всегда результат расчетов по выборке по измерениям

Классическая информация - да, но есть же ещё квантовая информация и энтропия фон Неймана, измеряемые косвенно. Они уж точно имеют физический смысл и применимы к чему угодно. Но учитывая, что границы между классическим и квантовым миром не существует, я считаю перспективными попытки обобщения классической и квантовой теории информации, например, в рамках теории конструкторов.

Но учитывая, что границы между классическим и квантовым миром не существует

таким образом вы отрицаете фундаментальный закон о том что количество переходит в качество. Граница есть! То что мы не видим где ее провести или не понимаем как ее провести не доказывает того что ее нет.

области в которой существует количество и в которой появилось новое качество есть смысл разделять - разграничивать каким-то образом, то есть граница не только есть, она нужна в большинстве практических применений. Квантовая физика это квантовая физика, а класическая остается класической несмотря на то что иногда приходится заглядывать за границу и с той и сдругой стороны, но мы всегда должны понимать что мы пересекаем границу в таких случаях, иначе науки не получится. Мы должны осознавать наличие границы.

Из этой логики получается что вы хотите лишить реальность присущей ей объективно сложности, в этом смысле, и на сколько я понимаю. По моему это ошибка.

При чём тут закон перехода количества в качество? Насколько он фундаментален - тоже большой вопрос, но я не редукционист и признаю, что в макроскопических масштабах могут возникать эмерджентные явления, которые нельзя описать одними законами движения элементарных частиц. Только для их существования никакой границы не требуется. Даже наоборот, такие вещи, как сознание, объясняют амплификацией квантовых процессов на макромасштабы. И вообще классическая физика - это предельный случай квантовой, согласно принципу соответствия Бора.

Только для их существования никакой границы не требуется.

Также как не требуется для их существования понятий о информации/энтропии/сложности. Поздравляю, вы доказали что ничего этого нет.

Для их существования не требуется тот кто пытается их идентифицировать-понять-разграничить-локализовать сущности, или вы исходите из другой фундаментальной аксиомы?

Граница не материальна, в этом смысле она действительно не существует, она умозрительна, так же как и понятия о информации/энтропии/сложности. Но они существуют для того кто пытается анализировать разделение на сущности. Они существуют в сознании, сознание мне нравится называть миром идей, потому что это отсылает нас к Канту и Гегелю, а не к не всегда понятным/известным мне новомодным именам и терминам в которых вы пытаетесь утопить дискуссию, хотя принципами Бора я тоже когда-то восхищался конечно, но, честно говоря, подзабыл. Мне все больше кажется что вы хотите построить какую-то свою новую теорию не просто выкинув весь предыдущий накопленный опыт, а выворачивая его на изнанку, это хуже чем ошибка, это ужасная ошибка.

Также как не требуется для их существования понятий о информации/энтропии/сложности. Поздравляю, вы доказали что ничего этого нет.

Физические явления существуют независимо от того, есть у нас такие понятия или нет. Понятия информации и энтропии имеют смысл, потому что соответствуют реальным физическим величинам. Понятие границы между микро- и макромиром не имеет смысла, потому что ничему не соответствует.

Они существуют в сознании, сознание мне нравится называть миром идей, потому что это отсылает нас к Канту и Гегелю

Всё, что мы знаем и ощущаем, находится у нас в сознании. Но отсюда не следует, что окружающего мира не существует или что он является непознаваемой "вещью в себе". Мы можем выдвигать гипотезы и оценивать, насколько хорошо они объясняют известные нам эмпирические факты. Самые лучшие объяснения становятся научными теориями, а то, что они описывают, можно смело называть объективной реальностью.

Мне все больше кажется что вы хотите построить какую-то свою новую теорию не просто выкинув весь предыдущий накопленный опыт, а выворачивая его на изнанку

Я не строю ничего нового, а наоборот, защищаю современную научную картину мира от искажений и философских спекуляций.

Понятия информации и энтропии имеют смысл, потому что соответствуют реальным физическим величинам.

Мат-ожидание и дисперсия имеют смысл даже когда они несоответствуют (не поставлены в соответствие) каким-то реальным физическим величинам в этом их универсальность, вы согласны? А вот когда вы их привязываете к каким-то реальным физическим величинам они эту универсальность теряют.

поэтому:

когда вы привяжете информацию и энтропию к реальным физическим величинам они тоже потеряют универсальность. Проблема в том что они всегда привязаны даже не только к физическим величинам, а к статистике над физическими величинами, и еще привязаны к виду физической системы, они не обладают универсальностью поэтому, их нельзя проэцировать одинаково на любую систему, они уникальны между системами. Энтропия по данным не тоже самое что энтропия молекул газа с точки зрения физики.

Установленные математические истины универсальны, потому что универсальны логические операции, позволяющие их вычислить/доказать. Но они составляют бесконечно малую часть от множества логически непротиворечивых утверждений, которые нельзя ни доказать, ни опровергнуть. Законы физики и фундаментальные константы тоже универсальны, потому что их можно вычислить/фальсифицировать с помощью универсального компьютера. Но они тоже описывают лишь один из бесконечного множества математически и логически возможных миров. Универсально то, что применимо именно к нашему реальному миру, а не ко всем возможным мирам. А реальный мир един, он не делится на макромир и микромир. Не может быть так, чтобы в квантовой физике была одна информация/энтропия, а в классической физике - другая. У них даже формулы изоморфны.

А реальный мир един, он не делится на макромир и микромир.

Ну правильно! Оно делится у тех кто считает нужным разделять. Вы не считаете нужным, это теперь понятно.

А вот я например в класической физике про энтропию не слышал. По моему это как раз отражение тех новых качеств в которые трансформируется количество при переходе в микро мир. В микро-мире плотность сущностей (то есть количество в единице объема) гораздо выше чем в макро мире.

А с отображением информации в физику еще сложнее будет, хоть с одним бы понятием разобраться.

Ну... если чего-то существует сорок два определения, значит какая-то с этим лажа.

А не существует ли определений информации, основанных на связности пространства и направленности времени?

У информации и энтропии определений не намного меньше, но с ними вроде никакой лажи нет. Просто на каждом уровне эмерджентности они могут по-разному себя проявлять, а в основе своей это одни и те же явления. Есть принцип дополнительности, допускающий взаимодополняющие описания явления с разных сторон или на разных языках.

Мне известны только попытки вывести само пространство-время из квантовой запутанности и характеризующей её энтропии фон Неймана. И стрелу времени обычно считают производной от второго закона термодинамики, а не наоборот.

Просто при взгляде, скажем, на битовую строку, информацию в которой мы хотим оценить, первое, что бросается в глаза - это определенный порядок, в котором мы читаем биты - от начала к концу, или от конца к началу, но линейно. Сразу хочется сказать о "субъективности" считывающего устройства, выраженной в наличии у него определенного направления движения. А также, вероятно, возможности отличать один бит от другого.

Направленность времени определять через порядок или порядок через направленность времени - нетривиальная головоломка. Если я правильно понимаю, при рассмотрении, скажем, не реального объекта, а абстрактной алгебраической структуры - группы, к примеру - операции и объекты не будут иметь содержания друг без друга. Операции определяются объектами, над которыми они совершаются, а объекты операциями, которые с ними допустимо совершить. И неявно еще присутствует время, пусть и дискретное, связанное с самой идеей перехода из одного состояния в другое.

Интересно, а если рассмотреть максимально простую схему? Скажем, представить одномерную замкнутую в кольцо вселенную с двумя частицами, подчиняющимися, соответственно, адаптированным под одно измерение правилам квантовой механики. Что можно будет относительно такой вселенной сказать о наличии в ней стрелы времени, о содержании информации и заодно о процессе наблюдения одной частицы другой?

Сразу хочется сказать о "субъективности" считывающего устройства, выраженной в наличии у него определенного направления движения. А также, вероятно, возможности отличать один бит от другого.

Возможность отличать один бит от другого - неотъемлемое свойство универсального вычислителя - машины Тьюринга. А порядок чтения битов - это скорее правило языка, на котором записана информация. Смысл информации часто зависит от того, с какой позиции начинать чтение. В ДНК, например, ген становится нефункциональным, если сдвинуть его на одну букву. Но это лишь подтверждает его трудноварьируемость или эффективную сложность.

Скажем, представить одномерную замкнутую в кольцо вселенную с двумя частицами, подчиняющимися, соответственно, адаптированным под одно измерение правилам квантовой механики

Сомневаюсь, что законы квантовой механики можно адаптировать к одномерной вселенной. Кажется, теория струн как раз описывает свёрнутые одномерные объекты, но это всё очень эфемерно. Я вообще скептически отношусь к попыткам понять физику реального мира путём моделирования абстрактных математических структур.

Спасибо. Хм... но ведь машина Тьюринга, ака универсальный вычислитель - это такая же абстрактная математическая конструкция, нет?

Но она реализована физически в виде универсального компьютера. Репертуар которого определяется законами физики. Что можно вычислить/смоделировать/познать, а что нельзя, какие математические теоремы можно доказать, а какие нельзя, какие логические операции можно реализовать, а какие нельзя - всё это предмет изучения физики, а если точнее - теории конструкторов.

Очень интересный подход к вопросу. Не со стороны формул, а со стороны осмысления проблемы. Очень интересно. Спасибо.

Эх, а как же Чалмерс с его трудной проблемой сознания, в которой сознание фундаментально, а информация, стало быть, нефизична в рамках панпсихизма?

ЗЫ: у вас очень крутые статьи. Не все осиливаю, но чувствую себя котом на лекции!

Чалмерс конечно интересный товарищ, но я скорее соглашусь с Джоном Сёрлом: панпсихизм не просто не фальсифицируем, «он не доходит до уровня ложности. Строго говоря, он бессмысленен».

согласен, я пытался посмотреть лекции по философии сознания, но так и не дождался, когда хоть что-то скажут по существу.

подскажите, а с вами как-то можно связаться? соцсети или что то еще. есть вопрос творческого характера

Пишите в личку или на почту dionisdimetor@gmail.com

Сообщение-рамка – это сама бутылка с бумагой внутри – носитель информации. Внешнее сообщение – это текст, написанный на каком-то языке – собственно информация.

Ниже по тексту видим это:

Когда мы сжигаем книгу, информации в полученном дыме и горстке пепла не становится меньше, но энтропия системы возрастает, а значит, упорядоченная сложность переходит в неупорядоченную – полезная информация смешивается с шумом и становится нечитаемой.

Курсив во второй цитате мой.

Теперь вопрос: если текст в книге - информация (как на бумаге в бутылке), то на чем эта информация сохраняется при сжигании? Ведь ее "не становится меньше", как вы пишете. Плюс вы утверждали, что информация связана с носителем, ссылаясь на принцип Ландауэра.

Как у вас все это согласуется, не могу понять.

Информация - это набор возможных состояний физического носителя. В данном случае - чернил на бумаге. Если перемешать буквы или рассортировать их по алфавиту, количество информации в битах не изменится, но прочитать мы уже ничего не сможем. При сжигании книги те же биты распределяются ещё хаотичнее по частицам пепла и дыма. Законы физики предполагают, что количество информации всегда сохраняется, как и энергия. Но на практике восстановить исходную конфигурацию битов невозможно: для этого потребуется развернуть во времени движение каждого атома.

При сжигании книги те же биты распределяются ещё хаотичнее по частицам пепла и дыма.

Вы ведь понимаете, что при горении происходят определенные химические реакции, так что никаких чернил в их исходном виде не остается. Так что и никакие "те же биты" не могут никуда распределится. Все дело в том, что утверждение, что

Законы физики предполагают, что количество информации всегда сохраняется, как и энергия.

весьма сильное, чтобы принимать его на веру. Когда и кем (кроме вас) был сформулирован этот "закон физики"? Какие опыты его подтверждают?

Есть физическая константа - предел Ландауэра - минимальное количество энергии, которое должно быть преобразовано в тепло при стирании одного бита информации, независимо от носителя. С учётом формулы Е=mc2 эта энергия ещё и эквивалентна массе, т.е. в каком-то смысле информация обладает массой. А энергия и масса всегда сохраняются. Если где-то стирается информация, это всегда сопровождается выделением тепла и увеличением энтропии. Упорядоченная сложность текста на бумаге переходит в неупорядоченную сложность движения атомов и молекул, образовавшихся при сжигании книги.

Вы просто цитируете сами себя, это уже было в предыдущей вашей статье. Но давайте внимательно прочтем ваши слова: "предел Ландауэра - минимальное количество энергии, которое должно быть преобразовано в тепло при стирании одного бита информации, независимо от носителя." Обратим внимание на слова "при стирании". Если вы употребляете их в обычном смысле, то это означает, что информацию можно уничтожить. Следовательно, утверждение о том, что информация сохраняется, ложно. Далее, во фразе

С учётом формулы Е=mc2 эта энергия ещё и эквивалентна массе, т.е. в каком-то смысле информация обладает массой.

вывод "в каком-то смысле информация обладает массой" произволен. Это ни на чем не основанное мнение. Вы пытаетесь приписать информации свойства ее носителя. Но, как мы знаем, бумаге все равно, что на ней написали, она все стерпит.

Предлагаю вам посмотреть на пару "информация - ее носитель" вот с какой стороны. Один и тот же текст можно разместить на разных носителях для восприятия его с помощью зрения: на бумаге, на камне, на мониторе. Что между ними общего? Общее то, что они НЕ являются носителями. Они только модулируют электромагнитные волны видимого диапазона определенным образом. Носителем тут является именно свет, так как это он приносит биты нам в глаза, которые передают их в мозг, преобразовав определенным образом. Без света никакие биты к нам бы не попали. Физика, насколько я знаю, утверждает, что энергия фотона зависит только от его частоты. Таким образом, фотоны, несущие нам биты от чистого листа, равны по массе фотонам, несущим биты от листа с буквами. Где скрыта масса той информации, что они несут?

Обратим внимание на слова "при стирании". Если вы употребляете их в
обычном смысле, то это означает, что информацию можно уничтожить.

Это действительно пикантный момент на стыке чистой физики и теории информации. Предположим, у нас есть 4 монеты, лежащие орел-решка-решка-орел. Чтобы стереть информацию, мы переворачиваем 2 крайних орла. Но с точки зрения системы "монеты + переворачивальщик+поставщик энергии для переворачивальщика", у "переворачивальщика" и/или поставщика энергии осталась информация о том, что энергию нужно было подать порциями "1-0-0-1".

Более того, колебания воздуха от переворачивания двух крайних монет имели определенную пространственно-временную структуру.

Более того, разное распределение энергии в пространстве и во времени эквивалентно разному распределению массы (е равно м-це квадрат). Поэтому я бы прямое и спорное утверждение "информация обладает массой" заменил на "информация влияет на распределение масс", т.е. обладает "дельтой массы".

Обратим внимание на слова "при стирании". Если вы употребляете их в обычном смысле, то это означает, что информацию можно уничтожить.

Информацию нельзя уничтожить. Стереть - значит сделать её нечитаемой, т.е. перевести из упорядоченной формы в неупорядоченную. А воссоздать исходную конфигурацию битов практически нереально, потому что для этого нужно получить информацию о траектории каждой частицы. То же самое с энергией - перевод в тепловую форму делает её недоступной, т.е. на её извлечение придётся потратить больше энергии, чем мы получим.

вывод "в каком-то смысле информация обладает массой" произволен

Не произволен, а определяется эйнштейновской формулой m = E/c2, где E - тот самый минимум энергии по Ландауэру. Масса носителя информации тут ни при чём.

Носителем тут является именно свет, так как это он приносит биты нам в глаза, которые передают их в мозг, преобразовав определенным образом

Снова какой-то солипсизм получается: информации нет, если её никто не видит?

фотоны, несущие нам биты от чистого листа, равны по массе фотонам, несущим биты от листа с буквами

Ну как же, не равны. От белого листа отражаются фотоны разной частоты и длины волны, а от чёрных букв - лишь узкий диапазон, если вообще отражаются. Напишите текст абсолютно чёрными чернилами, и буквы будут передаваться не фотонами, а их отсутствием.

Материальные носители информации - бумага, камень, монитор. Электромагнитные или звуковые волны - нематериальные, но физические носители, передающие сообщение с одного материального носителя на другой. Масса информации в любом случае эквивалентна минимальной энергии, которую придётся затратить на стирание бита или нарушение передачи сигнала.

Электромагнитные или звуковые волны - нематериальные, но физические носители

Спасибо, теперь вопросов нет.

Информацию нельзя уничтожить

"Ну да, я дропнул базу и все бэкапы. Но у меня для вас хорошая новость: информацию нельзя уничтожить"

Как всегда, отличная статья, обобщающая информацию, которая разбросана по настолько широкому спектру источников, что далекому от темы человеку изучить их нереально.

Но есть несколько моментов, где, на мой взгляд, содержатся неоднозначные утверждения:

Например, различия между живым и мёртвым организмами очевидно, хотя с
точки зрения квантовой механики и теории информации количество
информации в них одинаково.

Нет, живой организм представляет собой систему, где химические процессы идут в рамках схем, которые однозначны и не допускают отклонений. Для этого организм должен получать энергию извне. А в мертвом организме происходит разложение, т.е. химические процессы идут многочисленными, случайными способами...

Ещё о последовательности нулей:

У строки из нулей шенноновская энтропия ниже, чем у случайной
последовательности чисел, но с точки зрения здравого смысла содержания
нет ни там, ни там.

У строки нулей содержание как раз может быть: например, если это данные, полученные из датчика за определенный период времени - т.е. событие, которое фиксирует датчик не наступило, либо поврежден датчик или линия связи, если такие события должны наступать с вероятностью 1.0.

ни один из 42-х известных науке видов сложности не зависит от субъекта,
оценивающего систему, а зависит только от эмерджентных свойств системы;

Одна, зависящая от субъекта, всё же есть))) Это стоимость, если изучить этот список . Стоимость всегда субъективна, поскольку зависит от оценки ресурсов, полезности, ожидаемых цен, конкретным субъектом. Тот факт, что в бухучете была зафиксирована "объективная" величина, зависит от субъективных факторов, включающих как минимум поведение бухгалтера в случаях, когда у него есть выбор тех или иных принципов учетной политики в рамках нормативных актов.

Стоимость — это затраты среднего необходоимого общественного труда для производства данного товара. И она всегда объективна.

Даже строка из одного нуля представляет кучу инфомации. Если эта строка поступила с датчика, то она сигнализирует приемнику о том, что а) датчик есть в природе, б) он способен выдавать какие-то данные, г) время когда поступила эта строка на приемник тоже может нести информацию. Все это называется "побочный канал информации" ("side channel")

Нет, живой организм представляет собой систему, где химические процессы идут в рамках схем, которые однозначны и не допускают отклонений. Для этого организм должен получать энергию извне. А в мертвом организме происходит разложение, т.е. химические процессы идут многочисленными, случайными способами...

Случайность или не случайность химических процессов - эмерджентные характеристики системы. В масштабе элементарных частиц они никак не прослеживаются, поэтому редукционисты не увидят разницы между живым и мёртвым.

У строки нулей содержание как раз может быть: например, если это данные, полученные из датчика за определенный период времени - т.е. событие, которое фиксирует датчик не наступило, либо поврежден датчик или линия связи, если такие события должны наступать с вероятностью 1.0

Тогда для получателя случайной строки, который заранее знает значение каждого бита, энтропия будет равна нулю. Но мы же рассматриваем энтропию источника, а не получателя.

Стоимость всегда субъективна, поскольку зависит от оценки ресурсов, полезности, ожидаемых цен, конкретным субъектом

Ну так любую величину можно назвать субъективной, потому что её значение зависит от того, насколько точно её измерил субъект. А вообще, насколько я понимаю, речь идёт о стоимости самого эффективного способа моделирования системы - её термодинамической глубины. Она зависит не от поведения бухгалтера, а от рыночных цен.

В масштабе элементарных частиц они никак не прослеживаются, поэтому редукционисты не увидят разницы между живым и мёртвым.

А в масштабе молекул прослеживается- так, ДНК состоит из 4 видов соединений, а не из сотен и тысяч... А при разложении - их на месте ДНК становится все больше, поскольку процессы уже идут не строго определённым образом...

Тогда для получателя случайной строки, который заранее знает значение каждого бита, энтропия будет равна нулю. Но мы же рассматриваем энтропию источника, а не получателя.

Пусть датчик - датчик движения в подъезде жилого дома. Мы знаем, что он должен срабатывать, но не знаем когда, поэтому нулевой энтропии здесь нет.

Так поэтому я пишу, что энтропию правильно рассчитывать либо для изолированного источника, либо для источника и получателя как единой системы.

для достаточно мощного компьютера это не проблема) можно полностью воссоздать химический контекст, необходимый для расшифровки внутреннего сообщения ДНК – живую клетку.

Чтобы расшифровать ДНК методом перебора необходим способ проверки перебираемых вариантов, т.е. интерпретатор (или его часть). Если некая удаленная цивилизация никогда не встречала органики на углеродной основе и не имеет представление как может выглядеть живая клетка, то земная НДК для неё будет представлять бессмысленную нерасшифровываемую последовательность химических соединений, независимо о того, какими вычислительными мощностями эта цивилизация обладает. Более того, если кому-то кажется что это не так, то предтавьте что эта ДНК зашифрована очень длинным ключом и этот ключ имеется только на Земле. Все это касается и музыки - нет слушателя, нет музыки.

Короче. Нет никакой универсального способа кодирования информации. Инофрмация без интерпретатора не существует! Информация есть отражение состояния интерпретатора, механического или биологического, не суть.

В этом свете интересен вопрос - что является интерпретатором и в какой момент камень на дне реки превращается в интерпретатор. Каким является самый минимальный интерпретатор ? Являются ли автоматы Мура или Мили элементраными интерпретаторами или может есть что-то еще более простое ?

Можно и так поставить вопрос: если мы в космосе захватим астероид, содержащий очень сложную молекулу на основе кремния, что мы сможем сказать о её происхождении и среде, в которой она была создана?

Есть ли у нас способ ответа хотя бы на вопрос: эта молекула создана в процессе эволюции или искусственно?

Есть ли теоретически способ ответить на этот вопрос?

Вопрос, создана ли молекула в процессе эволюции или искусственно, на мой взгляд не имеет смысла. Искусственное создание молекул разумными существами или компьютерами - это естественное продолжение биологической эволюции, её более продвинутый этап. Не знаю, хватит ли у нас вычислительных мощностей для воспроизводства химической среды, но можно как минимум изучить химический состав молекулы и попытаться смоделировать жизнь на основе кремния.

Эти рассуждения слишком теоретичны. Представьте, внутри астероида обнаружили каплю спирта. Или бензина. Первый же вопрос будет - она образовалась естественно, ч неведомых процессах на неведомой планете или искусственно, неведомый нам разум постарался?

Да мало ли находят в космосе органических молекул. Они и в газопылевых облаках самопроизвольно собираются. Это тоже эволюция, но на самых первых этапах, если не принимать в расчёт, что любые атомы кроме водорода и гелия - результат звёздной эволюции. А ДНК и белки устроены уже куда как сложнее, это более продвинутый этап эволюции. Культурные артефакты могут быть ещё сложнее, но пока в основном на макроскопических масштабах.

Не сочтите это проявлением углеродного шовинизма, но пока у нас нет никаких оснований считать, что жизнь и тем более разумная жизнь возможна на какой-то другой химической основе. А если возможна, внеземному разуму не составит труда изучить ДНК и понять, что для её расшифровки нужна именно углеродная органическая среда. И звуковую дорожку можно расшифровать разными способами, не обязательно переводить её в звуковые волны.

Универсальный код возможен, если он привязан к чему-то физическому и отображает физические законы. Есть универсальный набор логических операций, есть универсальные физические константы и привязанная к ним система счисления, есть выраженные формулами отношения этих констант, есть математика, в конце концов. Человек разумный смог всё это вычислить, значит, любой разум сможет.

Интерпретатор появляется там, где носители информации становятся изоморфны. Думаю, начало этому положили химические катализаторы, кодировавшие структуру молекул, реакции с участием которых они ускоряли. От них произошли первые репликаторы, побуждавшие химическую среду их копировать. А уже потом произошло разделение носителей информации (ДНК и белки) и интерпретатора (РНК).

Начну, пожалуй, с благодарности - очень полезная для меня статья (вместе с предыдущей). Спасибо, существенно понизил энтропию своего мировоззрения :).

Есть замечание по последнему пункту выводов. Возможно это не более чем мое личное, но создается ощущение что из него логическим образом вытекает существование неких устойчивых, инвариантных к среде смысловых конструкций. Однако с самим утверждением я согласный, но с этим возникшим ощущением - нет. Трудноизменяемость таких конструкций имхо проистекает из из высокой шенноновской плотности, что требует от "музыкального автомата" очень высокой эффективной сложности. Думается для днк таким автоматом является вся среда обитания организма/носителя днк. А для сжатых данных компьютерных систем, высока эффективная сложность железа. Вероятно есть некоторое алгоритмическое соотношение между плотностью "упаковки" информации по близости к шенновской энтропии, и эффективной сложностью автомата ее реализующего. Так-то полагаю что для любого набора данных может существовать автомат, который интерпретирует их в любое осуществимое действие. Причем неважно соотношение сложностей исходной информации, и произведенного из нее действия. Вся необходимая информация будет дополнена из автомата, что, собственно, и происходит в том числе и когда мы читаем текст, и, в частности, вашу статью :)

Начиная с подзаголовка "Меры сложности" у вас очень достойный обзор наработок по теме количественной оценки сложности. Понравился. Спасибо. Но первая половина статьи, в которой вы пытаетесь разнести в пух и прах не скажу чьи ошибочно причисленные вами к идеалистическим представления о природе информации - я честно скажу, не понял, зачем она здесь. Очень странная подводка к теме, да ещё и полная внутренних противоречий.

В частности, вы пишете, что "субъективный подход к энтропии не учитывает того, что происходит у вас в голове". Позвольте, суть субъективного подхода как раз в том и заключается, чтобы учесть то, что происходит в голове. Потому он и субъективен. Если бы вы действительно, как вы декларируете, исповедовали объективный подход к информационной энтропии, вы бы не стали сразу же, в том же абзаце описывать образование нейронных связей в мозгу субъекта, воспринимающего информацию. Зачем рассказывать про субъекта, если задача как раз в том, чтобы обойтись без него?

Дальше, когда вы пишете про универсальность информации, ключевым утверждением становится "по крайней мере некоторые сообщения содержат универсальный смысл, для раскрытия которого необходим только универсальный интерпретатор – разум". Только я раскатал губу узнать про сообщения, для интерпретации которой вообще ничего не нужно, и нате вам. Ничего не нужно кроме сущей безделицы – разума.

Ваша претензия к тому, что конструкция "информация = сигнал + контекст", где контекст это тоже информация, является бесконечно рекурсивной, мне понятна. Но это не баг, а очень ценная фича. В частности, через эту бесконечную рекурсивность доказывается очень важная теорема о внешнем целеполагании. В любом случае никакой мистицизм - ни религиозный, ни бытовой - из этой рекурсивности не следует.

Спасибо!

суть субъективного подхода как раз в том и заключается, чтобы учесть то, что происходит в голове

Как раз субъективные подходы игнорируют то, что происходит в голове, и ставят в центр Вселенной сознание субъекта, отделяя его от физического мира. По крайней мере, в некоторых интерпретациях квантовой механики утверждается, что физика описывает не реальность, а знание наблюдателя о реальности.

Ничего не нужно кроме сущей безделицы – разума

Разум как универсальный интерпретатор необходим для раскрытия именно смысловой составляющей - внутреннего сообщения. Информацию, для расшифровки которой вообще ничего не нужно, несут в себе репликаторы, способные воспроизводиться в любой среде. Теоретически можно создать универсальный конструктор - машину, которая осуществляет любые физически возможные преобразования, не изменяясь сама.

субъективные подходы игнорируют то, что происходит в голове, и ставят в центр Вселенной сознание субъекта, отделяя его от физического мира

Настолько отбитых эзотериков не часто встретишь здесь на Хабре. Кроме того, совсем отделяя информацию от физического мира, трудно заниматься информационными технологиями.

Кстати, в том субъективном подходе к информации, который применяю я, субъектом вовсе не обязательно должно быть что-то возвышенное и поэтичное типа человеческого сознания. Получателем сообщения, в имеющемся контексте которого сигнал становится информацией, может быть что-то более приземлённое. Например, транспортный уровень протокола TCP/IP. В составе TCP-пакета есть заголовок и данные (payload). Пэйлоад потом после сборки отправится в прикладной уровень, а заголовок информирует алгоритмы транспортного уровня, что с этим пэйлоадом делать. И всё это безо всякой мистики, тонких сущностей и квантовых интерпретаций. Полное представнение о том, что там происходит, можно получить из имеющихся в открытом доступе исходников, например, Линукса.

Теоретически можно создать универсальный конструктор - машину, которая осуществляет любые физически возможные преобразования, не изменяясь сама.

На мой взгляд, это какая-то эзотерика про боженьку. Или я не понял, о чём вы говорите?

Я заметил, что радикальный физикализм хоть и является наиболее хардкорной ветвью материализма, в своей основе всегда логически опирается на какую-нибудь внутренне противоречивую сказку либо о всеведающем существе типа демона Лапласа либо о магическом артефакте типа компьютера бесконечной мощности. Без этого концепция тотальной выводимости всего сущего из физических законов рассыпается как карточный домик.

Если хотите, могу провести небольшой ликбез по формальной логике, раскрывающий опасность построения теорий на основе заведомо несуществующих контрфактов. Если предпочитаете стиль булевой алгебры, это будет лекция о коварстве функции "импликация", а если удобнее аристотелева классика, то об отрицании антецедента.

На мой взгляд, это какая-то эзотерика про боженьку.

Универсальный конструктор - машина, концептуализированная Джоном фон Нейманом в 1949 г. и впоследствии реализованная им в виде клеточного автомата. Подробнее я писал о нём здесь.

Я заметил, что радикальный физикализм хоть и является наиболее хардкорной ветвью материализма, в своей основе всегда логически опирается на какую-нибудь внутренне противоречивую сказку

Конечно, есть фанатичные материалисты, которые до сих пор верят в детерминизм и полностью отрицают свободу воли. Я себя к таковым не отношу, хотя я физикалист в том смысле, что действительно вывожу всё из физических законов. Правда, не из законов движения элементарных частиц, а из более общих принципов обработки информации.

Если хотите, могу провести небольшой ликбез по формальной логике, раскрывающий опасность построения теорий на основе заведомо несуществующих контрфактов. 

Меня больше интересует модальная логика. Есть даже мысль написать статью о том, как соотносится модальный реализм Дэвида Льюиса с многомировой интерпретацией КМ.

Было бы занятно почитать и про модальный реализм, и про многомировую интерприетацию в вашем изложении.

Ведь об информации можно говорить только при наличии источника и приёмника информации, а значит, её объективно не существует без субъекта, который будет её воспринимать и интерпретировать.

Некоторые пошли ещё дальше и решили, что многих материальных объектов не существует, пока они их лично не увидят (забыл это философское направление). Только это давно было элегатно опровергнуто

а я вот такую пелевинщину придумал:

информация это такой набор состояний материальных носителей, который позволяет системам, взаимодействующим с этими носителями изменять перераспределение энергии таким образом, что общая энтропия растёт медленнее, чем если бы системы не тратили энергию на осуществление этого перераспределения

будет работать?

ну тоесть кагбэ информация это вобще не про объект-субъект, это про энергию - энергия может просто распределяться равномерно, двигая вселенную к тепловой смерти, а может создавать флуктуации, замедляя оптимальное движение последующих потоков энергии к полной энтропии... тоесть получается что жизнь это попытка энергии пожертвовать собой ради экономии себя в будущем... параноя но прикольно

что-то я сам себе отвечаю, всё положил в один комментарий а то выглядит как будто мне поговорить не с кем

Скорее наоборот: сложные адаптивные системы перераспределяют энергию таким образом, чтобы уменьшить собственную энтропию за счёт повышения энтропии окружающей среды. При этом общая энтропия растёт быстрее, чем при равномерном рассеянии. Галактики, звёзды, атмосферные вихри, ячейки Бенара, репликаторы, живые организмы - все эти системы возможны потому, что они не замедляют, а ускоряют рост энтропии Вселенной. См. гипотезу диссипативной адаптации.

да точно! согласен спасибо

Я ни разу не математик и не физик-теоретик, но статья меня очень заинтересовала. Местами не все понятно. Хотелось бы услышать обоснование сложности двух систем на картинке или фото (уберем 3-мерность и излишние подробности) - спиральной галактики и клетки. При всей огромности галактики интуитивно понятно, что клетка устроена сложнее. В галактике много симметрий. В клетке много неповторяющихся структур - но структур, а не так как в белом шуме. Как правильно сравнить их сложности?

Хороший вопрос. Я думал над этим и пришёл к выводу, что вычислительная и эффективная сложность неаддитивна, т.е. целое может быть устроено проще, чем его отдельные части. Для моделирования спиральной галактики достаточно задать несколько физических констант - это не сложнее, чем создать множество Мандельброта. Возможно, для появления жизни тоже достаточно подготовить правильные начальные условия Большого взрыва, но я сомневаюсь, что этот процесс детерминирован. Клетка является результатом длительной химической эволюции, которая в свою очередь является результатом звёздной эволюции. Эволюцию можно рассматривать как вычисление, соответственно чем больше пройдено итераций, тем выше сложность. При этом клетка является частью нашей галактики, но содержит в себе больше полезной информации. Однако информация эта проявляется только в контексте среды, так что на картинке нужно изобразить не только клетку, но всё её окружение.

Представим несколько масштабов мира, при этом базовые элементы каждого масштаба будем считать математической точкой без свойств. Последовательность такова: вселенная состоит из галактик (базовый элемент - галактика), галактики из звездных систем (базовый элемент - звездная система), звездные системы из звезд и планет, на планете биосфера из различных организмов, организмы из клеток, клетки - из органелл, органеллы из молекул, молекулы из атомов, атомы из частиц, частицы из кварков. Далее не знаю. При каком из этих масштабов система наиболее сложная? Со звездами и галактиками все понятно - точки, движение которых описывается элементарными законами. На уровне биосферы всплеск сложности. Масса точек, которые ведут себя безумно сложно, более того, они могут быть разумны и могут производить новые точки и их отношения. На уровне клетки все еще сложно. Молекулы и атомы ведут себя довольно просто. Частицы посложнее. Кварки, наверное, еще сложнее. То есть имеем наличие нескольких пиков - на уровне биосферы и на уровне микромира.

Я бы не связывал сложность с масштабом. Как раз в биологических организмах всё самое интересное происходит на молекулярном уровне. Самым трудноварьируемым и эффективно сложным объектом является ДНК, а все клеточные процессы, физиология и дарвиновская эволюция - лишь побочные продукты репликации генов. Сложность человеческого мозга или нейросетей обусловлена тем, что они выступают носителями других репликаторов - мемов как единиц культурной информации. Всё это эмерджентные свойства, их нельзя обнаружить на меньших масштабах и свести к законам движения частиц, как хотят редукционисты.

Я не связываю сложность с масштабом, а только пытался отследить как меняется сложность с масштабом: от малой сложности устройства звездных скоплений (если галактики во вселенной обозначить точками и посмотреть на получившееся со стороны, мы увидим довольно простое множество точек) до максимальной сложности на уровне биосферы. А при дальнейшем уменьшении масштаба сложность опять уменьшается, достигая минимума на уровне атомов. Не факт, что сложность на уровне кварков так же мала. Интересный график. И не очевидный. Почему бы вселенной, состоящей из простых точек галактик, не быть самой сложной структурой, типа ДНК? То есть совершенно нелинейная зависимость сложности от масштаба, с максмиумом на среднем уровне масштаба.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории