Туча вверху, как отдельный мозг

[egovoru]

Второй закон термодинамики, сформулированный Больцманом в вероятностных терминах, кажется интуитивно-понятным: действительно, если одно макросостояние порождается малым числом микросостояний, а другое - их большим числом, то со временем наша система неизбежно перейдет от первого макросостояния ко второму, не так ли? Так-то оно так, но ведь та же

Comments

[ablertus]

У меня возник еще один вопрос: можно ли термодинамическую энтропию считать частным случаем информационной (шенновской энтропии). Ответ дал Гугл, и тут же снабдил ссылкой:

Yes, thermodynamic entropy is a special case of Shannon entropy. Shannon entropy is a measure of uncertainty in information theory, while thermodynamic entropy is a measure of uncertainty in a system's energy distribution.
...
Thermodynamic entropy is a special case of Shannon entropy when applied to a physical system in equilibrium with a heat bath. In this case, the system's average energy is fixed.

https://www3.nd.edu/~lent/pdf/nd/Information_and_Entropy_in_Physical_Systems.pdf

И вот здесь мне непонятно: есть ли аналог корреляции между сталкивающимися частицами в шенноновском определении.

Но даже если оставаться в рамках термодинамики и мысленно представить частицы, которые вообще никак не взаимодействуют друг с другом, а просто хаотично и независимо друг от друга движутся в пространстве - неужели в такой системе энтропия не будет необратимо возрастать?

[evgeniirudnyi]

Есть физики, которые связывают информационную энтропию по Шеннону с термодинамической энтропией. В этом случае я обычно привожу в пример таблицы с термодинамическими свойствами веществ. Там есть колонка с энтропией. Пока я еще не видел объяснения, каким образом эти величины, которые используются в химии для расчета равновесного состояния, связаны с информацией по Шеннону.

Но такие физики есть. На этот счет есть неплохая диссертация, в которой представлена история появления информационной физики:

Anta Pulido, Javier. "Historical and Conceptual Foundations of Information Physics." (2021).

https://diposit.ub.edu/dspace/bitstream/2445/182254/1/JAP_PhD_THESIS.pdf

[ablertus]

Для точного описания состояния одного моля газообразного водорода (включая локализацию и скорость каждой конкретной молекулы) нужно намного больше информации, чем для столь же точного описания одного моля идеального кристалла. Вот Вам и связь с информацией )

[evgeniirudnyi]

С точки зрения классической механики количество информации абсолютно одинаково - это координаты и импульсы всех атомов. В этом смысле гамильтониан выглядит абсолютно одинаково. Не надо забывать, что даже в идеальном кристалле атомы не стоят на месте.

В книге того же Кэрролла по этому поводу есть закон сохранения информации на уровне законов физики - при сублимации кристалла (кристалл - газ) информация сохраняется.

[ablertus]

Да, это верно, хотя на первый взгляд контринтуитивно. По крайней мере, на мой личный первый взгляд далекого от физики программиста. Возможно, дело в том, что под "точным описанием" я имею ввиду только то, что может уместиться в компьютере с конечной памятью, где точность ограничена количеством позиций после запятой. Ну а если определить точность, скажем, до кубического ангстрема - будет ли и в этом случае количество информации одинаково?

[evgeniirudnyi]

Все зависит от того, что вы назовете информацией. Это крайне многозначное слово.

Информационная энтропия идет из теории Шеннонна. Ее связь с термодинамической выводится из аналогичного уравнения для энтропии в статистической термодинамике. Два уравнения для энтропии формально выглядят одинаковыми, отсюда делается вывод, что это одно и то же.

В этом случае ваш пример не годится, поскольку вы не сможете приспособить эту логику к статистической термодинамике.

[ablertus]

Под информацией я имею ввиду: длину сообщения, содержащего полное описание местоположения всех молекул/атомов в пространстве с конечной точностью.

И если эта конечная точность больше, чем расстояние между атомами в кристаллической решетке, то длина сообщения в случае с кристаллом будет меньше. Или не так?

[evgeniirudnyi]

Давайте начнем с термодинамической энтропии, ведь это исходная точка отсчета. Можно ли хоть каким-то образом привязать сказанное вами к термодинамической энтропии?

[ablertus]

ТЭ - количество микросостояний, порождающих макросостояние. Я пытаюсь предложить способ записи этого количества в сообщении с конечной длиной. Вы знаете лучшие способы?

[evgeniirudnyi]

Однако непонятно, каким образом на предложенном вами пути вы хотите сгенерить все микросостояния и их посчитать.

Более того, не надо забывать, что энтропия кристалла и энтропия газа зависят от температуры. У вас, насколько я вижу, эта зависимости и в помине нет.

[ablertus]

Мы ведь сравниваем два разных вещества (это была Ваша идея), а не состояния одного вещества при разных темпеаратурах. Упомянутые Вами таблицы обычно содержат величины при стандартной температуре и давлении. Кстати, я ими когда-то пользовался при моделировании - но не энтропией, а гиббсовской энергией формации.

Что касается микросостояний - я не вижу необходимости сгенерить их все. По моему, длина сообщения для одного микросостояния сама по себе зависит от количества всех возможных. Давайте на примере: если у Вас семь игральных костей, на каждой из которых со всех сторон шестерки, то количество возможных комбинаций равно одному, а энтропия системы нулевая, как и длина сообщения. Если же кости обычные, то возрастает и количество комбинаций, и длина сообщения.

[evgeniirudnyi]

Извините, но вы говорите уже про что-то свое, про что-то, что даже физики не обсуждают. В исходном ответе вы привели ссылку на pdf физика, который говорит о том, что термодинамическая энтропия совпадает с шенновской энтропией. Ваше предложение никак не связано с этой ссылкой, вы пытаетесь предложить что-то свое, что отличается даже от содержание статьи, с который вы начали. Но зачем тогда вы привели ссылку на эту статью?

[ablertus]

Я нигде и не говорил, что мое предложение как-то связано с этой статьей. Это был мой собственный ответ на Ваше упоминание о таблицах. Просто идея, как связать ТЭ и ИЭ. Ну, не обсуждают и ладно.

[evgeniirudnyi]

Я про это и говорю. Это новая и непроработанная идея, причем она пока у вас никак не связана с информационной энтропией.

[ablertus]

Разумеется, новая. Она пришла мне в голову лишь позавчера - времени на проработку не было, уж извините) Да и не специалист я. А разве длина сообщения не связана с ИЭ? Опять, же ссылка на гугл:

Shannon entropy is a measure of the amount of information in a message, and it limits the length of the shortest possible encoding for that message.

[evgeniirudnyi]

Энтропию Шеннона используют для оптимизации передачи текста по кабелю при наличии шумов. Но ее величина связана с использованным алфавитом при создании текста. В Вики в заметке Информационная энтропия стоит формула. Там суммирование не по длине текста, а по количеству символов в алфавите. Поэтому информационная энтропия это:

количество информации, которое в среднем приходится на одно событие (для предложений на русском языке - количество информации в среднем на одну букву).