¿Refutación basada en la entropía de la paradoja Bayesiana de la flecha del tiempo hacia atrás de Shalizi?

En este artículo , la talentosa investigadora Cosma Shalizi argumenta que para aceptar completamente una visión bayesiana subjetiva, uno también debe aceptar un resultado no físico de que la flecha del tiempo (dada por el flujo de entropía) debería ir hacia atrás . Esto es principalmente un intento de argumentar en contra de la entropía máxima / visión bayesiana totalmente subjetiva presentada y popularizada por ET Jaynes .

En LessWrong , muchos contribuyentes están muy interesados en la teoría de la probabilidad bayesiana y también en el enfoque bayesiano subjetivo como base para las teorías de decisión formales y un trampolín hacia una IA fuerte. Eliezer Yudkowsky es un colaborador común allí y recientemente estuve leyendo esta publicación cuando encontré este comentario (varios otros buenos comentarios aparecen poco después en la página de la publicación original).

¿Alguien puede comentar sobre la validez de la refutación de Shalizi por parte de Yudkowsky? Brevemente, el argumento de Yudkowsky es que el mecanismo físico por el cual un agente de razonamiento actualiza sus creencias requiere trabajo y, por lo tanto, tiene un costo termodinámico que Shalizi está arrastrando bajo la alfombra. En otro comentario, Yudkowsky defiende esto, diciendo:

"Si toma la perspectiva de un observador perfecto lógicamente omnisciente fuera del sistema, la noción de" entropía "carece de sentido, al igual que la" probabilidad ": nunca tiene que usar termodinámica estadística para modelar nada, simplemente use la precisión determinista precisa ecuación de onda ".

¿Puede algún probabilista o mecánico estadístico comentar sobre esto? No me importan mucho los argumentos de la autoridad con respecto al estado de Shalizi o de Yudkowsky, pero realmente me gustaría ver un resumen de las formas en que los tres puntos de Yudkowsky ofrecen críticas al artículo de Shalizi.

Para cumplir con las pautas de preguntas frecuentes y hacer de esta una pregunta concretamente responsable tenga en cuenta que estoy pidiendo una respuesta específica y detallada que tome el argumento de tres pasos de Yudkowsky e indique en qué parte del artículo de Shalizi esos tres pasos refutan supuestos y / o derivaciones, o, por otro lado, indica en qué parte del trabajo de Shalizi se abordan los argumentos de Yudkowsky.

A menudo escuché el artículo de Shalizi promocionado como una prueba de hierro de que el bayesianismo subjetivo en toda regla no se puede defender ... pero después de leer el artículo de Shalizi varias veces, me parece un argumento de juguete que nunca podría aplicarse. a un observador que interactúa con lo que se observa (es decir, toda la física real). Pero Shalizi es un gran investigador, por lo que agradecería las segundas opiniones porque es muy probable que no entienda partes importantes de este debate.

bayesian entropy maximum-entropy philosophical ely
fuente

A Shalizi le gusta ser provocativo ... su argumento me parece esencialmente igual al argumento creacionista de que la evolución viola la segunda ley de la termodinámica porque los organismos "posteriores" son más complejos, de manera organizada, que los organismos "anteriores", pero la segunda ley dice que la entropía no es decreciente. Sin embargo, 1) no hay nada en la segunda ley que evite las disminuciones locales en la entropía, y 2) el argumento implica que nadie puede aprender nada sobre nada, nunca (¿por qué el aprendizaje a través de la actualización bayesiana debería ser diferente a cualquier otro proceso de aprendizaje?)

jbowman

No me preocuparía un debate entre Shalizi y Yudkowsky; Tampoco es una autoridad. (Shalizi escribe bien, sin embargo.) De todos modos, ¿no crees que physics.se es un mejor lugar para esta pregunta?

Emre

¿Has leído muchas de las publicaciones de secuencia de Yudkowsky? Creo que él también escribe bastante bien. Ambas figuras tienen posturas controvertidas, pero Shalizi parece realmente tenerlo fuera del bayesianismo subjetivo. La razón por la que pregunté aquí es porque se vincula profundamente con el documento de estadísticas más puramente teórico que Shalizi escribió con Andrew Gelman, que también está plagado de problemas filosóficos (aunque Gelman es un profesional total en lo que respecta a la práctica). ( enlace )

ely

He estado tratando de atribuir esto a las ecuaciones, pero parece que todavía no puedo hacerlo. Creo que el mayor problema de Shazili es su segundo supuesto en la Sección 1, a saber, que puedes actualizar el punto de fase

(aleatorio) usando la Regla de Bayes. Como señala Yudkowsky, esto descuida el hecho de que cuando mides de nuevo y actualizas tu distribución inicial, debes sumar TU contribución al sistema ...

X

$X$

Néstor

... y esto viene en muchas formas: tratando de controlar su sistema (que es único cada vez, lo que hace que el problema sea esencialmente estocástico, en cuyo caso la noción de entropía no tendría sentido ... tal vez deberíamos hablar de tasa de entropía?). He estado tratando de convencerme de que esta contribución puede modelarse como una transformación lineal del vector de punto de fase

: esto explicaría que la desigualdad que utiliza Shazili no es válida, porque la entropía resultante tendría un término adicional (el logaritmo del determinante de la transformación lineal).

X

$X$

Néstor

Respuestas:

En resumen: 1: 0 para Yudkowsky.

Cosma Shalizi considera una distribución de probabilidad sujeta a algunas mediciones. Actualiza las probabilidades en consecuencia (aquí no es importante si es la inferencia bayensiana o cualquier otra cosa).

No es sorprendente en absoluto, la entropía de la distribución de probabilidad disminuye.

Sin embargo, llega a una conclusión errónea de que dice algo sobre la flecha del tiempo:

Estos supuestos invierten la flecha del tiempo, es decir, hacen que la entropía no aumente.

Como se señaló en los comentarios, lo que importa para la termodinámica es la entropía de un sistema cerrado . Es decir, según la segunda ley de la termodinámica , la entropía de un sistema cerrado no puede disminuir. No dice nada sobre la entropía de un subsistema (o un sistema abierto); de lo contrario no podrías usar tu refrigerador.

Y una vez que medimos algo (es decir, interactuar y recopilar información) ya no es un sistema cerrado. O no podemos usar la segunda ley, o - necesitamos considerar un sistema cerrado hecho del sistema medido y del observador (es decir, nosotros mismos).

En particular, cuando medimos el estado exacto de una partícula (antes de saber su distribución), de hecho, reducimos su entropía. Sin embargo, para almacenar la información necesitamos aumentar nuestra entropía al menos en la misma cantidad (por lo general, hay una gran sobrecarga).

Entonces Eliezer Yudkowsky hace un buen punto:

1) Las mediciones usan trabajo (o al menos el borrado en preparación para la próxima medición usa trabajo).

En realidad, la observación sobre el trabajo no es lo más importante aquí. Si bien la termodinámica se trata de relacionar (o intercambiar) la entropía con la energía, puede moverse (es decir, no necesitamos recurrir al principio de Landauer , del cual Shalizi es escéptico ). Para recopilar información nueva, debe borrar la información anterior.

Para ser coherente con la mecánica clásica (y cuántica también), no puede hacer que una función asigne arbitrariamente nada a todos los ceros (sin efectos secundarios). Puede hacer que una función asigne su memoria a cero , pero al mismo tiempo descargue la información en algún lugar, lo que aumenta efectivamente la entropía del entorno.

(Lo anterior se origina en la dinámica hamiltoniana, es decir, la preservación del espacio de fases en el caso clásico y la unitaridad de la evolución en el caso cuántico).

PD: Un truco para hoy: "reducir la entropía":

$H = 1$
$H = 0$

Piotr Migdal
fuente

¿Es esto tl; dr versión correct-ish: "El artículo de Shalizi es solo una reformulación especializada del demonio de Maxwell"?

Artem Kaznatcheev

@ArtemKaznatcheev Básicamente sí. Pero más en el gusto de sistemas cerrados frente a sistemas abiertos. Pero para los que no les gusta leer, existe la primera línea;).

Piotr Migdal

Me gusta esta respuesta, pero estoy teniendo dificultades para reconciliarme con una discusión sobre otro hilo. Mire este enlace y encuentre el hilo / respuesta iniciada por el usuario "pragmatista". Si agrega uno o dos párrafos que aborden ese argumento (o explique por qué ese argumento es válido / no está de acuerdo con su respuesta anterior), me complacerá aceptarlo.

Ely

@EMS Bueno, "¿Podría comentar una discusión?" no es el más adecuado para SE (y en general, hay muchos argumentos). Además, de hecho, justifiqué la crítica del artículo de Shalizi. Incluir también la crítica de una crítica de un periódico es pedir demasiado. ¿Podría ser más específico, es decir, señalar puntos exactos? Sin embargo: "Cuando hacemos mecánica estadística, generalmente no estamos interesados en la entropía del sistema más el observador" - falso (sistemas abiertos vs cerrados), "la evolución del sistema no será unitaria" - cierto, pero incluso clásicamente no se puede disminuir la entropía total.

Piotr Migdal

@EMS El principio de borrado es más profundo que stat. mech - como dije, si no lo satisface, tanto refuta la mecánica cuántica como la clásica. Y una vez más: no puede aplicar reglas para sistemas cerrados a sistemas abiertos, por lo que la mayoría de los argumentos del pragmatista no son científicos (es decir, en qué creer o no) o ignoran la física.

Piotr Migdal

La falla de Shalizi es muy básica y se deriva de la suposición I, de que la evolución temporal es invertible (reversible).

La evolución temporal de los estados INDIVIDUALES es reversible. La evolución temporal de una distribución en TODO EL ESPACIO DE FASES ciertamente no es reversible, a menos que el sistema esté en equilibrio. El documento trata la evolución temporal de las distribuciones en todo el espacio de fases, no la de los estados individuales, por lo que la suposición de invertibilidad es totalmente no física. En el caso de equilibrio, los resultados son triviales.

La flecha del tiempo proviene de este hecho, en realidad, que la evolución del tiempo de las distribuciones no es reversible (la razón por la cual los gradientes disminuyen y los gases se dispersan). Se sabe que la irreversibilidad surge de los 'términos de colisión'

Si toma esto en cuenta, su argumento se desmorona. Entropía de información = entropía termodinámica, aún, por ahora. :RE

Ethan
fuente

Debido a que en un nivel fundamental la QM es determinista, la ecuación de Schrodinger describe con precisión cómo evoluciona un sistema con el tiempo y no hay incertidumbre al respecto, y es lineal , parece que la reversibilidad en la evolución de los estados individuales implicaría inmediatamente reversibilidad en cualquier distribución de tales estados. Por lo tanto, me gustaría ver su justificación matemática de su afirmación de lo contrario, porque mostrará más claramente lo que ahora está asumiendo implícitamente sobre las ecuaciones dinámicas.

whuber

Para una distribución de equilibrio, las cosas son triviales, la evolución del tiempo es reversible. Para un sistema disipativo, donde el volumen del espacio de fase no es constante, muchos estados de la distribución inicial pueden asignarse a un solo estado de la distribución final, o viceversa (ya no es reversible). Esto está claro en el caso de, por ejemplo, la expansión libre de un gas ideal. El movimiento de cada partícula individual es claramente reversible, pero la expansión en sí no lo es, ya que implica un cambio en el volumen del espacio de fase. El gas nunca 'se expande'. Si todavía no estás contento, puedo resolver algunas matemáticas para ti.

Ethan

Como estás acusando a Shalizi de estar equivocado sobre esto, sería una buena idea ofrecer algún tipo de soporte matemático objetivo. ¡Pero tenga cuidado de no alejarse demasiado del foco de este sitio, que se trata de analizar datos, no de física! Sin embargo, el ejemplo de expansión libre no me parece dispositivo, porque en un universo (hipotéticamente) compacto no parece existir tal cosa: el gas se expande a otro lugar.

whuber

Bien, a veces olvido en qué stackexchange estoy. Tal vez comenzaré algo allí. Pero para el gas, el cambio de entropía es TdS = dU + pdV pero dU es cero si somos adiabáticos, entonces dS = pdV / T. Por ley de gas ideal dS = nRdV / V, de modo que pasar de v1 a v2 cambia la entropía por ln (v2 / v1). Básicamente, todos los procesos macroscópicos espontáneos (es decir, reproducibles) son irreversibles. Pero tal vez obtener esto de principios básicos no es trivial (Boltzmann pasó su vida en eso)

Ethan

El documento vinculado asume explícitamente que

El operador de evolución T es invertible.

Pero si usa QM de la manera convencional, esta suposición no se cumple. Suponga que tiene un estado X1 que puede evolucionar a X2 o X3 con la misma probabilidad. Diría que el estado X1 evoluciona hacia el conjunto ponderado [1/2 X2 + 1/2 X3]. Shalizi demuestra que este conjunto no tiene más entropía que X1.

Pero nosotros, como observadores o como parte de ese sistema, solo vemos una de las ramas, ya sea X2 o X3. Elegir cuál de esas dos ramas podemos observar agrega un poco de nueva entropía, y esta selección no es invertible. De aquí proviene el aumento de la entropía con el tiempo. Lo que Shalizi ha hecho es utilizar las matemáticas en las que toda la entropía se origina en la ramificación cuántica, luego olvida que ocurre la ramificación cuántica.

jimrandomh
fuente

El documento (como la segunda ley) trata sobre sistemas cerrados. La mecánica cuántica es completamente reversible en un sistema cerrado (es decir, todos los operadores son unitarios). La única operación no reversible en mecánica cuántica es la medición; Si mide un sistema cerrado, ya no está cerrado desde la perspectiva de la termodinámica. Si su observador está dentro del sistema y mide un subsistema, entonces el observador + subsistema evolucionarán juntos de manera unitaria y, por lo tanto, la operación es invertible (este truco se llama informalmente la "Iglesia del mayor espacio de Hilbert"). Por lo tanto, su argumento de "QM" es incorrecto.

Artem Kaznatcheev

Sin embargo, esto es solo si cree en la interpretación de Copenhague (u otras que separan la 'medición' de los procesos unitarios). Muchos mundos sostienen que la medición es solo las leyes unitarias habituales y, por lo tanto, es perfectamente reversible; Es solo un artefacto del estado inicial del universo que es probable que sea improbable ver su reversión (puede que no lo esté explicando muy bien, no soy un físico). En cualquier caso, no estoy convencido de que esta respuesta deba ser rechazada debido a esta crítica.

ely

@EMS No importa qué interpretación use, el control de calidad de un sistema cerrado es reversible. Pero en el contexto más amplio de la pregunta original, los detalles de la respuesta equivocada del QM son irrelevantes: Shalizi ya aborda este punto en la sección II.A en un sentido más general; incluso una forma correcta de esta respuesta no va más allá de la deficiencia que señala el propio Shalizi.

Artem Kaznatcheev

Como se menciona en otro hilo que discute esto, esta respuesta parece ser el otro lado de la otra respuesta dada: si insiste en el requisito del sistema cerrado, entonces debe encontrar su fuente de entropía (es decir, el "sistema cerrado" de Shalizi debe incluir el persona con un poco de entropía por "pasar por una rama (desconocida) de las dos ramas". Es decir, parece que esta respuesta también dice que el artículo de Shalizi es solo una reafirmación del Demonio de Maxwell. De nuevo, puedo ser malentendido debido a la falta de entrenamiento formal física.

Ely