¿Podría una máquina Boltzmann almacenar más patrones que una red Hopfield?

17

Esto es de una versión beta cerrada para AI, con esta pregunta publicada por el usuario número 47. Todo el crédito para ellos.


De acuerdo con Wikipedia ,

Las máquinas de Boltzmann pueden verse como la contraparte estocástica y generativa de las redes de Hopfield.

Ambas son redes neuronales recurrentes que pueden entrenarse para aprender patrones de bits. Luego, cuando se le presenta un patrón parcial, la red recuperará el patrón completo completo.

Se ha demostrado que las redes Hopfield tienen una capacidad de 0.138 (por ejemplo, se pueden recuperar aproximadamente 138 vectores de bits del almacenamiento por cada 1000 nodos, Hertz 1991).

Como una máquina de Boltzmann es estocástica, entiendo que no siempre mostraría necesariamente el mismo patrón cuando la diferencia de energía entre un patrón almacenado y otro es similar. Pero debido a esta estocasticidad, tal vez permita un almacenamiento de patrón más denso, pero sin la garantía de que siempre obtendrá el patrón "más cercano" en términos de diferencia de energía. ¿Sería esto cierto? ¿O una red Hopfield podría almacenar más patrones?

Mítico
fuente

Respuestas:

3

De hecho, su intuición es correcta, una máquina Boltzmann es capaz de almacenar más que una red Hopfield en su memoria debido a su naturaleza estocástica como se explora en este documento. En el documento señalan que la capacidad es de alrededor de 0.6. Después de esta relación, comienza a descomponerse y agrega mucho más ruido a los patrones recuperados.

Jaden Travnik
fuente