¿Cuáles son las críticas con respecto al rendimiento de HTM?

Hace poco me enteré de la existencia de esta memoria temporal jerárquica (HTM) . Ya leí el documento Memoria temporal jerárquica: conceptos, teoría y terminología (por Jeff Hawkins y Dileep George), que parece bastante fácil de entender, pero una señal de alerta es que el documento no es revisado por pares ni intenta explicar por qué debería trabajar en detalles

Traté de buscar algunas fuentes independientes. Encontré algunos documentos que comparan su desempeño con otros, pero ninguno explica por qué funciona bien (o no). Noté algunos comentarios que decían que fue desestimado por un experto general, pero no pude encontrar ninguna crítica real.

¿Cuáles son las críticas con respecto al rendimiento de HTM? Dado que HTM está destinado a ser genérico, cualquier crítica específica de dominio debería estar relacionada con un problema más fundamental.

Además, hay una gran cantidad de datos de entrenamiento para usar, suficiente incluso para sesiones de entrenamiento de varios meses. Básicamente, cualquier crítica con respecto al tamaño o la duración de la capacitación no es relevante.

Las críticas contra Jeff Hawkins están bien resumidas en el siguiente ensayo tomado de http://www.theregister.co.uk/2014/03/29/hawkins_ai_feature/

Yo mismo creo que la teoría HTM tiene un gran potencial y será la base de la verdadera inteligencia artificial. IBM anunció recientemente que respaldará la teoría HTM y comenzó el Centro de Aprendizaje Cortical que incluye unos cien miembros.

http://www.technologyreview.com/news/536326/ibm-tests-mobile-computing-pioneers-controversial-brain-algorithms/

Como se señala en el ensayo, Dillep George, cofundador de Numenta, creó la startup Vicarious, que atrajo una gran cantidad de fondos, hecho que sugiere un potencial de la teoría HTM.

Fuente: Críticas contra Jeff Hawkins , The Register

Su enfoque experto y mediático parece haber despertado algunos malos sentimientos entre otros académicos que señalan, correctamente, que Hawkins no ha publicado ampliamente, ni ha inventado muchas ideas por su cuenta.

Numenta también ha tenido problemas, en parte debido a la visión idiosincrásica de Hawkins sobre cómo funciona el cerebro.

En 2010, por ejemplo, el cofundador de Numenta, Dileep George, se fue para fundar su propia compañía, Vicarious, para recoger algunas de las frutas más bajas en el prometedor campo de la IA. Por lo que entendemos, esta separación amistosa surgió de una diferencia de opinión entre George y Hawkins, ya que George tendió a un enfoque más matemático y Hawkins a uno más biológico.

Hawkins también ha recibido un poco de ayuda de la intelectualidad, con el profesor de psicología de la NYU Gary Marcus rechazando el enfoque de Numenta en un artículo neoyorquino titulado Steamrolled by Big Data.

Otros académicos que El Reg entrevistó para este artículo no quisieron ser citados, ya que sintieron que la falta de documentos revisados ​​por pares de Hawkins junto con su personalidad emprendedora redujo la credibilidad de todo su enfoque.

Hawkins hace caso omiso de estas críticas y cree que se reducen a una diferencia de opinión entre él y la inteligencia de la IA.

"Estos son sistemas biológicos complejos que no fueron diseñados por principios matemáticos [que son] muy difíciles de formalizar por completo", nos dijo.

He estado estudiando HTM por un tiempo. Es un poco genial. El comportamiento predeterminado de un HTM es analizar datos temporales. Por otro lado, hoy en día, necesita una red neuronal "elegante" (por ejemplo, una red neuronal recurrente) para modelar un problema de secuencia a secuencia (por ejemplo, un chatbot). ¡Pero HTM puede aplicarse naturalmente a este tipo de problemas!

Estoy planeando hacer algún tipo de TV interactiva con él, con datos de control enviados con los datos visuales, luego restringir los datos visuales a los datos de control (eso es posible, pero no esperes que sueñe de repente con un nuevo video, eso no sucede). Pero, debo decir que lo mejor de todo es que el video con el que lo enseñas no saldrá en la reproducción, sino que mostrará la versión más típica, que es su forma de comprensión, y realmente lo hace realmente frio. Así que es como el sueño que tienes de él.

Si está utilizando HTM con texto,

1. almacena letras,
2. entonces produce sílabas.
3. entonces toma estas sílabas y produce comunalidad de ellas,
4. entonces forma palabras de las sílabas comunes,
5. luego toma estas palabras y determina lo que tienen en común,
6. entonces forma posiblemente palabras más grandes,
7. entonces forma grupos de palabras,
8. entonces forma grupos de oraciones

Entonces, cada vez que sube de nivel, se "olvida" un poco más, solo para enganchar a los grupos más firmemente. Estos grupos más arraigados se reproducirán de forma un poco diferente al registro que se reproduce en él. Y esta reproducción no ha sido vista por mucha gente.

Me pregunto si tiene sus propias oraciones por completo.

Hace que la oración se vuelva un poco más lenta, mucho mejor. Es un trabajo mucho más difícil que no olvidar nada y simplemente tener una reproducción plana del disco. Yo diría que cuanto más lento crezca tu oración, mejor lo hiciste, así que si hay alguna otra forma de encontrar la tipicidad, deberías hacerlo.