¿Tiene razón Nassim Taleb acerca de que la IA no puede predecir con precisión ciertos tipos de distribuciones?

Entonces Taleb tiene dos heurísticas para describir en general las distribuciones de datos. Uno es Mediocristán, que básicamente significa cosas que están en una distribución gaussiana, como la altura y / o el peso de las personas.

El otro se llama Extremistán, que describe una distribución más parecida a Pareto o de cola gruesa. Un ejemplo es la distribución de la riqueza, el 1% de las personas posee el 50% de la riqueza o algo similar, por lo que la previsibilidad a partir de conjuntos de datos limitados es mucho más difícil o incluso imposible. Esto se debe a que puede agregar una sola muestra a su conjunto de datos y las consecuencias son tan grandes que rompe el modelo o tiene un efecto tan grande que cancela cualquiera de los beneficios de las predicciones precisas anteriores. De hecho, así es como él afirma haber ganado dinero en el mercado de valores, porque todos los demás usaban modelos de distribución gaussianos malos para predecir el mercado, que en realidad funcionaría por un corto período de tiempo, pero cuando las cosas salieron mal, realmente fallaron mal, lo que provocaría pérdidas netas en el mercado.

Encontré este video de Taleb siendo preguntado sobre IA. Su afirmación es que la IA no funciona (tampoco) para las cosas que caen en el territorio extremista.

¿Tiene razón? ¿Algunas cosas serán inherentemente impredecibles incluso con IA?

Aquí está el video al que me refiero https://youtu.be/B2-QCv-hChY?t=43m08s

¡Si y no!

No hay una razón inherente para que los sistemas de aprendizaje automático no puedan lidiar con eventos extremos. Como una versión simple, puede aprender los parámetros de una distribución de Weibull , u otro modelo de valor extremo, de los datos.

El mayor problema es con incógnitas conocidas frente a incógnitas desconocidas. Si sabe que los eventos raros son posibles (como, por ejemplo, la predicción de terremotos), puede incorporar ese conocimiento en los modelos que desarrolle, y obtendrá algo que funciona tan bien o mejor que los humanos en ese dominio. Si no sabe que es posible que ocurran eventos raros (como, por ejemplo, un colapso del mercado de valores producido por incumplimientos de vivienda correlacionados), su modelo también lo reflejará.

Tiendo a pensar que Taleb está siendo un poco injusto aquí: ¡la IA no puede manejar este tipo de eventos precisamente porque sus creadores (nosotros) no pueden manejarlos! Si supiéramos que son posibles, entonces podríamos manejarlos bastante bien, y la IA también podría.