Con todo el alboroto en torno a la ciencia de datos, el aprendizaje automático y todas las historias de éxito, hay muchas expectativas tanto justificadas como demasiado infladas de los científicos de datos y sus modelos predictivos.
Mi pregunta para los estadísticos, expertos en aprendizaje automático y científicos de datos en ejercicio es: ¿cómo gestiona las expectativas de los empresarios de su empresa, especialmente en lo que respecta a la precisión predictiva de los modelos? Para decirlo de manera trivial, si su mejor modelo solo puede alcanzar el 90% de precisión y la alta gerencia espera nada menos que el 99%, ¿cómo maneja situaciones como estas?
performance
accuracy
neurona
fuente
fuente
Respuestas:
Los empresarios racionales no pagan por la precisión, pagan a cualquiera
Por lo tanto, cualquier proyecto que se lleve a cabo debe expresarse en términos que reflejen esto. El primer paso siempre es comprender en cuál de los dos procesos está trabajando, y debe tener una idea clara de cómo se puede lograr eso, teniendo en cuenta que a medida que avanza, los detalles de cómo hacerlo podrían cambiar.
Si puede mejorar la precisión de un proceso, probablemente pueda ganar dinero para la empresa y la gente de negocios invertirá en su progreso. La única razón racional que una persona de negocios podría tener para insistir en una precisión del 99 por ciento y rechazar el 90 por ciento es si ya tenían una forma de hacerlo mejor que el 90 por ciento. Si ese es el caso, por supuesto están justificados en su posición.
Comprender y presentar el caso de negocio de los proyectos en los que está trabajando en términos que la gente de negocios entienda es parte del proceso de maduración de cualquier ingeniero. No es exclusivo de Data Science, aunque Data Science tiene algunos aspectos únicos (como menor madurez pero mayor probabilidad de descubrimiento fortuito fortuito, al menos en el entorno actual).
Aquí se puede encontrar un proceso relevante cercano a Data Science que hace explícito este paso: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining
Pero la mayoría de los marcos de arquitectura empresarial son igualmente aplicables.
fuente
Reúna contrapartes competitivas. Intente y determine un estado de la técnica y vea cómo se comparan sus modelos con eso. También depende en gran medida de cuánto tiempo ha estado trabajando su equipo en él. Los modelos basados en la ciencia no se crean estáticamente, se desarrollan dinámicamente porque un buen científico siempre tratará de encontrar formas de mejorarlo.
El personal de alta gerencia debe saber que un científico de datos explora nuevos métodos, a veces / a menudo sin conocer su calidad. Deben saber que las técnicas de aprendizaje automático no producen modelos perfectos de inmediato. Si lo hicieran, no sería un desafío de todos modos.
Un científico de datos debe ser evaluado por cómo justifica y discute sus resultados y cómo planea el futuro. Una forma en que el personal de gestión puede manejar sus expectativas es no tener expectativas irrealmente altas.
Aún así, si se esperan resultados razonables en el campo de contexto, piense en estas preguntas:
fuente
Me gusta esta pregunta porque aborda las políticas que existen en cada organización. En mi opinión y en un grado significativo, las expectativas sobre el desempeño del modelo son una función de la cultura de la organización y el grado en que una organización está "técnicamente alfabetizada". Una forma de aclarar lo que quiero decir es considerar las diferencias entre las 4 grandes entidades de "ciencia de datos" - Google, FB, Amazon y Yahoo - frente a las 4 grandes entidades que poseen agencias: WPP, Omnicon, Interbrand y Publicis. Google, et al, son muy letrados técnicamente. Las agencias, por otro lado, son conocidas por inclinarse hacia la fobia tecnológica. ¿Cuál es la evidencia de esto? En primer lugar, el grupo con conocimientos técnicos fue fundado o está dirigido por ingenieros, informáticos, geeks y personas con una sólida formación en tecnología. ¿Quién dirige las empresas analfabetas tecnológicas? Los especialistas en marketing que han alcanzado prominencia en virtud de su comunicación suave y sus habilidades con las personas. Y no solo eso, después de haber trabajado en algunas de estas tiendas en Nueva York, puedo testificar que estas organizaciones sistemáticamente castigan y / o expulsan a los tipos altamente alfabetizados técnicamente como no "adecuados" con la cultura. A continuación, considere sus límites de mercado agregados (acciones). El grupo de alfabetización tecnológica suma aproximadamente 800 mil millones de dólares, mientras que el grupo de analfabetos tecnológicos asciende a 80 mil millones. Las entidades alfabetizadas en tecnología son 10 veces más grandes que las otras en capitalización de mercado. Esta es una declaración clara de las expectativas del mercado y no es alta para los analfabetos. Entonces, por extrapolación, ¿qué tipo de esperanza puede tener para desafiar las expectativas de "precisión predictiva" de bozos como estos? Después de haber trabajado en algunas de estas tiendas en Nueva York, puedo testificar que estas organizaciones castigan sistemáticamente y / o expulsan a los tipos altamente alfabetizados técnicamente como no "adecuados" con la cultura. A continuación, considere sus límites de mercado agregados (acciones). El grupo de alfabetización tecnológica suma aproximadamente 800 mil millones de dólares, mientras que el grupo de analfabetos tecnológicos asciende a 80 mil millones. Las entidades alfabetizadas en tecnología son 10 veces más grandes que las otras en capitalización de mercado. Esta es una declaración clara de las expectativas del mercado y no es alta para los analfabetos. Entonces, por extrapolación, ¿qué tipo de esperanza puede tener para desafiar las expectativas de "precisión predictiva" de bozos como estos? Después de haber trabajado en algunas de estas tiendas en Nueva York, puedo testificar que estas organizaciones castigan sistemáticamente y / o expulsan a los tipos altamente alfabetizados técnicamente como no "adecuados" con la cultura. A continuación, considere sus límites de mercado agregados (acciones). El grupo de alfabetización tecnológica suma aproximadamente 800 mil millones de dólares, mientras que el grupo de analfabetos tecnológicos asciende a 80 mil millones. Las entidades alfabetizadas en tecnología son 10 veces más grandes que las otras en capitalización de mercado. Esta es una declaración clara de las expectativas del mercado y no es alta para los analfabetos. Entonces, por extrapolación, ¿qué tipo de esperanza puede tener para desafiar las expectativas de "precisión predictiva" de bozos como estos? Tenga en cuenta sus límites de mercado agregados (bursátiles). El grupo de alfabetización tecnológica suma aproximadamente 800 mil millones de dólares, mientras que el grupo de analfabetos tecnológicos asciende a 80 mil millones. Las entidades alfabetizadas en tecnología son 10 veces más grandes que las otras en capitalización de mercado. Esta es una declaración clara de las expectativas del mercado y no es alta para los analfabetos. Entonces, por extrapolación, ¿qué tipo de esperanza puede tener para desafiar las expectativas de "precisión predictiva" de bozos como estos? Tenga en cuenta sus límites de mercado agregados (bursátiles). El grupo de alfabetización tecnológica suma aproximadamente 800 mil millones de dólares, mientras que el grupo de analfabetos tecnológicos asciende a 80 mil millones. Las entidades alfabetizadas en tecnología son 10 veces más grandes que las otras en capitalización de mercado. Esta es una declaración clara de las expectativas del mercado y no es alta para los analfabetos. Entonces, por extrapolación, ¿qué tipo de esperanza puede tener para desafiar las expectativas de "precisión predictiva" de bozos como estos?
Entonces, dado ese rompimiento cultural y dependiendo de dónde caigas, debes tener expectativas más o menos realistas. Por supuesto, las diferentes entidades "analfabetas tecnológicas" tendrán gerentes que saben lo que están haciendo, pero en su mayor parte, estas entidades están dominadas por la idiotez del mínimo común denominador en habilidades tecnológicas, es decir, personas que son mejores técnicas semi-alfabetizados (y peligrosos) o, más comúnmente, totalmente innumerados pero no lo saben. Por ejemplo, trabajé para un tipo que quería palabras como "correlación" borradas de las cubiertas de c-suite. Este es un caso extremo: después de todo, cada secretaria sabe qué es una "correlación".
Esto plantea el problema de cómo se trata con los enloquecentemente ingenuos e innumerados cuando hacen una pregunta realmente tonta como, "¿Por qué no estás obteniendo un 99% de precisión predictiva?" Una buena respuesta es responder con una pregunta como: "¿Por qué asumirías que una PA tan poco realista es incluso posible?" Otra podría ser: "Porque si realmente obtuviera un 99% de PA, habría asumido que estaba haciendo algo mal". Lo cual es muy probable que sea cierto, incluso con 90% de PA.
Existe la cuestión más fundamental de la insistencia en la AP como el único criterio para el valor del modelo. El fallecido Leo Breiman dejó muchas huellas en la comunidad de modelos estadísticos y predictivos de la cual PA es uno. Su principal preocupación con PA era abordar las numerosas críticas que se hicieron en los años 90 con respecto a la inestabilidad y el error inherentes a la ejecución de un solo árbol CART. Su solución fue motivar a los "bosques aleatorios" como un método aproximado y provisional que maximizaría la precisión y reduciría la inestabilidad al eliminar la estructura de los árboles. Él comparó el MSE más bajo de ~ 1,000 "mini modelos" de RF iterativos contra el error de un solo modelo de regresión logística. El único problema era que nunca se molestó en mencionar la deslumbrante comparación de manzanas con naranjas:
El Premio Netflix 2008 ofreció una recompensa monetaria considerable a cualquier estadístico o equipo capaz de mejorar el MSE de su sistema de recomendación. En ese momento, Netflix estaba gastando $ 150 millones al año en este sistema, convencido de que los costos se habían recuperado en la lealtad de los clientes y la compra de películas que de otra forma nunca se hubieran elegido. Los ganadores eventuales utilizaron un complejo conjunto de 107 modelos diferentes.
Sin embargo, como Netflix aprendió, el verdadero problema era que, desde una perspectiva de costo totalmente cargada, la mejora real en el error sobre su modelo actual fue una mera reducción de 0.005% en las calificaciones de 5 puntos. Sin mencionar que los costos de TI en tiempo, trabajo pesado y mantenimiento del conjunto ganador de 107 modelos más que anularon cualquier ganancia de la reducción de errores. Ante esto, Netflix finalmente abandonó la búsqueda de MSE y no se han otorgado más premios de Netflix
Y este es el punto: minimizar el error predictivo puede ser fácilmente jugado o pirateado y es propenso al fraude de los analistas (es decir, encontrar una solución que glorifique las habilidades de modelado del analista, impactando positivamente su potencial bono de fin de año). Además, es una solución completamente estadística y un objetivo establecido en un vacío económico y comercial. La métrica proporciona poca o ninguna consideración de los costos colaterales y auxiliares, las consecuencias operativas muy reales evaluadas de la A a la Z que deberían ser una parte integral de cualquier proceso de toma de decisiones basado en una compensación completa.
Este se ha convertido en uno de esos problemas que está incrustado en las organizaciones y es muy, muy difícil de cambiar. En otras palabras, soy plenamente consciente de que me estoy inclinando en los molinos de viento con esta queja sobre las advertencias con el uso de PA.
fuente