¿Cómo se aplican las estadísticas en informática para evaluar la precisión en las afirmaciones de investigación?

He notado en mi corta vida académica que muchos artículos publicados en nuestra área a veces no tienen mucho rigor con respecto a las estadísticas. Esto no es solo una suposición; He escuchado a los profesores decir lo mismo.

Por ejemplo, en las disciplinas de CS veo publicaciones que afirman que se ha observado que la metodología X es efectiva y ANOVA y ANCOVA lo demuestran, sin embargo, no veo referencias para otros investigadores que evalúen que se hayan observado las restricciones necesarias. De alguna manera, parece que tan pronto como aparece una 'función y nombre complejos', eso demuestra que el investigador está utilizando un método y enfoque altamente creíble que 'debe saber qué está haciendo y está bien si no describe las restricciones' , digamos, para esa distribución o enfoque dado, para que la comunidad pueda evaluarlo.

A veces, hay excusas para justificar la hipótesis con un tamaño de muestra tan pequeño.

Por lo tanto, mi pregunta aquí se plantea como estudiante de disciplinas de CS como aspirante a aprender más sobre estadísticas: ¿Cómo los científicos informáticos abordan las estadísticas?

Esta pregunta puede parecer que estoy preguntando lo que ya he explicado, pero esa es mi opinión . Podría estar equivocado, o podría estar centrándome en un grupo de profesionales, mientras que otros grupos de investigadores de CS podrían estar haciendo algo más que siga mejores prácticas con respecto al rigor estadístico.

Entonces, específicamente, lo que quiero es "Nuestra área está o no dentro de las estadísticas debido a los hechos dados (documentos de ejemplo, libros u otro artículo de discusión sobre esto están bien)". La respuesta de @Patrick está más cerca de esto.

Como estudiante de posgrado en ciencias de la computación, que está expuesto a la investigación en otros campos que no sean ciencias de la computación, y cuyo grupo de investigación trabaja en un área de ciencias de la computación donde las estadísticas se pueden aplicar fructíferamente, puedo ofrecer mi experiencia; Su experiencia puede ser diferente.

En general, incluso la investigación científica más bien intencionada puede fallar al aplicar rigurosamente el análisis estadístico a los resultados, y según mi experiencia, esto no siempre impide que los documentos que incluyen resultados tan poco analizados sean aceptados para su publicación. El área en la que opera mi grupo es principalmente en computación distribuida y arquitectura de computadoras de alto rendimiento. A menudo, la investigación involucra diseños experimentales cuyo desempeño no puede ser fácilmente entendido analíticamente en los detalles requeridos. Como tal, los resultados empíricos a menudo se usan como evidencia para reclamos.

Claramente, los experimentos deben ser diseñados, y los resultados analizados, de tal manera que proporcionen cierta confianza de que los resultados son estadísticamente significativos. La mayoría de las veces, esto no se hace, incluso en algunos de los lugares más importantes. Cuando se aplica el análisis estadístico, casi nunca es riguroso en ningún sentido significativo; lo más que normalmente se ve (¡y uno se alegra de verlo!) es que un experimento se repitió n veces, para algunos n elegidos arbitrariamente , donde típicamente . La selección de barras de error (si se indica alguna) parece ser principalmente una cuestión de preferencia o gusto personal.$1 < n < 5$

En resumen, no, no eres solo tú; y no es solo ingeniería de software. En general, según mi experiencia, varias áreas de la investigación informática parecen errar por no hacer lo suficiente. De hecho, incluso podría ser perjudicial para la viabilidad de un trabajo presentado para considerar consideraciones estadísticas. Eso no quiere decir que la situación me parezca satisfactoria; lejos de ahi. Pero estas son mis impresiones. Por ejemplo, puede echar un vistazo a la sección 5 de este documento, que se presentó en Supercomputing 2011, una de las conferencias de más alto perfil en el área de la informática de alto rendimiento. Específicamente, eche un vistazo a parte de la discusión de resultados en la sección 5 y vea si llega a las mismas conclusiones que yo sobre el rigor del análisis estadístico de los resultados experimentales.

En términos más generales, esta deficiencia puede ser sintomática de una condición en algunas áreas de la informática para publicar más artículos en lugar de menos, para dirigir conferencias en lugar de revistas, y para enfatizar el progreso gradual en lugar de mejoras significativas y fundamentales en la comprensión. Puede consultar este artículo , que proporciona información valiosa en este sentido.

La ingeniería de software incluye muchas características. Dos de ellos son el factor humano y la medida de calidad.

Digamos que quiero hacer un análisis de productividad. La recopilación de datos sería difícil de comparar con el análisis de algoritmos porque los datos se refieren a la productividad humana. Además, la medida objetiva de la calidad no es fácil de lograr.

10 líneas de código por día para un sistema de aviónica frente a 150 líneas de código por día para una aplicación en teléfonos inteligentes, ¿cuál tiene mayor productividad y cuál tiene mejor calidad? ¿Y si ambos afirman que están utilizando la misma metodología? Compararlos es comparar manzanas y naranjas.

A veces es difícil lograr una medida precisa de la eficiencia del código. Por ejemplo, puse un montón de variables inútiles y muchas líneas de código para esas variables, por ejemplo, para fines de depuración. Esto aumenta mi productividad en la etapa de desarrollo. Al final, los elimino y digo que mejoro mi código para lograr la eficiencia.

Más tarde, un investigador entra y realiza un análisis de eficiencia. Podría tratar lo anterior como ruidos y solo concentrarse en los resultados finales. Algunos investigadores prestan atención a los ruidos. Luego verás artículos con diferentes conclusiones.

Se supone que las estadísticas son una herramienta para ayudar a los investigadores a encontrar las causas de los problemas. Muchos investigadores lo usan para sacar conclusiones. Esto es lo que has observado.

Algunos comentarios anteriores podrían llevar al OP a pensar que estoy en contra del uso de estadísticas en ingeniería de software. Si es así, me gustaría aclararme.

No estoy en contra de las estadísticas. El análisis de estadísticas puede decirle que X podría ser cierto. Pero, ese no debería ser el final de la investigación. La siguiente tarea debería ser averiguar si X es realmente cierto y por qué. Esto es de lo que creo que se trata la ciencia: encontrar la verdad.

Si la ingeniería de software pertenece o no a la informática es otra cuestión.

La estadística es difícil y, a menudo, contra intuitiva. Además, la necesidad de "hacer un experimento más" para ver si hay un efecto (y detenerse cuando aparece) es fuerte, especialmente si los experimentos son costosos (tiempo, trabajo, no solo dinero). También recuerde que publicar un documento sobre cómo el experimento cuidadosamente establecido, largo y costoso muestra que no existe una relación estadísticamente significativa tiende a ser imposible.

Especialmente en ingeniería de software hay muchas variables incontrolables. Para tenerlos en cuenta, necesitaría muchas réplicas del experimento y obtendrá recursos para hacer una o, en el mejor de los casos, dos.

Por lo tanto, mi pregunta aquí se plantea como estudiante de disciplinas de CS como aspirante a aprender más sobre estadísticas: ¿Cómo los científicos informáticos abordan las estadísticas?

Hay varias preguntas anteriores y algunas no son iguales a la pregunta del título y de alguna manera esta pregunta tiene una premisa errónea subyacente / concepto erróneo sobre la falta de conexión entre las estadísticas y la CS. La pregunta general es sobre la interfaz de la informática y las estadísticas.

existe una gran superposición en la superposición intensa en algunas áreas y es una tendencia creciente con el nuevo campo fuertemente emergente de big data . en algunas escuelas (p. ej., incluso en las escuelas de élite "Ivy League"), el título de CS está estrechamente relacionado con los departamentos de matemática y estadística , y algunos tienen una especialización conjunta . Existe una interconexión muy fuerte en el campo CS / estadístico de Machine Learning . También el campo relativamente nuevo de bioinformática tiene una base estadística CS + muy fuerte.

¡Hay un campo completo de estadísticas computacionales enfocadas en la interfaz!

La estadística computacional, o computación estadística, es la interfaz entre las estadísticas y la informática. Es el área de la ciencia computacional (o computación científica) específica de la ciencia matemática de la estadística. Esta área también se está desarrollando rápidamente, lo que lleva a pedir que se enseñe un concepto más amplio de computación como parte de la educación estadística general. [1]

Sí, de acuerdo, como se señaló en la pregunta, hay muchos documentos de CS que no usan estadísticas, incluidas situaciones (como la evaluación de experimentos empíricos) en las que podría ser incluso altamente aplicable y relevante, pero exactamente lo mismo puede decirse de muchos otros campos científicos, por ejemplo, matemáticas, e incluso campos más aplicados como la física.

Hay muchas maneras de usar / aplicar estadísticas, algunas menos rigurosas que otras, y no todos los contextos requieren la aplicación completa de los aspectos muy avanzados de las estadísticas. por ejemplo, simplemente ejecutar múltiples experimentos y trazar barras de error para la desviación estadística (¡o incluso simplemente promedios! ) es un uso básico de las estadísticas. Los usos más rigurosos incluyen la prueba de hipótesis, pero hay una observación general en el campo de que muchos artículos científicos no hacen pruebas de hipótesis rigurosas, incluso donde podría ser aplicable.

Además, esta pregunta está etiquetada con Ingeniería de software. esta era mi especialidad, y se requería una clase de estadística para aprobar este título en mi escuela y obtener una especialización certificada en ingeniería (por ejemplo, ABET ), este es probablemente el caso en muchas otras universidades. Si se desean principios de tipo CS más aplicados y rigurosos, como las aplicaciones de estadísticas, se puede seguir la ruta de la "ingeniería de software" en educación.

• Al combinar la informática, las estadísticas crean máquinas que pueden aprender, el profesor John Lafferty enseña a las computadoras a extraer conocimiento de los datos

• especialización combinada en estadística e informática, U de Illinois

• Departamento de matemáticas, CS, estadísticas, Purdue

  La informática y la estadística, con raíces profundas en las tradiciones de las matemáticas, son campos emocionantes y en rápida expansión que proporcionan la base para muchas aplicaciones contemporáneas que nos afectan a diario en áreas como el comercio, la industria, la medicina y los problemas medioambientales.

• ¿Qué estadísticas caso de que un conocimiento científico de la computación stackoverflow