La física, la biología, la química, etc. tienen diferentes conjuntos de reglas para hacer experimentos: qué eventos se consideran relevantes, cómo evitar la contaminación de las muestras, cómo crear y reparar un proceso de reproducción, etc.
¿Cuáles son los estándares, protocolos y mejores prácticas para garantizar la precisión y la reproducibilidad en experimentos numéricos?
benchmarking
reproducibility
experiment
homocomputeris
fuente
fuente
Respuestas:
Se ha escrito mucho sobre cómo diseñar, ejecutar e informar los resultados de experimentos computacionales. Esto tiene conexiones obvias con el software de código abierto y el movimiento más amplio de "ciencia abierta". Otra cuestión importante es la diferencia entre la investigación "mi código es más rápido que el suyo" y la investigación que nos ayuda a comprender mejor las propiedades de los algoritmos.
Algunas referencias sobre experimentos computacionales y pruebas que quizás desee ver incluyen:
Ataúd, Marie y Matthew J. Saltzman. 2000. " Análisis estadístico de pruebas computacionales de algoritmos y heurísticas ". INFORMS Journal on Computing 12 (1): 24–44.
Crowder, Harlan, Ron S. Dembo y John M. Mulvey. 1979. “ Sobre el reporte de experimentos computacionales con software matemático ". Transacciones de ACM en software matemático (TOMS) 5 (2): 193–203.
Feitelson, Dror G. 2006. " Informática experimental: la necesidad de un cambio cultural" .
Hooker, John N. 1995. " Pruebas de heurística: lo tenemos todo mal ". Journal of Heuristics 1 (1): 33–42.
McGeoch, Catherine C. 2012. Una guía de algoritmos experimentales. Prensa de la Universidad de Cambridge.
fuente