No estoy seguro de a qué área de la ciencia se refiere (estoy seguro de que la respuesta sería realmente diferente si se tratara de biología versus física, por ejemplo ...)
De todos modos, como biólogo, responderé desde un punto de vista "biológico":
¿Cuánto esfuerzo deberíamos poner para comprender el área de aplicación?
Al menos tiendo a leer los documentos anteriores de los mismos autores y busco algunas revisiones sobre el tema si no estoy muy familiarizado con él. Esto es especialmente cierto cuando se trata de nuevas técnicas que no conozco, porque necesito entender si hicieron todos los controles adecuados, etc.
¿Cuánto tiempo debo pasar en un informe?
Tanto como sea necesario (¡OK, respuesta tonta, lo sé!: P) En general, no me gustaría que alguien que revisa mi trabajo haga un trabajo aproximado solo porque tiene otras cosas que hacer, así que trato de no hacerlo yo mismo .
Qué exigente eres cuando miras figuras / tablas.
Bastante exigente. Las figuras son lo primero que ves cuando navegas por un papel. Deben ser consistentes (por ejemplo, títulos correctos en los ejes, leyenda correcta, etc.). En ocasiones he sugerido usar un tipo diferente de diagrama para mostrar datos cuando pensaba que el que usaba no era el mejor. Esto sucede mucho en biología, un campo dominado por el tipo de gráfico "gráfico de barras +/- SEM". También soy bastante exigente con la sección de "materiales y métodos": un análisis estadístico perfecto sobre un modelo biológico inherentemente incorrecto es completamente inútil.
¿Cómo hacer frente a los datos que no están disponibles?
Simplemente hazlo y confía en los autores, supongo. En muchos casos en biología no hay mucho que pueda hacer, especialmente cuando se trata de cosas como imágenes o comportamiento animal y similares. A menos que desee que la gente publique toneladas de imágenes, videos, etc. (que probablemente no vería de todos modos), pero eso puede ser muy poco práctico. Si cree que los datos son realmente necesarios, solicite a los autores que los proporcionen como datos / cifras adicionales.
¿Intentas volver a ejecutar el análisis utilizado?
Solo si tengo serias dudas sobre las conclusiones extraídas por los autores. En biología, a menudo hay una diferencia entre lo que es (o no) "estadísticamente significativo" y lo que es "biológicamente significativo". Prefiero un análisis estadístico más delgado con un buen razonamiento biológico que al revés. Pero, de nuevo, en el caso muy improbable de que revisara un documento de bioestadística (¡¡¡ahh, ¡eso sería divertido!) Probablemente prestaría mucha más atención a las estadísticas que a la biología allí.
fuente
Mi POV estaría revisando un artículo en psicología o pronosticando sus méritos estadísticos. Sobre todo apoyaré los muy buenos comentarios de Nico.
Bastante, en realidad. No confiaría en mí mismo para comentar más que los problemas estadísticos más básicos sin haber entendido el área. Afortunadamente, esto a menudo no es muy difícil en muchas ramas de la psicología.
Me arriesgaré y declararé un tiempo específico: pasaré entre dos y ocho horas en una revisión, a veces más. Si descubro que paso más de un día en un papel, probablemente signifique que realmente no estoy calificado para entenderlo, por lo que recomendaré que el diario busque a otra persona (y trate de sugerir algunas personas).
Muy exigente de hecho. Las cifras van a ser lo que la gente recuerda de un artículo y lo que termina en presentaciones de conferencias sin mucho contexto, por lo que esto realmente debe hacerse bien.
En psicología, los datos generalmente no se comparten: medir a 50 personas por resonancia magnética es muy costoso, y los autores querrán usar estos datos para más trabajos, por lo que entiendo su renuencia a dar los datos. Por lo tanto, cualquiera que comparta sus datos obtiene una gran ventaja en mi libro, pero no se puede compartir.
En el pronóstico, muchos conjuntos de datos están disponibles públicamente. En este caso, generalmente recomiendo que los autores compartan su código (y lo hagan yo mismo).
Sin los datos, solo se puede aprender de esto. Jugaré con datos simulados si algo es muy sorprendente sobre los resultados del artículo; de lo contrario, a menudo se pueden distinguir los métodos apropiados de los inapropiados sin los datos (una vez que se comprende el área, ver arriba).
Realmente hay poco que agregar al punto de Whuber anterior: suponiendo que cada documento con un promedio de n coautores que (co) envíe reciba 3 revisiones, uno realmente debería apuntar a revisar al menos 3 / ( n + 1 ) documentos para cada envío (contando las presentaciones en lugar de los propios documentos que pueden ser rechazados y reenviados). Y, por supuesto, el número de presentaciones, así como el número de coautores, varía mucho según la disciplina.
fuente