¿Cómo elegir un buen punto de operación de las curvas de recuperación de precisión?

¿Existe algún método estándar para determinar un punto de operación "óptimo" en una curva de recuperación de precisión ? (es decir, determinar el punto en la curva que ofrece una buena compensación entre precisión y recuperación)

Gracias

La definición de "óptimo" dependerá, por supuesto, de sus objetivos específicos, pero aquí hay algunos métodos relativamente "estándar":

• Punto de igual tasa de error (EER): el punto donde la precisión es igual a la recuperación. Esto se siente para algunas personas como un punto de operación "natural".

• Una versión refinada y más basada en principios de lo anterior es especificar el costo de los diferentes tipos de errores y optimizar ese costo. Digamos que clasificar erróneamente un artículo (un error en la precisión) es el doble de caro que perder un artículo por completo (error en la recuperación) Entonces el mejor punto de operación es aquel donde (1 - recuperación) = 2 * (1 - precisión).

• En algunos problemas, las personas tienen una tasa natural mínima aceptable de precisión o recuperación. Supongamos que sabe que si más del 20% de los datos recuperados son incorrectos, los usuarios dejarán de usar su aplicación. Entonces es natural establecer la precisión al 80% (o un poco más bajo) y aceptar cualquier retiro que tenga en ese momento.

Seguimiento de la segunda y tercera viñetas de SheldonCooper: La opción ideal es que otra persona tome la decisión, ya sea en forma de un umbral (punto 3) o una compensación de costo beneficio (punto 2). Y quizás la mejor manera de ofrecerles la opción es con una curva ROC .

No estoy seguro de cuán "estándar" es, pero una forma sería elegir el punto más cercano a (1, 1), es decir, 100% de memoria y 100% de precisión. Ese sería el equilibrio óptimo entre las dos medidas. Esto supone que no valora la precisión sobre la recuperación o viceversa.