scipy.optimize.fmin_bfgs: "El error deseado no necesariamente se logra debido a la pérdida de precisión"

Recibo la advertencia en el asunto de la publicación cuando intento optimizar una función en Python con la función scipy.optimize.fmin_bfgs . La salida completa:

Advertencia: el error deseado no se logra necesariamente debido a la pérdida de precisión

     Current function value: nan
     Iterations: 1
     Function evaluations: 18
     Gradient evaluations: 3

No es un error fatal, estoy obteniendo respuestas, pero están lejos de lo óptimo que busco.

¿Hay algún error típico de "novato" que pueda generar este error? Ayer empecé a trabajar con este paquete; tal como están las cosas, ni siquiera estoy seguro de dónde empezar a buscar. Cualquier ayuda es apreciada!

Es útil en situaciones como esta echar un vistazo al código fuente . ¡Esto es fácil porque todo scipyes de código abierto!

Como puede ver al leer el código fuente, el mensaje de advertencia se imprime cuando warnflag==2. Esto se establece en otra parte del código cuando la linesearchfunción devuelve Ninguno (falla).

Entonces, ¿por qué falla la búsqueda de líneas? El objetivo de un algoritmo de optimización es encontrar los mínimos de alguna función objetivo a través de un conjunto sucesivo de iteraciones. La búsqueda de línea, en este caso, está tratando de encontrar un tamaño de paso donde las aproximaciones en BFGS todavía sean válidas. Cuando el Hessian de su función o su gradiente se comportan mal de alguna manera, el tamaño del paso entre corchetes podría calcularse como cero, aunque el gradiente no sea cero.

Supongo que mi sugerencia es ir a la literatura (Nocedal y Wright tienen una buena discusión sobre la búsqueda de líneas y el método BFGS) o sobre su función y asegurarse de que se comporta bien en la región que está buscando.