Resolver un problema de mínimos cuadrados con restricciones lineales en Python

Necesito resolver

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Yo creo que es un problema de segundo grado que debe ser solucionable con CVXOPT , pero no puedo encontrar la manera.

optimization python convex-optimization least-squares quadratic-programming tillsten
fuente

Espero que esta pregunta no sea demasiado específica para compsci.

tillsten

Geoff Oxberry: Solo una curiosidad, pero ¿por qué editaste la parte lineal? Creo que es una parte bastante impotente de la descripción del problema, la solución sería bastante diferente para una optimización de mínimos cuadrados no lineal.

tillsten

Por cierto, las otras ediciones son geniales!

tillsten

Puede resolver esto fácilmente con su propio código de manera muy eficiente. No hay necesidad de CVXOPT.

Royi

Respuestas:

Escribí una respuesta completa (debajo de la línea) antes de descubrir CVXPY , que (como CVX para MATLAB) hace todo lo difícil por usted y tiene un ejemplo muy breve casi idéntico al suyo aquí . Solo necesita reemplazar la línea relevante con

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

Mi vieja respuesta, haciéndolo de la manera más difícil con CVXOPT:

Siguiendo la sugerencia de Geoff para cuadrar su función objetivo da

‖ A x - b ‖_{2}^{2} = ⟨ x^{T} A^{T} - b^{T}, A x - b ⟩ = x^{T} A^{T} A x - b^{T} A x - x^{T} A b - b^{T} b

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

Por supuesto, todos los términos son escalares, por lo que puede transponer el tercero y soltar el último (ya que no depende de y, por lo tanto, no cambiará qué le da un mínimo, aunque deberá volver a agregarlo) después de resolver para obtener el valor correcto de su objetivo) para obtener Esto (incluidas sus restricciones) tiene la forma de un programa cuadrático, como se indica en la documentación de CVXOPT aquí , donde también hay un código de ejemplo para resolver dicho problema. $x$ $x$

x^{T} A^{T} A x - b^{T} (A + A^{T}) x

$x^TA^TAx - b^T(A + A^T)x$

David Ketcheson
fuente

En lugar del problema que resolvió, resuelva

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Este problema es un problema de optimización diferenciable, convexo y no lineal que se puede resolver en CVXOPT, IPOPT o cualquier otro solucionador de optimización convexo.

Geoff Oxberry
fuente