¿Cuáles son las normas

Últimamente he estado viendo muchos documentos sobre representaciones dispersas, y la mayoría de ellos usan la norma $\ell_p$ y minimizan un poco. Mi pregunta es, ¿cuál es la norma $\ell_p$ y la norma mixta $\ell_{p, q}$ ? ¿Y cómo son relevantes para la regularización?

Gracias

$\ell_p$ p =

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$ p = ∞ ‖ → x ‖ ∞ = sup i x $\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$$0 < p < 1$$\|\vec x\|_p$

(También hay normas , que se definen de forma análoga, excepto para funciones en lugar de vectores o secuencias; en realidad, esto es lo mismo, ya que los vectores son funciones con dominios finitos).$L_p$

No conozco ningún uso de una norma en una aplicación de aprendizaje automático donde , excepto donde . Por lo general, ve o , o, a veces, donde desea relajar el caso ; no es estrictamente convexo en , pero es, para . Esto puede hacer que encontrar la solución sea "más fácil" en ciertos casos.$p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$

En el contexto de la regularización, si agrega a su función objetivo, lo que está diciendo es que espera que sea escaso , es decir, en su mayoría compuesto por ceros. Es un poco técnico, pero básicamente, si hay una solución densa , es probable que haya una solución más escasa con la misma norma. Si espera que su solución sea densa, puede agregar a su objetivo, porque entonces es mucho más fácil trabajar con su derivada. Ambos sirven para evitar que la solución tenga demasiado peso.$\|\vec x\|_1$$\vec x$$\|\vec x\|_2^2$

La norma mixta entra cuando intentas integrar varias fuentes. Básicamente, desea que el vector de solución esté formado por varias piezas , donde es el índice de alguna fuente. La es solo la forma de todas las normas recopiladas en un vector. Es decir,$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

El propósito de esto no es "sobrepasar" un conjunto de soluciones, digamos usando . Las piezas individuales son escasas, pero no se arriesga a destruir un vector de solución completo al tomar la forma de todas las soluciones. Entonces usas el norm en el exterior en su lugar.$\|\vec x\|_{1,2}$$1$$2$

Espero que ayude.

Vea este documento para más detalles.