Sesgo de regresión de Softmax y probabilidades previas para clases desiguales

Hasta donde yo sé, la justificación para la inicialización del sesgo softmax es un poco ondulada. Recordar la regresión de softmax es la estimación de probabilidad máxima (log) para , siendo el modelo el siguiente: Con la inicialización de sesgo, nuestra intención es encontrar un buen valor con el que comience alto. Bajo el supuesto de que inicializamos con pequeños valores cercanos a 0 y que $W,\textbf{b}$

y \sim Cat (σ (W x + b)); σ_{i} (z) = \frac{\exp z_{i}}{\sum_{j} \exp z_{j}} .

$\DeclareMathOperator{cat}{Cat} \newcommand{\norm}[1]{\left\| #1 \right\|} \newcommand{vsigma}{{\boldsymbol\sigma}} \newcommand{vx}{{\textbf{x}}} \newcommand{vb}{{\textbf{b}}} \newcommand{vz}{{\textbf{z}}} y\sim\cat(\vsigma(W\vx+\vb)); \;\;\;\sigma_i(\vz)=\frac{\exp z_i}{\sum_j\exp z_j}.$

b

$\vb$

p (x, y | W, b) \propto p (y | W, b, x)

$p(\vx, y|W,\vb)\propto p( y|W,\vb,\vx)$

W

$W$

y

$y$ es una etiqueta en , entonces: Sumando las probabilidades de registro para todos los ejemplos supuestamente independientes , a una buena inicialización para minimizaría la probabilidad total aproximada de registro de datos: El gradiente de wrt es , con el vector de conteos de cada clase. La función anterior también es cóncava,

[K]

$[K]$

W x \approx 0

$W\vx\approx 0$

\log p (y | W, b, x) = \sum_{k = 1}^{K} 1_{y = k} \log σ_{k} (W x + b) \approx \log σ_{y} (b)

$\log p( y|W,\vb,\vx)=\sum_{k=1}^K1_{y=k}\log \sigma_k(W\vx + \vb)\approx\log\sigma_y(\vb)$

{(x_{i}, y_{i})}_{i = 1}^{n}

$\{(\vx_i,y_i)\}_{i=1}^n$

b

$\vb$

\sum_{i = 1}^{n} \log σ_{y_{i}} (b) = \sum_{i = 1}^{n} b_{y_{i}} - n \log \sum_{k = 1}^{K} \exp b_{k}

$\newcommand{vc}{{\textbf{c}}} \sum_{i=1}^n\log\sigma_{y_i}(\vb)=\sum_{i=1}^nb_{y_i}-n\log\sum_{k=1}^K\exp b_k$

b

$\vb$

c - n σ (b)

$\vc-n\vsigma(\vb)$

c \in N^{K}

$\vc\in\mathbb{N}^K$ Vea la pregunta aquí sobre smooth max para una prueba.

Los dos hechos anteriores implican que un máximo está disponible siempre que . Esto, a su vez, sugiere una inicialización viable para el -ésimo término del sesgo es de hecho , la proporción de ejemplos etiquetados como en el conjunto de entrenamiento (también conocido como las estadísticas marginales). Es posible que vea que puede agregar cualquier constante a y lograr otro sesgo de maximización de probabilidad también; Sin embargo, a gran escala podría interponerse en el camino del aprendizaje . La relación con el sesgo logístico no es casual --- este tutorial discute la similitud. $\vsigma(\vb)=\vc/n$ $i$ $b_i$ $\vb$ $\log p_i$ $i$ $\vb$ $W$

VF1
fuente

Sesgo de regresión de Softmax y probabilidades previas para clases desiguales

Respuestas: