¿Cómo se llama la codificación "one-hot" en la literatura científica?

10

¿Cuál es el nombre del operador que toma un vector categórico y lo transforma en la representación binaria usando una codificación de un punto? Me pregunto ya que estoy escribiendo un artículo científico y necesito un nombre propio para eso.

terminology categorical-encoding frágil
fuente

3

La codificación ficticia es otro nombre. En el aprendizaje automático, todos usan el tipo simple, por lo que está bastante claro de qué se trata, pero hay otros tipos de codificación de contraste (otro nombre) con menos y otras ideas, que desempeñan un papel similar, se usan en estadísticas, y así Puedes ser un poco más específico.

Gijs

77

En estadísticas y análisis de datos, mucho antes del aprendizaje automático, este tipo de codificación categórica se conoce como variables ficticias , también conocidas como variables de contraste de tipo indicador .

ttnphns

18

Los estadísticos llaman codificación de uno en caliente como codificación ficticia . Como otros sugirieron (incluyendo Scortchi en los comentarios), este no es un sinónimo exacto, pero este es el término que generalmente se usaría para las variables categóricas codificadas 0-1.

Ver también: "Variable ficticia" versus "variable indicadora" para datos nominales / categóricos

Tim
fuente

3

Duh !! No puedo creer que lo haya olvidado. También me refiero a ellos como indicadores.

Tim Atreides

2

No creo que "codificación ficticia" sea un buen sinónimo. Se usa en un sentido general para significar representar una variable categórica con un conjunto de variables numéricas, o para "codificación de nivel de referencia" en lugar de "codificación única", por ejemplo, en problemas con codificación única frente a codificación ficticia . "Nivel-codificación media" (ver ¿Hay algo llamado "codificación media" (como la codificación ficticia y la codificación de efectos) en los modelos de regresión? ) Denota una codificación única, pero también implica un contexto de modelo lineal ...

Scortchi - Restablecer Mónica

2

... fuertemente para uso general.

Scortchi - Restablece a Monica

3

Nunca he visto una definición per se, pero para mí las variables ficticias en estadística siempre implican la codificación de N factores con variables (N-1), mientras que la codificación en caliente codificará N factores con N variables. Esta diferencia es tremendamente importante en la práctica. Si uno usa la codificación de un solo uso para las regresiones, ¡uno tendría tonterías debido a la dependencia de las variables!

meh

2

@aginensky Aunque las personas deberían prestar atención a las variables que tienen exactamente, una buena rutina de regresión no producirá tonterías en esa circunstancia: simplemente omitirá un predictor y se lo dirá.

Nick Cox

8

Depende de tu público objetivo.

Como dijo Tim , los estadísticos lo llaman codificación ficticia, y eso es lo que esperaría ver al describir algo como un modelo de regresión. "Se incluyeron variables codificadas simuladas para ajustar la ubicación de la tienda". Creo que llamarlo una codificación única parece un poco extraño aquí.

Sin embargo, como también dijo otro Tim , la codificación única es bastante común en la literatura de aprendizaje automático. Implica débilmente la existencia de nodos (como en una red neuronal), cables físicos (en un dispositivo) o algo así, al menos para mí.

$\mathbb{I}_X$

Matt Krause
fuente

6

El término proviene de la ingeniería electrónica. ¿Piensa quién llamaría a 1 "caliente"? Solo aquellos que trabajan con electricidad, donde "caliente" o "vivo" significa que hay potencial eléctrico en el cable . "Uno caliente" se refiere al diseño del circuito donde el nivel discreto de señal eléctrica en un cable se descodificaría en caliente / frío en un conjunto de cables. Supongo que algunas personas de aprendizaje automático con antecedentes de EE encontraron la analogía convincente.

En econometría y estadísticas puede encontrar variables dummyo indicatorvariables, que son bastante similares porque se utilizan para representar categorías distintas con sus indicadores distintos. Sin embargo, hay una sutil diferencia. Por ejemplo, crea dummies K-1 para las categorías K, porque la categoría base corresponde a todos los dummies establecidos en 0. En contraste, creo que en una codificación activa tiene cables K, donde la categoría base tendrá su propio cable ( variable).

Aksakal
fuente

5

Estoy entrenado estadísticamente, y recientemente he oído hablar de la "codificación única" en aprendizaje automático / comp. Por lo general, me acabo de referir a la matriz one-hotted como matriz de diseño / matriz de datos / marco de diseño.

Tim Atreides
fuente

¿Tiene alguna referencia que pueda citar para eso? Estoy escribiendo una publicación científica y me gustaría dejar en claro este método para todos los lectores, ya que el documento no es para la comunidad de ML sino más amplio.

Frágil

No puedo decir que haya escuchado "one-hotted" como verbo. Pero de manera similar llego a esto desde una dirección matemática / estadística. (Los resultados de Google en "one-hotted" son interesantes; obtengo una mezcla del significado del aprendizaje automático y de las personas que hablan de "one hotted up car")

Michael Lugo

3

En ciencias físicas e ingeniería, se llama el delta de Kronecker (generalizado) .

\begin{aligned} δ_{i, j} \equiv {\begin{cases} 1 & if & i = j \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i,j} {\equiv} \begin{cases} 1 &\text{if} & i=j \\ 0 &\text{else} \end{cases} \end{align*},$

\begin{aligned} δ_{[condition]} \equiv {\begin{cases} 1 & if & [condition] \\ 0 & else \end{cases} \end{aligned} .

$\begin{align*} {\delta}_{\left[\text{condition}\right]} {\equiv} \begin{cases} 1 &\text{if} & \left[\text{condition}\right] \\ 0 &\text{else} \end{cases} \end{align*}.$

${\delta}_{i{\in}\text{category}}$

\begin{aligned} δ_{i \in category} \equiv {\begin{cases} 1 & if & i \in category \\ 0 & else \end{cases} \end{aligned},

$\begin{align*} {\delta}_{i{\in}\text{category}} {\equiv} \begin{cases} 1 &\text{if} & i{\in}\text{category} \\ 0 &\text{else} \end{cases} \end{align*},$

δ_{i}

${\delta}_{i}$

El delta de Kronecker es realmente útil en Sigma / Pi / Einstein / etc. anotaciones ya que permite que los términos se especifiquen condicionalmente.

Solo para relacionar esto con las estructuras de programación comunes, el delta de Kronecker condition?1:0, donde ?:está el operador condicional .

${\delta}_{i,j}$ ${\delta}_{i=j}$

Nat
fuente

No veo el enlace aquí. Un hot decodifica una variable en un conjunto para cada estado de la variable. ¿Cómo se usa Kronecker delta en esta aplicación?

Aksakal

{0, 1}

$\left\{0,1\right\}$

δ_{VW}

${\delta}_{\text{VW}}$

δ_{Acura}

${\delta}_{\text{Acura}}$

δ_{Honda}

${\delta}_{\text{Honda}}$

δ_{i, j}

${\delta}_{i,j}$

δ_{CompanyName, VW}

${\delta}_{\text{CompanyName},\text{VW}}$

V W

$VW$

A C U R A

$ACURA$

i = 1.. N

$i=1..N$

V W_{i}

$VW_i$

A C U R A_{i}

$ACURA_i$

i

$i$

C A R_{i}

$CAR_i$

V W_{i} = δ (C A R_{i}, V W)

$VW_i=\delta(CAR_i,VW)$

{V W}_{i}

${VW}_{i}$

{δ_{VW}}_{i}

${{\delta}_{\text{VW}}}_i$

δ_{i \in VW}

${\delta}_{i{\in}\text{VW}}$

i

$i$

1

$1$

0

$0$

2

$1$ $K$

Aquí hay una cita del libro,

$K$ $1$ $K$ $K$ $\textbf{x}$ $x_k$ $1$ $0$ $K = 6$ $x_3 = 1$ $\textbf{x}$

$\textbf{x} = (0, 0, 1, 0, 0, 0)^{T}$

kedarps
fuente

¿Cómo se llama la codificación "one-hot" en la literatura científica?

Respuestas: