En la literatura sobre redes neuronales, a menudo encontramos la palabra "tensor".
¿Es diferente de un vector? ¿Y de una matriz? ¿Tienes algún ejemplo específico que aclare su definición?
Estoy un poco confundido acerca de su definición. Wikipedia no ayuda y a veces tengo la impresión de que su definición depende del entorno específico de aprendizaje automático utilizado (TensorFlow, Caffee, Theano).
neural-networks
terminology
definition
tensor
user_1177868
fuente
fuente
Respuestas:
A los fines del análisis de datos, puede considerarlos efectivamente como matrices, posiblemente multidimensionales. Por lo tanto, incluyen escalares, vectores, matrices y todas las matrices de orden superior.
La definición matemática precisa es más complicada. Básicamente, la idea es que los tensores transforman funciones multilineales en funciones lineales. Ver (1) o (2) . (Las funciones multilineales son funciones que son lineales en cada uno de sus componentes, un ejemplo es el determinante considerado como una función de los vectores de columna).
Una consecuencia de esta propiedad matemática que define los tensores es que los tensores se transforman muy bien con respecto a los jacobianos, que codifican transformaciones de un sistema de coordenadas a otro. Esta es la razón por la que a menudo se ve la definición de tensor como "un objeto que se transforma de cierta manera bajo cambios de coordenadas" en física. Vea este video, por ejemplo, o este .
Si estamos tratando con objetos suficientemente "agradables" (todas las derivadas que nos gustaría que existieran y bien definidas son), entonces todas estas formas de pensar acerca de los tensores son esencialmente equivalentes. Tenga en cuenta que la primera forma de pensar en los tensores que mencioné (matrices multidimensionales) ignora la distinción entre tensores covariantes y contravariantes. (La distinción se refiere a cómo cambian sus coeficientes bajo un cambio de base del espacio vectorial subyacente, es decir, entre los vectores de fila y columna esencialmente). Vea estas otras preguntas de StackExchange: (1) (2) (3) (4)
Para un libro utilizado por investigadores que estudian aplicaciones de tensores a redes neuronales (por ejemplo, en Technion en Israel), está el Tensor Spaces and Numerical Calculus de Wolfgang Hackbusch . Todavía no lo he leído, aunque algunos de los capítulos posteriores parecen usar matemáticas avanzadas.
fuente