¿Cuál es la diferencia entre 'transferencia de aprendizaje' y 'adaptación de dominio'?

¿Hay alguna diferencia entre 'transferencia de aprendizaje' y 'adaptación de dominio'?

No sé sobre el contexto, pero entiendo que tenemos un conjunto de datos 1 y lo entrenamos, después de lo cual tenemos otro conjunto de datos 2 para el que queremos adaptar nuestro modelo sin volver a entrenar desde cero, para lo cual 'transferir aprendizaje' y 'adaptación de dominio' ayuda a resolver este problema.

Según el campo de las redes neuronales convolucionales:

• Por "aprendizaje de transferencia" me refiero a "ajuste fino" [1]

• En este caso [2] no está supervisado, pero ¿la "adaptación del dominio" siempre debe estar sin supervisión?

Parece que hay cierto desacuerdo entre los investigadores sobre cuál es la diferencia entre el "aprendizaje de transferencia" y la "adaptación de dominio".

De {0}:

La noción de adaptación de dominio está estrechamente relacionada con el aprendizaje de transferencia. El aprendizaje de transferencia es un término general que se refiere a una clase de problemas de aprendizaje automático que implican diferentes tareas o dominios. En la literatura, todavía no existe una definición estándar de aprendizaje de transferencia. En algunos documentos es intercambiable con la adaptación del dominio.

De 1}:

Referencias

• {0} Li, Qi. "Encuesta de literatura: algoritmos de adaptación de dominio para el procesamiento del lenguaje natural". Departamento de Informática The Graduate Center, The City University of New York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=es&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( espejo )

• {1} Pan, Sinno Jialin y Qiang Yang. "Una encuesta sobre transferencia de aprendizaje". IEEE Transacciones sobre conocimiento e ingeniería de datos 22, no. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( espejo ) (2.6k citas)

Del artículo de Hal Daume [1]:

La configuración de clasificación estándar es una distribución de entrada p (X) y una distribución de etiqueta p (Y | X). Adaptación del dominio: cuando p (X) cambia entre entrenamiento y prueba. Transferencia de aprendizaje: cuando p (Y | X) cambia entre entrenamiento y prueba.

En otras palabras, en DA la distribución de entrada cambia pero las etiquetas siguen siendo las mismas; en TL, las distribuciones de entrada permanecen igual, pero las etiquetas cambian.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( espejo )

A lo largo de la literatura sobre el aprendizaje de transferencia, hay una serie de inconsistencias terminológicas. Frases como el aprendizaje de transferencia y la adaptación de dominio se utilizan para referirse a procesos similares. La adaptación de dominio es el proceso de adaptar uno o más dominios de origen para los medios de transferir información para mejorar el rendimiento de un alumno objetivo. El proceso de adaptación del dominio intenta alterar un dominio fuente en un intento de acercar la distribución de la fuente a la del destino. En la configuración de Adaptación de dominio, los dominios de origen y destino tienen diferentes distribuciones marginales p (X). Según la encuesta de Pan, Transfer Learning es un término más amplio que también puede incluir el caso cuando hay una diferencia en las distribuciones condicionales p (Y | X) de los dominios de origen y destino. A diferencia de,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Creo que "Aprendizaje de transferencia" es un término más general, y "Adaptación de dominio" es un escenario de "Aprendizaje de transferencia".

[1] Atención transferible para la adaptación del dominio. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

Según [1], la adaptación de dominio es el aprendizaje de transferencia en PNL: "El aprendizaje de transferencia en el dominio de PNL a veces se denomina adaptación de dominio".

[1] Pan, SJ y Q. Yang. “Una encuesta sobre aprendizaje de transferencia”. Transacciones IEEE sobre conocimiento e ingeniería de datos 22, no. 10 (octubre de 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 o https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf