¿Qué es el "parcial" en los métodos de mínimos cuadrados parciales?

En la regresión de mínimos cuadrados parciales (PLSR) o la modelación de ecuaciones estructurales de mínimos cuadrados parciales (PLS-SEM), ¿a qué se refiere el término "parcial"?

Me gustaría responder a esta pregunta, basada en gran medida en la perspectiva histórica , que es bastante interesante. Herman Wold, quien inventó el enfoque de mínimos cuadrados parciales (PLS) , no ha comenzado a usar el término PLS (o incluso mencionar el término parcial ) de inmediato. Durante el período inicial (1966-1969), se refirió a este enfoque como NILAS : abreviatura del término y título de su documento inicial sobre este tema Estimación no lineal por procedimientos de mínimos cuadrados iterativos , publicado en 1966.

Como podemos ver, los procedimientos que luego se llamarán parciales, se han denominado iterativos , centrándose en la naturaleza iterativa del procedimiento de estimación de pesos y variables latentes (LV). El término "mínimos cuadrados" proviene del uso de la regresión de mínimos cuadrados ordinarios (MCO) para estimar otros parámetros desconocidos de un modelo (Wold, 1980). Parece que el término "parcial" tiene sus raíces en los procedimientos NILES, que implementaron "la idea de dividir los parámetros de un modelo en subconjuntos para que puedan estimarse en partes" (Sánchez, 2013, p. 216; énfasis mío) .

El primer uso del término PLS se produjo en los procedimientos de estimación en papel de mínimos cuadrados parciales iterativos no lineales (NIPALS) , cuya publicación marca el próximo período de la historia de PLS: el período de modelado NIPALS . Las décadas de 1970 y 1980 se convierten en el período de modelado suave , cuando, influenciado por el enfoque LISREL de Karl Joreskog a SEM, Wold transforma el enfoque NIPALS en modelado suave, que esencialmente ha formado el núcleo del enfoque moderno de PLS (el término PLS se convirtió en la corriente principal a fines de la década de 1970 ) La década de 1990, el siguiente período en la historia de PLS, que Sánchez (2013) llama período de "brecha", está marcado en gran medida por la disminución de su uso. Afortunadamente, a partir de la década de 2000 ( período de consolidación), PLS disfrutó de su regreso como un enfoque muy popular para el análisis SEM, especialmente en ciencias sociales.

ACTUALIZACIÓN (en respuesta al comentario de ameba):

• Quizás, la redacción de Sánchez no es ideal en la frase que he citado. Creo que "estimado en partes" se aplica a bloques de variables latentes . Wold (1980) describe el concepto en detalle.
• Tienes razón en que NIPALS se desarrolló originalmente para PCA. La confusión surge del hecho de que existen enfoques PLS lineales y PLS no lineales. Creo que Rosipal (2011) explica muy bien las diferencias (al menos, esta es la mejor explicación que he visto hasta ahora).

ACTUALIZACIÓN 2 (aclaración adicional):

En respuesta a las preocupaciones, expresadas en la respuesta de ameba, me gustaría aclarar algunas cosas. Me parece que necesitamos distinguir el uso de la palabra "parcial" entre NIPALS y PLS. Eso crea dos preguntas separadas sobre 1) el significado de "parcial" en NIPALS y 2) el significado de "parcial" en PLS (esa es la pregunta original de Phil2014). Si bien no estoy seguro acerca de lo primero, puedo ofrecer más aclaraciones sobre lo último.

Según Wold, Sjöström y Eriksson (2001),

El "parcial" en PLS indica que se trata de una regresión parcial, ya que ...

En otras palabras, "parcial" proviene del hecho de que la descomposición de datos por el algoritmo NIPALS para PLS puede no incluir todos los componentes , por lo tanto, "parcial". Sospecho que la misma razón se aplica a NIPALS en general, si es posible usar el algoritmo en datos "parciales". Eso explicaría "P" en NIPALS.

En cuanto al uso de la palabra "lineal" en NIPALS definición (no hay que confundir con PLS no lineales , lo que representa variante no lineal del enfoque PLS!), Creo que se refiere no al propio algoritmo , sino a modelos no lineales , que se puede analizados, utilizando NIPALS basados ​​en regresión lineal.

ACTUALIZACIÓN 3 (explicación de Herman Wold):

Si bien el artículo de Herman Wold de 1969 parece ser el primero sobre NIPALS, he logrado encontrar otro de los primeros sobre este tema. Ese es un artículo de Wold (1974), donde el "padre" de PLS presenta su justificación para usar la palabra "parcial" en la definición de NIPALS (p. 71):

3.1.4. Estimación de NIPALS: OLS iterativo. Si una o más variables del modelo están latentes, las relaciones de predicción involucran no solo parámetros desconocidos, sino también variables desconocidas, con el resultado de que el problema de estimación se vuelve no lineal. Como se indica en 3.1 (iii), NIPALS resuelve este problema mediante un procedimiento iterativo, digamos con los pasos s = 1, 2, ... Cada paso s involucra un número finito de regresiones OLS, una para cada relación predictiva del modelo. Cada una de estas regresiones proporciona estimaciones proxy para un subconjunto de parámetros desconocidos y variables latentes (de ahí el nombre de mínimos cuadrados parciales ), y estas estimaciones proxy se utilizan en el siguiente paso del procedimiento para calcular nuevas estimaciones proxy.

Referencias

Rosipal, R. (2011). Mínimos cuadrados no lineales: una visión general En Lodhi H. y Yamanishi Y. (Eds.), Quimioinformática y perspectivas avanzadas de aprendizaje automático: métodos computacionales complejos y técnicas de colaboración , págs. 169-189. ACCM, IGI Global. Recuperado de http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf

Sánchez, G. (2013). Modelado de ruta PLS con R. Berkeley, CA: Ediciones Trowchez. Recuperado de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf

Wold, H. (1974). Flujos causales con variables latentes: Particiones de las formas a la luz del modelado NIPALS. European Economic Review, 5 , 67-86. North Holland Publishing.

Wold, H. (1980). Construcción y evaluación de modelos cuando el conocimiento teórico es escaso: teoría y aplicaciones de mínimos cuadrados parciales. En J. Kmenta y JB Ramsey (Eds.), Evaluación de modelos econométricos , pp. 47-74. Nueva York: Academic Press. Recuperado de http://www.nber.org/chapters/c11693

Wold, S., Sjöström, M. y Eriksson, L. (2001). Regresión PLS: una herramienta básica de quimiometría. Quimometría y sistemas inteligentes de laboratorio, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Recuperado de http://www.libpls.net/publication/PLS_basic_2001.pdf

$X$$Y$ Los elementos del aprendizaje estadístico , Sección 3.5.2, o, por ejemplo, Rosipal y Krämer, 2005, Resumen y avances recientes en mínimos cuadrados parciales .

Sin embargo, históricamente, como @Aleksandr explica muy bien (+1), Wold introdujo PLS y usó su algoritmo NIPALS para implementarlo; NIPALS significa "mínimos cuadrados parciales iterados no lineales", por lo que obviamente P en PLS acaba de llegar desde NIPALS.

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$ parte de los parámetros a la vez! Por lo tanto, "parcial".

(Sin embargo, todavía no entiendo por qué lo llamó "no lineal").

Este término es notablemente engañoso, porque si esto es "parcial", entonces todo algoritmo de maximización de expectativas también es "parcial" (de hecho, NIPALS puede verse como una forma primitiva de EM, ver Roweis 1998 ). Creo que PLS es un buen candidato para el concurso El término más engañoso en el aprendizaje automático. Por desgracia, es poco probable que cambie, a pesar de los esfuerzos de Wold Jr. (ver el comentario de @ Momo arriba).