El origen del término "regularización"

Cuando presento conceptos a mis alumnos, a menudo me resulta divertido decirles dónde se origina la terminología ("regresión", por ejemplo, es un término con un origen interesante). No he podido subir la historia / antecedentes del término "regularización" en estadística / aprendizaje automático.

Entonces, ¿cuál es el origen del término regularización ?

Similar a la contribución de Matthew Gunn , esta tampoco es realmente una respuesta, sino más bien un candidato plausible.

También escuché por primera vez el término "regularización" en el contexto de la regularización de Tikhonov , y en particular en el contexto de problemas inversos (lineales) en geofísica. Curiosamente, aunque pensé que probablemente se debía a mi área de estudio (es decir, ver mi nombre de usuario), ¡aparentemente Tikhonov realmente hizo gran parte de su trabajo en esa área!

Mi impresión es que el enfoque moderno "regularización" probablemente se originó con el trabajo de Tikhonov. Sobre la base de esta especulación, mi contribución aquí tiene dos partes.

La primera parte es (sillón) de naturaleza histórica (¡basada en leer los títulos en papel y mis propios prejuicios previos!). Si bien el artículo de 1963 Solución de problemas formulados incorrectamente y el método de regularización parece ser el primer uso del término "regularización", no estaría muy seguro de que esto sea cierto. Esta referencia se cita en Wikipedia como

Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504. Traducido en "Solución de problemas formulados incorrectamente y el método de regularización". Matemáticas soviéticas. 4: 1035-1038.

dando la impresión de que el propio Tikhonov escribió al menos parte de este trabajo en ruso originalmente, por lo que la frase "regularización" podría haber sido acuñada por un traductor posterior. [ACTUALIZACIÓN: No, "регуляризации" = regularización , ver comentario de Cagdas Ozgenc.] Además, este trabajo parece ser parte de una línea continua de investigación realizada por Tikhonov durante mucho más tiempo . Por ejemplo el papel

Tikhonov, Andrey Nikolayevich (1943). "Об устойчивости обратных задач" [Sobre la estabilidad de los problemas inversos]. Doklady Akademii Nauk SSSR. 39 (5): 195-198.

muestra que estuvo involucrado en el mismo tema general al menos 20 años antes. Sin embargo, esta línea de tiempo sugiere que probablemente el trabajo con problemas inversos comenzó mucho más cerca de 1963 que de 1943.

[ ACTUALIZACIÓN: Esta traducción del artículo de 1943 muestra que la terminología para " regularidad " se usó aquí para referirse a la "estabilidad del problema inverso (o la continuidad del mapeo inverso)" .]

La segunda parte de mi contribución es una hipótesis sobre cómo la "regularización" pudo haber sido originalmente pensada en este contexto. Comúnmente, "regular" se usa como sinónimo de "liso", en particular al describir la curva y / o la geometría de la superficie. En la mayoría de las aplicaciones de geofísica, la solución deseada es una estimación cuadriculada de un campo distribuido espacialmente , y la regularización de Tikhonov se usa para imponer una suavidad previa.

(La matriz de Tikhonov generalmente será un operador derivado espacial discreto , similar a las matrices PDE, frente a la matriz de identidad de la regresión de cresta. Esto se debe a que en estos modelos de cuadrículas / adelante, el espacio nulo de la matriz de modelo directo tiende a incluir cosas como "modos de tablero de ajedrez" que contaminarán los resultados a menos que sean penalizados; similar a esto ).

Actualización: estos problemas se ilustran en mi respuesta aquí .

Resumen

1. También emití mi voto por Tikhonov como el creador (probablemente alrededor de 1963)
2. Las aplicaciones originales pueden haber sido modelos inversos geofísicos, por lo que el término "regularización" puede referirse a hacer que los mapas * resultantes sean más uniformes, es decir, "regulares".

(* Basado en la cita actualizada del artículo de 1943, esta redacción parece ser cierta ... ¡pero por la razón equivocada! El "mapa" relevante no estaba entre la cuadrícula y el campo, , pero el mapeo inverso de un modelo directo .)$u[x]=F[\theta]$$\theta=F^{-1}[u]$

Esta es una respuesta parcial, un comentario largo. Una lista incompleta de candidatos:

1. Tikhonov, Andrey. "Solución de problemas formulados incorrectamente y el método de regularización". Matemáticas soviéticas. Dokl .. Vol. 5. 1963. Tikhonov es conocido por la regularización de Tikhonov (también conocida como regresión de cresta).

2. Hay un concepto de regularización en física que se remonta al menos a la década de 1940, pero no veo ninguna conexión con la regularización de Tikhonov. (Aunque no soy físico).

3. Los textos de ingeniería hablan de la regularización de un río (para mejorar la navegación) que se remonta al menos hasta la década de 1880.

Al buscar en http://books.google.com , no veo el uso generalizado del término "regularización" hasta la década de 1970, cuando comienza a aparecer una y otra vez en el contexto de los libros de matemáticas y física.

Más simplemente, el término sobrevivió a la evolución natural de los términos científicos porque captura el objetivo central de la técnica: desde un conjunto de soluciones hasta un problema mal planteado, elige las soluciones que son regulares , es decir,

de acuerdo a la regla

( definición del diccionario libre )

Esto también se usa en un lenguaje común para diseñar una superficie lisa en carpintería, por ejemplo. Del mismo modo, las soluciones de un problema de regresión se verán más regulares si la regla es minimizar la variación total (TV) de bits no uniformes de la señal reconstruida (medido, por ejemplo, por la energía total del gradiente).

El término se generalizó porque es muy genérico: ¡cualquiera puede definir su única regla, desde la televisión hasta las medidas de la norma L1 o usando la pseudo-norma ! Como tal, la regla puede desempeñar un papel similar al anterior en las estadísticas bayesianas.$\ell_0$