¿Qué significa una "solución de forma cerrada"?

Me he encontrado con el término "solución de forma cerrada" con bastante frecuencia. ¿Qué significa una solución de forma cerrada? ¿Cómo se determina si existe una solución de forma cerrada para un problema dado? Al buscar en línea, encontré información, pero nada en el contexto del desarrollo de un modelo / solución estadística o probabilística.

Entiendo muy bien la regresión, por lo que si alguien puede explicar el concepto con referencia a la regresión o al ajuste del modelo, será fácil de consumir. :)

"Se dice que una ecuación es una solución de forma cerrada si resuelve un problema dado en términos de funciones y operaciones matemáticas de un conjunto generalmente aceptado. Por ejemplo, una suma infinita generalmente no se consideraría de forma cerrada. Sin embargo, el la elección de qué llamar de forma cerrada y qué no es bastante arbitraria ya que una nueva función de "forma cerrada" simplemente podría definirse en términos de la suma infinita ". --Wolfram Alpha

y

"En matemáticas, se dice que una expresión es una expresión de forma cerrada si puede expresarse analíticamente en términos de un número finito de ciertas funciones" bien conocidas ". Por lo general, estas funciones bien conocidas se definen como funciones elementales: constantes, una variable x, operaciones elementales de aritmética (+ - × ÷), enésimas raíces, exponente y logaritmo (que por lo tanto también incluyen funciones trigonométricas y funciones trigonométricas inversas). A menudo se dice que los problemas son manejables si se pueden resolver en términos de una expresión de forma cerrada ". - Wikipedia

Un ejemplo de una solución de forma cerrada en regresión lineal sería la ecuación de mínimos cuadrados

La mayoría de los procedimientos de estimación implican encontrar parámetros que minimizan (o maximizan) alguna función objetivo. Por ejemplo, con OLS, minimizamos la suma de los residuos al cuadrado. Con la Estimación de máxima verosimilitud, maximizamos la función de verosimilitud de registro. La diferencia es trivial: la minimización se puede convertir en maximización mediante el uso negativo de la función objetivo.

A veces este problema puede resolverse algebraicamente, produciendo una solución de forma cerrada. Con OLS, resuelve el sistema de condiciones de primer orden y obtiene la fórmula familiar (aunque probablemente todavía necesite una computadora para evaluar la respuesta). En otros casos, esto no es matemáticamente posible y necesita buscar valores de parámetros usando una computadora. En este caso, la computadora y el algoritmo juegan un papel más importante. Mínimos cuadrados no lineales es un ejemplo. No obtienes una fórmula explícita; todo lo que obtienes es una receta que necesitas que la computadora implemente. La receta puede comenzar con una conjetura inicial de cuáles pueden ser los parámetros y cómo pueden variar. Luego prueba varias combinaciones de parámetros y ve cuál le da el valor de función objetivo más bajo / más alto. Este es el enfoque de la fuerza bruta y lleva mucho tiempo. Por ejemplo,$10^5$ combinaciones, y eso simplemente te pone en el vecindario de la respuesta correcta si tienes suerte. Este enfoque se llama búsqueda de cuadrícula.

O puede comenzar con una suposición y refinar esa suposición en alguna dirección hasta que las mejoras en la función objetivo sean menores que algún valor. Por lo general, se denominan métodos de gradiente (aunque hay otros que no utilizan el gradiente para elegir en qué dirección ir, como los algoritmos genéticos y el recocido simulado). Algunos problemas como este garantizan que encuentre la respuesta correcta rápidamente (funciones objetivo cuadráticas). Otros no dan tal garantía. Es posible que le preocupe que se haya quedado atascado en un óptimo local, en lugar de uno global, por lo que intenta una serie de conjeturas iniciales. Puede encontrar que parámetros completamente diferentes le dan el mismo valor de la función objetivo, por lo que no sabe qué conjunto elegir.

Aquí hay una buena manera de obtener la intuición. Suponga que tiene un modelo de regresión exponencial simple donde el único regresor es la intersección:

La función objetivo es

Con este simple problema, ambos enfoques son factibles. La solución de forma cerrada que obtienes tomando la derivada es . También puede verificar que cualquier otra cosa le proporcione un valor más alto de la función objetivo enchufando lugar. Si tuvo algunos regresores, la solución analítica desaparece. ln ( ˉ y + k $\alpha^* = \ln \bar y$$\ln (\bar y + k)$

Creo que este sitio web proporciona una intuición simple, un extracto del cual es:

Una solución de forma cerrada (o expresión de forma cerrada) es cualquier fórmula que se puede evaluar en un número finito de operaciones estándar. ... Una solución numérica es cualquier aproximación que se pueda evaluar en un número finito de operaciones estándar. Las soluciones de forma cerrada y las soluciones numéricas son similares en que ambas pueden evaluarse con un número finito de operaciones estándar. Se diferencian en que una solución de forma cerrada es exacta, mientras que una solución numérica es solo aproximada.

¿Busca términos laicos o la verborrea dolorosa que define rigurosamente el significado? Presumiré términos laicos ya que el otro se puede encontrar en todas partes. Digamos que desea la solución de forma cerrada de la raíz cuadrada de 8. La solución de forma cerrada es 2 * (2) ^ 1/2 o dos veces la raíz cuadrada de dos. Esto está en contraste con la solución de forma no cerrada 2.8284. (vea la raíz cuadrada de Wikipedia de 2 para ver que con 69 decimales tiene una precisión de 1 / 10,000) Uno está absolutamente definido en términos matemáticos mientras que el otro no. Una solución de forma cerrada proporciona una respuesta exacta y una que no es de forma cerrada es una aproximación, pero puede obtener una solución de forma no cerrada tan cerca de una solución de forma cerrada como desee. Suena contrario a la intuición, pero si lo necesita con mayor precisión, simplemente realice un poco más de cálculos.

Forma cerrada = forma cerrada (funcional)

Cerrado significa que nada más puede entrar; es decir, no hay alternativa => solo una solución => solo una función que puede establecer la relación entre el resultado y los predictores.