¿Qué significa una "solución de forma cerrada"?

82

Me he encontrado con el término "solución de forma cerrada" con bastante frecuencia. ¿Qué significa una solución de forma cerrada? ¿Cómo se determina si existe una solución de forma cerrada para un problema dado? Al buscar en línea, encontré información, pero nada en el contexto del desarrollo de un modelo / solución estadística o probabilística.

Entiendo muy bien la regresión, por lo que si alguien puede explicar el concepto con referencia a la regresión o al ajuste del modelo, será fácil de consumir. :)

arjsgh21
fuente
44
Esta pregunta parece haber sido un imán para respuestas de baja calidad durante algún tiempo; Pensé que tal vez debería estar protegido por ahora.
Glen_b

Respuestas:

37

"Se dice que una ecuación es una solución de forma cerrada si resuelve un problema dado en términos de funciones y operaciones matemáticas de un conjunto generalmente aceptado. Por ejemplo, una suma infinita generalmente no se consideraría de forma cerrada. Sin embargo, el la elección de qué llamar de forma cerrada y qué no es bastante arbitraria ya que una nueva función de "forma cerrada" simplemente podría definirse en términos de la suma infinita ". --Wolfram Alpha

y

"En matemáticas, se dice que una expresión es una expresión de forma cerrada si puede expresarse analíticamente en términos de un número finito de ciertas funciones" bien conocidas ". Por lo general, estas funciones bien conocidas se definen como funciones elementales: constantes, una variable x, operaciones elementales de aritmética (+ - × ÷), enésimas raíces, exponente y logaritmo (que por lo tanto también incluyen funciones trigonométricas y funciones trigonométricas inversas). A menudo se dice que los problemas son manejables si se pueden resolver en términos de una expresión de forma cerrada ". - Wikipedia

Un ejemplo de una solución de forma cerrada en regresión lineal sería la ecuación de mínimos cuadrados

β^=(XTX)1XTy

fuente
Teniendo en cuenta que todos los escenarios de regresión pueden considerarse como un problema para resolver un sistema de ecuaciones, ¿cuándo no habría una solución de forma cerrada? Un problema mal planteado o escaso requerirá una solución aproximada, entonces, ¿es ese el caso donde no existe una solución de forma cerrada? ¿Qué tal cuando uno usa el descenso de gradiente conjugado con la regularización?
arjsgh21
Encontré útil esta discusión: enlace
arjsgh21
@ arjsgh21 ¿todavía necesita más aclaraciones sobre lo que significa ser una solución de forma cerrada? Porque su nueva pregunta parece ser sobre cuándo existen soluciones de forma cerrada (o no) en problemas de regresión, lo cual es un tema completamente nuevo y, en mi opinión, debería formularse como una pregunta nueva.
Gracias BabakP Creo que lo entiendo ahora, con referencia a la regresión y también de otra manera.
arjsgh21
1
Me confunde por qué CrossValidated es el único "foro de intercambio de pila" que siempre admite respuestas ofuscadas pero correctas sobre las respuestas que proporcionan comprensión. La mejor respuesta de la cosecha actual es @ Luca's, y no es apreciada. Es cierto que solo proporciona un enlace, pero es un gran enlace que es fácil de entender. Esta respuesta demasiado erudita solo ayuda a resolver el problema para las personas que ya conocen la respuesta. :(
Mike Williamson
17

La mayoría de los procedimientos de estimación implican encontrar parámetros que minimizan (o maximizan) alguna función objetivo. Por ejemplo, con OLS, minimizamos la suma de los residuos al cuadrado. Con la Estimación de máxima verosimilitud, maximizamos la función de verosimilitud de registro. La diferencia es trivial: la minimización se puede convertir en maximización mediante el uso negativo de la función objetivo.

A veces este problema puede resolverse algebraicamente, produciendo una solución de forma cerrada. Con OLS, resuelve el sistema de condiciones de primer orden y obtiene la fórmula familiar (aunque probablemente todavía necesite una computadora para evaluar la respuesta). En otros casos, esto no es matemáticamente posible y necesita buscar valores de parámetros usando una computadora. En este caso, la computadora y el algoritmo juegan un papel más importante. Mínimos cuadrados no lineales es un ejemplo. No obtienes una fórmula explícita; todo lo que obtienes es una receta que necesitas que la computadora implemente. La receta puede comenzar con una conjetura inicial de cuáles pueden ser los parámetros y cómo pueden variar. Luego prueba varias combinaciones de parámetros y ve cuál le da el valor de función objetivo más bajo / más alto. Este es el enfoque de la fuerza bruta y lleva mucho tiempo. Por ejemplo,105 combinaciones, y eso simplemente te pone en el vecindario de la respuesta correcta si tienes suerte. Este enfoque se llama búsqueda de cuadrícula.

O puede comenzar con una suposición y refinar esa suposición en alguna dirección hasta que las mejoras en la función objetivo sean menores que algún valor. Por lo general, se denominan métodos de gradiente (aunque hay otros que no utilizan el gradiente para elegir en qué dirección ir, como los algoritmos genéticos y el recocido simulado). Algunos problemas como este garantizan que encuentre la respuesta correcta rápidamente (funciones objetivo cuadráticas). Otros no dan tal garantía. Es posible que le preocupe que se haya quedado atascado en un óptimo local, en lugar de uno global, por lo que intenta una serie de conjeturas iniciales. Puede encontrar que parámetros completamente diferentes le dan el mismo valor de la función objetivo, por lo que no sabe qué conjunto elegir.

Aquí hay una buena manera de obtener la intuición. Suponga que tiene un modelo de regresión exponencial simple donde el único regresor es la intersección:

E[y]=exp{α}

La función objetivo es

QN(α)=12NiN(yiexp{α})2

Con este simple problema, ambos enfoques son factibles. La solución de forma cerrada que obtienes tomando la derivada es . También puede verificar que cualquier otra cosa le proporcione un valor más alto de la función objetivo enchufando lugar. Si tuvo algunos regresores, la solución analítica desaparece. ln ( ˉ y + k )α=lny¯ln(y¯+k)

Dimitriy V. Masterov
fuente
¿Implícitamente equiparaste "analítico" con "forma cerrada" en la última oración?
whuber
2
Entonces pensé: mathworld.wolfram.com/Analytic.html
Dimitriy V. Masterov
¿Vio los comentarios de desambiguación al final de esa página de MathWorld? La cuestión es que en el contexto actual "analítico" puede entenderse razonablemente de varias maneras distintas. Además, "analítico" y "analítico" no significan exactamente lo mismo (al igual que "histórico" e "histórico" tienen significados diferentes).
whuber
No soy consciente de que hay una diferencia entre "solución analítica", "solución analítica" y "forma cerrada". MathWorld no tiene una entrada separada para análisis y define una solución analítica a un problema como una que se puede escribir en "forma cerrada" en términos de funciones conocidas, constantes, etc. MW dice que analítico y analítico son variantes . La distinción entre histórico e histórico es válida, pero no sigo lo que tiene que ver con este caso. Si estoy equivocado, corrígeme.
Dimitriy V. Masterov
2
En muchos contextos matemáticos, "analítico" es un término preciso del arte aplicado a cualquier función expresable localmente como una serie de potencias con radio de convergencia positivo, mientras que "analítico" se relaciona mucho más ampliamente con la descomposición en partes básicas. Como indican las citas de BabakP, "forma cerrada" adquiere significado solo dentro de un contexto de procedimientos generalmente aceptados para combinar valores (generalmente se supone que consisten en funciones elementales pero no trascendentales).
whuber
13

Creo que este sitio web proporciona una intuición simple, un extracto del cual es:

Una solución de forma cerrada (o expresión de forma cerrada) es cualquier fórmula que se puede evaluar en un número finito de operaciones estándar. ... Una solución numérica es cualquier aproximación que se pueda evaluar en un número finito de operaciones estándar. Las soluciones de forma cerrada y las soluciones numéricas son similares en que ambas pueden evaluarse con un número finito de operaciones estándar. Se diferencian en que una solución de forma cerrada es exacta, mientras que una solución numérica es solo aproximada.

Luca Bertinetto
fuente
2
Si bien solo proporciona un enlace, esta es definitivamente la respuesta más útil.
Mike Williamson
2
La inclusión de Wayne de una cita del enlace definitivamente mejoró la respuesta.
Glen_b
2
Además, el enlace de Luca ahora está muerto.
Naramsim
-2

¿Busca términos laicos o la verborrea dolorosa que define rigurosamente el significado? Presumiré términos laicos ya que el otro se puede encontrar en todas partes. Digamos que desea la solución de forma cerrada de la raíz cuadrada de 8. La solución de forma cerrada es 2 * (2) ^ 1/2 o dos veces la raíz cuadrada de dos. Esto está en contraste con la solución de forma no cerrada 2.8284. (vea la raíz cuadrada de Wikipedia de 2 para ver que con 69 decimales tiene una precisión de 1 / 10,000) Uno está absolutamente definido en términos matemáticos mientras que el otro no. Una solución de forma cerrada proporciona una respuesta exacta y una que no es de forma cerrada es una aproximación, pero puede obtener una solución de forma no cerrada tan cerca de una solución de forma cerrada como desee. Suena contrario a la intuición, pero si lo necesita con mayor precisión, simplemente realice un poco más de cálculos.

Cheesepipe
fuente
3
Este es un uso inusual del término "forma cerrada". ¿Podría proporcionar una referencia?
whuber
1
No estoy seguro de que pueda proporcionar el nivel de documentación de respaldo suficiente para ganar un debate sobre esto sin más trabajo del que estoy dispuesto a presentar, pero aquí va. Busque en Wikipedia la expresión de forma cerrada. En las últimas dos secciones, describe cómo no necesariamente se requieren soluciones de forma cerrada porque el cálculo numérico generalmente se puede usar con éxito para llegar a una solución y la siguiente sección que describe cómo algunos programas matemáticos intentan generar soluciones de forma cerrada a partir de valores numéricos. Las soluciones de forma cerrada son precisas (sin espacio)
Cheesepipe
55
Wikipedia está bien como referencia. En este caso, parece que puede haber combinado "expresión de forma cerrada" con "número de forma cerrada". No significan lo mismo.
whuber
-2

Forma cerrada = forma cerrada (funcional)

Cerrado significa que nada más puede entrar; es decir, no hay alternativa => solo una solución => solo una función que puede establecer la relación entre el resultado y los predictores.

Vivek Astvansh
fuente
3
Este es también un uso inusual del término. ¿Podría proporcionar algunos ejemplos de su uso en este contexto? Estoy sobre todo sorprendido porque a menudo se escucha forma cerrada / no cerrada con respecto a las integrales, que realmente no tienen un resultado o predictores.
Matt Krause