¿Cuál es exactamente la diferencia entre un modelo paramétrico y no paramétrico?

Estoy confundido con la definición de modelo no paramétrico después de leer este enlace Modelos paramétricos versus no paramétricos y responder comentarios de mi otra pregunta .

Originalmente pensé que "paramétrico vs no paramétrico" significa si tenemos supuestos de distribución en el modelo (similar a la prueba de hipótesis paramétrica o no paramétrica). Pero ambos recursos afirman que "paramétrico vs no paramétrico" se puede determinar si el número de parámetros en el modelo depende del número de filas en la matriz de datos.

Para la estimación de la densidad del núcleo (no paramétrica), se puede aplicar dicha definición. Pero según esta definición, ¿cómo puede una red neuronal ser un modelo no paramétrico, ya que el número de parámetros en el modelo depende de la estructura de la red neuronal y no del número de filas en la matriz de datos?

¿Cuál es exactamente la diferencia entre un modelo paramétrico y un modelo no paramétrico?

En un modelo paramétrico, el número de parámetros se fija con respecto al tamaño de la muestra. En un modelo no paramétrico, el número (efectivo) de parámetros puede crecer con el tamaño de la muestra.

En una regresión OLS, el número de parámetros siempre será la longitud de $\beta$, más uno para la varianza.

Una red neuronal con arquitectura fija y sin caída de peso sería un modelo paramétrico.

Pero si tiene una disminución de peso, entonces el valor del parámetro de disminución seleccionado por validación cruzada generalmente se reducirá con más datos. Esto puede interpretarse como un aumento en el número efectivo de parámetros al aumentar el tamaño de la muestra.

Creo que si el modelo se define como un conjunto de ecuaciones (puede ser un sistema de ecuaciones concurrentes o una sola), y aprendemos sus parámetros, entonces es paramétrico. Eso incluye ecuaciones diferenciales e incluso la ecuación de Navier-Stokes. Los modelos definidos descriptivamente, independientemente de cómo se resuelvan, entran en la categoría de no paramétricos. Por lo tanto, OLS sería paramétrico, e incluso la regresión cuantil, aunque pertenece al dominio de las estadísticas no paramétricas, es un modelo paramétrico.

Por otro lado, cuando usamos SEM (modelado de ecuaciones estructurales) para identificar el modelo, sería un modelo no paramétrico, hasta que hayamos resuelto el SEM. PCA sería paramétrico, porque las ecuaciones están bien definidas, pero CCA puede ser no paramétrico, porque estamos buscando correlaciones en todas las variables, y si estas son correlaciones de Spearman, tenemos un modelo no paramétrico. Con las correlaciones de Pearson, implicamos un modelo paramétrico (lineal). Creo que los algoritmos de agrupamiento no serían paramétricos, a menos que busquemos grupos de cierta forma.

Y luego tenemos la regresión no paramétrica, que no es paramétrica, y la regresión LOESS, que es paramétrica, pero tiene el mismo propósito: definimos la ecuación y la ventana.

El modelo paramétrico se puede generar utilizando una ecuación, como el modelo de regresión logística, $logodds(G)=int + ax_1 + bx_2 + ...$. El modelo no paramétrico son algoritmos de caja negra como bosque aleatorio, árbol de decisión. No existe una ecuación que pueda describir la relación de atributos detrás del modelo.