Consistencia del proceso de aprendizaje.

Tengo dos preguntas relacionadas con el concepto de "consistencia de aprendizaje" para aquellos que están familiarizados con la teoría del aprendizaje estadístico a la Vapnik.

Pregunta 1.
El proceso de aprendizaje se llama consistente (para la clase de funciones$\mathcal{F}$ y distribución de probabilidad $P$) Si

Estas dos condiciones son independientes. En P. 83 de la "Teoría del aprendizaje estadístico" de Vapnik hay un ejemplo de un conjunto de clasificadores tal manera que la segunda convergencia tiene lugar pero la primera no. Estaba pensando en un ejemplo de un conjunto de clasificadores de manera que la primera convergencia tenga lugar pero la segunda no, y no se me ocurrió nada. ¿Me puede ayudar alguien?$\mathcal{F}$

Pregunta 2.
El proceso de aprendizaje se llama no trivialmente consistente (o estrictamente consistente) (para la clase de funciones y distribución de probabilidad ) si para cualquier número real tal que establezca no está vacío, tenemos:$\mathcal{F}$$P$$c \in R$$\Lambda(c) = \{ f | R(f) \geq c \}$

La página 81 de la "Teoría del aprendizaje estadístico" de Vapnik proporciona una ilustración de por qué queremos considerar la consistencia estricta en lugar de la consistencia definida en la Pregunta 1, es decir, por qué queremos presentar y considerar para cualquier . Todos los demás textos que consideran la consistencia estricta esencialmente duplican la ilustración de Vapnik cuando quieren explicar la razón detrás del concepto de consistencia estricta. Sin embargo, no estoy muy contento con la ilustración de Vapnik debido a 2 razones: primero, se hace en términos de funciones de pérdida$\Lambda(c)$$\inf_{f \in \Lambda(c)}$$c$$Q(z, \alpha)$y no los clasificadores, y, segundo, Fig. 3.2. del libro realmente no tiene sentido cuando consideramos la función de pérdida común para problemas de clasificación, es decir, la función que es igual a 0 cuando la etiqueta de clase pronosticada es igual a la etiqueta de clase verdadera y a 1 en caso contrario.

Entonces, ¿es posible dar otra ilustración más sensata del fundamento del concepto de consistencia estricta? Esencialmente, necesitamos un ejemplo de un conjunto de clasificadores de manera que estos clasificadores no sean consistentes (en términos de la definición de la Pregunta 1) y algún nuevo clasificador que funcione mejor que cualquiera de los clasificadores del conjunto, de modo que cuando agreguemos estos clasificadores al conjunto terminamos con el caso de "consistencia trivial". ¿Algunas ideas?

Para su pregunta 1, tengo un ejemplo, pero requiere que la función de pérdida tome el valor . Estoy bastante seguro de que podemos dar un ejemplo que solo requiere una función de pérdida ilimitada, pero que sería un poco más de trabajo construir. Una pregunta abierta es si hay un ejemplo con una función de pérdida limitada.$\infty$

Considere la configuración de clasificación, donde la distribución de probabilidad está en un espacio . Denotaremos un ejemplo por , con e . Sea el espacio de todas las funciones de clasificación en . Definir la función de pérdida.$P$$\mathcal{Z}=\mathcal{X}\times\{0,1\}$$z=(x,y)$$x\in\mathcal{X}$$y\in\{0,1\}$$\mathcal{F}=\mathcal{X}^{\{0,1\}}$$\mathcal{X}$

Ahora, supongamos que es un conjunto infinitamente contable, y que sea ​​cualquier distribución de probabilidad para la cual para todo . También, supongamos que hay una función de clasificación determinista, es decir, existe para el que para . Esto implica que .$\mathcal{X}=\left\{ x_{1},x_{2},\ldots\right\}$$P$$P(\{x_{i}\})>0$$i=1,2,\ldots$$c\in\mathcal{F}$$y_{i}=c(x_{i})$$i=1,2,...$$\inf_{f\in\mathcal{F}}R(f)=0$

Luego, para cada , , pero (a menos que haya una elección extremadamente afortunada de entre todos los que tienen error empírico). Por lo tanto, , pero no converge a ese valor$l$$R_{emp}(f_{l}^{*})=0$$R(f_{l}^{*})=\infty$$f_{l}^{*}$$f\in\mathcal{F}$$0$$R_{emp}(f_{l}^{*})\to\inf_{f\in\mathcal{F}}R(f)$$R(f_{l}^{*})$

Para la pregunta 2, estoy de acuerdo en que su ejemplo no parece aplicarse al caso de clasificación, y no veo una manera obvia de hacer ese ejemplo.