¿Algoritmos de aprendizaje automático basados ​​en la "minimización del riesgo estructural"?

9

¿Qué algoritmos de aprendizaje automático (además de SVM) utilizan el principio de minimización de riesgos estructurales ?

reference-request machine-learning Classifire
fuente
2
¿Qué es un algo?
Dave Clarke
algo = algoritmo;)
Classifire
por favor use palabras completas.
Kaveh
ok..no quería hacer el título demasiado tiempo
Classifire
Por lo que puedo decir, SRM no es más que una buena regularización antigua , que se usa absolutamente en todas partes.
Emre

Respuestas:

8

El principio de minimización del riesgo estructural es un principio que se 'usa' al menos en parte en todos los métodos de aprendizaje automático, ya que a menudo se debe tener en cuenta el sobreajuste: reducir la complejidad del modelo es (supuestamente y en la práctica) una buena manera de limitar sobreajuste

  • Los SVM tienen explícitamente un parámetro para la complejidad (la dimensión del espacio de características , o incluso la función del núcleo) y es necesario porque aumentar la complejidad es parte del algoritmo de aprendizaje.

  • Las redes neuronales también tienen un indicador fácil de su complejidad (número de 'celdas') y es parte del algoritmo de aprendizaje asociado.

  • Sin este principio, la inferencia gramatical sería estúpida y la gramática perfecta es la lista de todas las palabras posibles, por lo que cada algoritmo no trivial al menos reconoce este principio.

  • Los árboles de decisión tienen su propia noción de entropía .

  • Los grupos se pueden contar simplemente o "usar" el principio intrínsecamente o tener un número fijo de grupos y, en ese caso, se aplica el principio a un nivel superior.

Para ser sincero, no sé realmente qué sucede en la programación genética, pero no tienen una noción intrínseca de complejidad.

No conozco bien la programación lógica inductiva, pero no parece ajustarse muy bien a este principio.

jmad
fuente
¿Conoces algún algoritmo de aprendizaje que sea aún más poderoso y menos propenso al sobreajuste que SVM? ¿O tal vez una técnica para mejorar la SVM estándar?
Classifire
@ user2278 si por 'poderosos' que quiere decir 'eficiente' a continuación, las SVM son bastante grandes y hay una gran cantidad de investigación al respecto y herramientas de usarlo. Pero, por supuesto, depende de tu problema.
jmad
Bueno, me gustaría usar SVM en los mercados financieros, y en realidad hay bastantes documentos dedicados a este tema (usando SVM para la predicción de acciones, etc.). ¿Existe algún algoritmo que sea más adecuado para ese propósito (especialmente porque las series de tiempo financieras son tan "ruidosas")?
Classifire
@ user2278 Será mejor que use los papeles. No soy un experto (No me sorprendería que los SVM sean los mejores para eso. También se comportan bien con el ruido)
Jmad