¿Cuáles son los últimos métodos para entrenar un bot de chat?

Me gustaría entrenar a un bot que use el ingreso de texto, memorice algunas categorías y responda las preguntas en consecuencia. Además, como la versión 2.0, también quiero que el bot responda las entradas de voz. ¿Cuáles son los últimos algoritmos de aprendizaje automático / IA disponibles para el mismo? Por favor hagamelo saber.

Su pregunta es increíblemente amplia, por lo que en respuesta, dos marcos generales que le animo a mirar son:

1. Para el desarrollo de conversación de chatbot de vanguardia, http://rasa.ai es un marco de código abierto que es más adaptable que los sistemas basados ​​en reglas más tradicionales.
2. Para el reconocimiento de voz, visite https://discourse.mozilla.org/c/deep-speech que también es de código abierto.

Si su bot "recuerda" algunas categorías y luego responde las preguntas, entonces es bastante inútil en el escenario actual. porque en ese caso funciona muy mal en un conjunto de datos diferente (conjunto de prueba). en terminología estadística se llama "sobreajuste". y llegando a responder preguntas, no existe una regla general para definir algoritmos de "estado del arte". aunque puede verificar algunos modelos que funcionaron bien en babi o conjuntos de datos similares como redes de memoria dinámica o modelos seQ2seQ. para tener una idea básica de este campo, le sugiero que aprenda la jerga básica de aprendizaje automático y luego pase a un curso avanzado de procesamiento de lenguaje natural (Stanford ofrece cs224n).

Estado de AbuShawar y Atwell:

Un chatbot es un agente de conversación que interactúa con los usuarios paso a paso utilizando lenguaje natural. Se han desarrollado diferentes chatbots o sistemas de diálogo humano-computadora utilizando comunicación hablada o de texto y se han aplicado en diferentes dominios, tales como: investigación lingüística, educación en idiomas, servicio al cliente, ayuda en el sitio web y por diversión.

Los suyos y otros documentos transmiten algunos de los muchos enfoques contemporáneos para la capacitación de chatbot a partir de este escrito.

Extracción automática de datos de entrenamiento de Chatbot de Natural Dialogue Corpora , Bayan AbuShawar, Eric Atwell, 2016

Sin embargo, la mayoría de los chatbots están restringidos al conocimiento que se encuentra manualmente en sus archivos y a un lenguaje natural específico que se escribe o se habla. Este artículo presenta el programa que desarrollamos para convertir un texto legible por máquina (corpus) a un formato de chatbot específico, que luego se utiliza para volver a capacitar a un chatbot y generar un chat más cercano al lenguaje humano. Se utilizaron diferentes corpus: corpus de diálogo como el British National Corpus of English (BNC); el libro sagrado del Islam Corán, que es un corpus monólogo donde el verso y el siguiente verso son turnos; y las preguntas frecuentes donde las preguntas y respuestas son un par de turnos. El objetivo principal de este proceso de automatización es la capacidad de generar diferentes prototipos de chatbot que hablen diferentes idiomas basados ​​en corpus.

Selección de acciones de Chatbot conscientes de la incertidumbre del contexto a través del aprendizaje de refuerzo auxiliar parametrizado , Chuandong Yin, Rui Zhang, Jianzhong Qi, Yu Sun y Tenglun Tan, 2018

Proponemos un chatbot consciente de la incertidumbre del contexto y un modelo de aprendizaje de refuerzo (RL) para entrenar al chatbot. El modelo propuesto se denomina Critical Actor Advantage Asynchronous Advantage Actor Critic (PA4C). Utilizamos un simulador de usuario para simular la incertidumbre de la confianza de los usuarios en un contexto de conversación. En comparación con los enfoques ingenuos basados ​​en reglas, nuestro chatbot entrenado a través del modelo PA4C evita la selección de acciones hechas a mano y es más robusto para la variación de la expresión del usuario. El modelo PA4C optimiza los modelos RL convencionales con parametrización de acción y tareas auxiliares para la capacitación de chatbot, que abordan los problemas de un gran espacio de acción y estados de recompensa cero. Evaluamos el modelo PA4C sobre el entrenamiento de un chatbot para tareas de creación de eventos de calendario.

Capacitación supervisada del sistema de aprendizaje mediante la interacción Chatbot , publicación de solicitud de patente de los Estados Unidos 0034828 A1, International Business Machines Corporation, Armonk, NY, EE. UU., 2019

Un método implementado por computadora que comprende recibir y analizar un punto de datos para determinar los parámetros del punto de datos, generar un ticket de alerta basado en el análisis del punto de datos, comunicar, a través de un chatbot, al menos parte de la información contenida en el ticket de alerta o más usuarios, y categorizando, a través del chatbot, el punto de datos que resultó en el ticket de alerta basado en el comportamiento de un dispositivo que generó el punto de datos. Jonathan A. Cagadas, Alexander D. Lewitt, Simon D. Mikulcik, Karan Shukla, Leigh A. Williamson

Entrenamiento en dos pasos y codificación-decodificación mixta para implementar un chatbot generativo con un pequeño cuerpo de diálogo , Jintae Kim, Hyeon-Gu Lee, Harksoo Kim, Yeonsoo Lee, Young-Gil Kim, 2016

Los modelos de chatbot generativos basados ​​en redes de secuencia a secuencia pueden generar interacciones de conversación naturales si se utiliza un gran corpus de diálogo como datos de entrenamiento. Sin embargo, a excepción de algunos idiomas como el inglés y el chino, sigue siendo difícil reunir un gran corpus de diálogo. Para abordar este problema, proponemos un modelo de chatbot que utiliza una mezcla de palabras y sílabas como unidades de codificación-decodificación. Además, proponemos un método de capacitación de dos pasos, que incluye la capacitación previa con un gran corpus sin diálogo y la reentrenamiento con un pequeño corpus de diálogo. En nuestros experimentos, se demostró que las unidades de mezcla ayudan a reducir los problemas de falta de vocabulario (OOV). Además, el método de entrenamiento en dos pasos fue efectivo para reducir los errores gramaticales y semánticos en las respuestas cuando el chatbot fue entrenado usando un pequeño corpus de diálogo (533,

Selección de datos inspirada en la submodularidad para la capacitación de chatbot orientada a objetivos basada en incrustaciones de oraciones , Mladen Dimovski, Claudiu Musat, Vladimir Ilievski, Andreea Hossmann, Michael Baeriswyl, 2018

Los sistemas de comprensión del lenguaje hablado (SLU), como chatbots orientados a objetivos o asistentes personales, se basan en un módulo inicial de comprensión del lenguaje natural (NLU) para determinar la intención y extraer la información relevante de las consultas de los usuarios que toman como entrada. Los sistemas SLU generalmente ayudan a los usuarios a resolver problemas en dominios relativamente estrechos y requieren una gran cantidad de datos de capacitación en el dominio. Esto conduce a importantes problemas de disponibilidad de datos que inhiben el desarrollo de sistemas exitosos. Para aliviar este problema, proponemos una técnica de selección de datos en el régimen de datos bajos que nos permite entrenar con menos oraciones etiquetadas, por lo tanto, menores costos de etiquetado. Proponemos una función de clasificación de datos inspirada en la submodularidad, la ganancia marginal de relación-penalización, para seleccionar puntos de datos para etiquetar basándose solo en la información extraída del espacio de incrustación textual. Mostramos que las distancias en el espacio de inclusión son una fuente viable de información que puede usarse para la selección de datos. Nuestro método supera dos técnicas conocidas de aprendizaje activo y permite una capacitación rentable de la unidad NLU. Además, nuestra técnica de selección propuesta no necesita que el modelo se vuelva a entrenar entre los pasos de selección, por lo que también es eficiente en el tiempo.

Puede trabajar con redes neuronales recurrentes con LSTM o GRU como celdas de memoria e incrustaciones de palabras como Word2vec. Los modelos Beam Search y Attention también se pueden utilizar con los RNN para obtener más solidez y menos sesgo. Pero los resultados de estos son apreciables hasta cierto punto solo ya que la investigación en este campo todavía está en marcha y hay mucho que desvelar.