Comparación entre luis.ai vs api.ai vs wit.ai?

80

¿Alguien conoce las diferencias y características específicas entre los tres, o si uno tiene más características / es más flexible para usar como desarrollador?

Thomas G
fuente
4
¡Este es un artículo realmente bueno que cubre una comparación entre ellos! stanfy.com/blog/…
Omar Shehata
@OmarShehata, por favor, pon eso en una respuesta.
Mokhtar Ashour
¡Hecho! @MokhtarAshour
Omar Shehata
@OmarShehata upvoted!
Mokhtar Ashour

Respuestas:

95

wit.ai Dialogflow luis.aivs vs

╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║                                      wit.ai vs api.ai(Dialogflow) vs luis.ai                                                 ║
╠══════╦════════════════════════════════════╦═════════════════════════════════════════════╦════════════════════════════════════╣
║ S.No ║               Wit.ai               ║          Api.ai(Dialogflow)                 ║               Luis.ai              ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 1    ║ Wit.ai API is completely free      ║ Api.ai Has a paid enterprise option         ║ LUIS is in beta and free to use    ║
║      ║ with no limitations on             ║ which allows for this to be run on a        ║ 10K transactions per month         ║
║      ║ request rates.                     ║ private cloud internally and more           ║ and up to 5 requests per second    ║
║      ║                                    ║ from their services team., After google     ║ for each account.                  ║
║      ║                                    ║ acquisition they are providing free         ║                                    ║
║      ║                                    ║ services by integrating google cloud        ║                                    ║
║      ║                                    ║ services.                                   ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 2    ║ Provides a nice combination        ║ Speech to Text and Text to Speech           ║ LUIS uses machine learning         ║
║      ║ of both voice recognition and      ║ capabilities, along with machine            ║ based methods to analyze           ║
║      ║ machine learning for developers.   ║ learning.                                   ║ sentences. To perform machine      ║
║      ║                                    ║                                             ║ learning, LUIS breaks an           ║
║      ║                                    ║                                             ║ utterance into "tokens".           ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 3    ║ Has two main elements to it        ║ Support of Intents, Entities, actions       ║ Supports Intents, Entities         ║
║      ║ that you set up within your        ║ and one key focus area is its “Domains”.    ║ and actions.                       ║
║      ║ app – intents and entities.        ║                                             ║                                    ║
║      ║ Actions are separated to           ║                                             ║                                    ║
║      ║ use as a combined operations.      ║                                             ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 4    ║ Has pre-build entities like        ║ Has pre-build entities like @sys.date,      ║ Has pre-build entities             ║
║      ║ temperature, number, URLs,         ║ @sys.color, @sys.unit-currency… etc.        ║ builtin.intent.alarm,              ║
║      ║ emails, duration… etc.             ║                                             ║ builtin.intent.calendar,           ║
║      ║                                    ║                                             ║ builtin.intent.email… etc.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 5    ║ Doesn’t have integration module    ║ Has integration module to connect           ║ Has integration to Microsoft       ║
║      ║ to directly communicating with     ║ directly to Facebook messenger and          ║ Azure and other services, can be   ║
║      ║ Facebook messenger or other        ║ other messenger api’s. Has support for      ║ deployable in any supported        ║
║      ║ messenger APIs. but has web        ║ deploying in to heroku server, enterprise   ║ servers.                           ║
║      ║ service api to hook services.      ║ paid environment.                           ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 6    ║ Early in 2015, joined Facebook     ║ Created by a team who built personal        ║ LUIS was introduced together with  ║
║      ║ and opened up the entire platform  ║ assistant app for major mobile platforms    ║ Microsoft Bot Framework and Skype  ║
║      ║ to be free for both public and     ║ with speech and text enabled conversations. ║ Developer Platform which can be    ║
║      ║ private instances.                 ║ acquired by google (sept 2016).             ║ used to create Skype Bots.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 7    ║ Wit.ai API for developers of iOS,  ║ Api.ai has SDKs for Android, iOS,           ║ LUIS allow building applications   ║
║      ║ Android, Node.js, Raspberry Pi,    ║ the Apple Watch, Node.js, Cordova,          ║ by using the LUIS web interface.   ║
║      ║ Ruby, Python, C, Rust and          ║ Unity, C#, Xamarin, Windows Phone,          ║ No coding needed other than the    ║
║      ║ Windows Phone. It even             ║ Python and JavaScript. It also can be       ║ ability to interpret and use the   ║
║      ║ has a JavaScript plugin for        ║ integrated with Amazon’s Echo and           ║ returned JSON in application.      ║
║      ║ front end developers.              ║ Microsoft’s Cortana.                        ║ It is also possible to use the     ║
║      ║                                    ║                                             ║ LUIS REST API for                  ║
║      ║                                    ║                                             ║ automation of applications.        ║
╚══════╩════════════════════════════════════╩═════════════════════════════════════════════╩════════════════════════════════════╝

Actualización: API.AI ahora es Dialogflow. Aprende más aquí.

Chandra Sekhar
fuente
3
El límite mensual de LUIS bajará a 10K en lugar de 100K
Mokhtar Ashour
5
Api.ai ahora ha eliminado su límite en las solicitudes de la versión gratuita desde que fue adquirida por Googe. Y Api.ai en mi humilde opinión, es el más eficiente y bien diseñado, aunque nunca he usado luis.
Chris - Jr
¿Luis es compatible con la función de voz a texto como api.ai, sin comprar otro producto bing speech to text?
Tariq
@Tariq LUIS se centra únicamente en el procesamiento y la tokenización del lenguaje natural. Hay un servicio separado de Cognitive Services de Microsoft que lo maneja: Bing Speech API
mark stiles
Hola Chandra, no puedo encontrar la opción de empresa paga para api.ai como mencionaste, ¿puedes ayudarme?
Abhishek
45

Esta entrada de blog tiene un muy buen análisis y comparación de Luis, Wit.ai, Api.ai, Amazon Alexa y servicios de IBM Watson. También tiene una buena experiencia sobre por qué querría construir un bot conversacional en primer lugar y algunos de los desafíos que conlleva. Está escrito por la gente detrás de YumiBot (un bot que le da cotizaciones de precios para el desarrollo de aplicaciones).

La esencia general es que Wit.ai y Luis son excelentes opciones si estás experimentando y solo quieres obtener algo gratis. Api.ai tiene un gran servicio y experiencia de usuario, pero no es gratis. Lo mismo ocurre con IBM Watson , este último cuesta más para el trabajo empresarial. La API de Alexa es excelente, pero solo funciona con Alexa (pero dado que tienen una gran base de usuarios, no es un mal negocio).

Su consejo también es no depender demasiado de un proveedor:

Le recomendamos que almacene todos los datos necesarios para su modelo de forma estructurada en su propio repositorio de código. Entonces, más tarde, puede volver a capacitar el modelo desde cero o incluso cambiar el proveedor de comprensión del idioma si es necesario. Simplemente no quiere estar en una situación en la que una empresa cierre su servicio y usted no esté preparado para nada. ¿Te acuerdas de Parse?

¡Espero que esto te haya ayudado un poco! Creo que la mejor manera de tomar una decisión es simplemente probar estos servicios. Dado que muchos de ellos aún están en desarrollo y están agregando funciones / cambiando los modelos de precios, debe intentar abordarlos con un caso de uso específico y ver cuál puede llevarlo a donde necesita más rápido.

Omar Shehata
fuente
3
Api.ai ahora es gratuito después de que Google lo adquirió.
nguyên
8

Recientemente hemos publicado un estudio de evaluación de siete servicios habilitados para API de NLU : API.ai, Amazon Lex, Microsoft LUIS, IBM Watson Conversation, wit.ai, Recast.ai y Snips.ai.

Un breve resumen de nuestros hallazgos:

  • La detección de intenciones de IBM Watson es la mejor, especialmente en conjuntos de datos de entrenamiento más pequeños (aunque cuando se entrena en más de 2000 muestras, la diferencia es indistinguible).
  • API.AI es gratuito, el rendimiento en un conjunto de entrenamiento suficientemente grande coincide con IBM Watson y Microsoft LUIS.
  • Microsoft LUIS funciona significativamente más rápido que otros en nuestras pruebas. wit.ai tiene un rendimiento y un tiempo de respuesta algo peores que los tres anteriores, pero es gratuito y ofrece la mejor cobertura de idiomas (unos 50 idiomas).
  • Amazon Lex tiene límites de API bastante estrictos (el tamaño del conjunto de entrenamiento está limitado a 200K símbolos, lo que puede ser insuficiente para alcanzar una buena calidad de detección de intenciones para un asistente de intenciones múltiples; también requiere que todas las expresiones de capacitación estén etiquetadas por entidades, lo que complica preparación del conjunto de datos.
Savenkov
fuente
7

Un aspecto de esta pregunta es qué tan eficientes son estas herramientas para comprender el lenguaje natural. En una evaluación comparativa reciente que acabamos de publicar (Snips, una empresa francesa de inteligencia artificial), probamos los motores de lenguaje natural integrados de Alexa (Amazon), SiriKit (Apple), Luis (Microsoft) y API.ai (Google).

Probamos su capacidad para comprender consultas naturales como "Encuéntreme una barra de ensaladas a la que pueda ir para mi reunión de almuerzo", "Solicite un taxi para 6 personas", así como otras 326 consultas.

La conclusión general es que todas las soluciones son imperfectas.

Más precisamente, todos tienen niveles similares de ruido en sus respuestas (entre el 60% y el 90% de precisión), pero existen diferencias significativas en la amplitud del lenguaje que pueden admitir. Desde esta perspectiva, Luis tiene el peor desempeño: en cada caso de uso que probamos, entendió menos del 14% de las consultas. API.ai funciona mejor, aunque no de forma muy fiable: comprende entre el 0 y el 80% de las consultas que probamos, según los casos de uso. Los niveles más altos de recuerdo se pueden observar para Alexa (42% y 82% de recuerdo) y Siri (61% de recuerdo).

Puede encontrar más detalles y los datos sin procesar detrás de estos resultados en nuestra publicación de blog, Benchmarking Natural Language Understanding Systems

Joseph Dureau
fuente
2

Voy a responder la última parte de su pregunta sobre la flexibilidad y ser un desarrollador, en mi opinión, finalmente se reduce a lo que está buscando en estas plataformas.

Si eres un desarrollador que usa NodeJS o .Net, LUIS.ai tiene una biblioteca extensa y fragmentos de código bien definidos y ejemplos para crear un bot decente con bastante rapidez. Las intenciones y el reconocimiento de entidades están un poco por debajo de la media en comparación con Google, pero si eres Microsoft Shop, hay muchas integraciones de 1 clic para O365, Teams, Skype, cortana, etc. Las desventajas de LUIS.ai es que su servicio parece muy inestable, al momento de escribir esto, su sitio web LUIS.ai no está funcionando rechazando conexiones y ha pasado más de una semana, donde la integración de cortana no está funcionando. Entonces, la plataforma todavía es un trabajo en progreso.

Api.ai, desde una perspectiva pura de NLU es mejor que Luis.ai, las intenciones de seguimiento son muy fáciles de configurar, la preparación de voz es muy superior a Luis.ai (incluso después de la preparación de voz). Los contras, diría, es la conectividad y también la API para construir un bot son un poco más complicados que construir un bot de chat basado en MSBot.

Otra plataforma de código abierto que está ganando terreno es RASA NLU. https://rasa.com/ . Comparativamente, el reconocimiento de entidades y la clasificación todavía es un poco incompleta de grandes conjuntos de datos, pero sus fuentes abiertas y si quieres ensuciarte las manos, puedes bifurcar su plataforma github y mejorarla.

Desde una perspectiva de desarrollo pura, es más fácil volar un chatbot en la plataforma MS (usando luis.ai o qnamaker.ai), pero prepárese para enfrentar desafíos mientras trabajan en la estabilización de la plataforma.

-Kartik

Kartik
fuente
1

En mi opinión, Luis es más robusto y puede extraer entidades en diferentes idiomas. Probé en api.ai y el holandés no funcionó para mí. Si solo necesita inglés, cualquiera de ellos debería estar bien, pero si necesita admitir más idiomas, pruebe mejor esos idiomas también antes de quedarse atascado con un servicio. Bing Speech to Text está bien, pero creo que para obtener una solución más sólida, necesitará otro servicio de Microsoft que limpie la voz y el ruido.

andreja
fuente
0

Estaba usando DialogFlow pero cambié a LUIS. ¿Por qué? porque cuando llamas a DetectIntent en DialogFlow obtienes un JSON con la intención seleccionada y su nivel de confianza, pero necesito obtener una lista de intenciones con el nivel de confianza de cada una. Lo mismo ocurre con wit.ai y api.ai.

Por otro lado, LUIS le da una lista de intenciones como respuesta. De esa manera, puedo aplicar un procesamiento adicional por mi parte.

Este es un ejemplo de LUIS cuando busca "reservar vuelo a El Cairo" (parte del ejemplo de LUIS):

 {
   "query": "Book me a flight to Cairo",
   "topScoringIntent": {
       "intent": "BookFlight",
       "score": 0.9887482
   },
   "intents": [
       {
           "intent": "BookFlight",
           "score": 0.9887482
       },
       {
           "intent": "None",
           "score": 0.04272597
       },
       {
           "intent": "LocationFinder",
           "score": 0.0125702191
       },
       {
           "intent": "Reminder",
           "score": 0.00375502417
       },
       {
           "intent": "FoodOrder",
           "score": 3.765154E-07
       },
   ],
   "entities": [
       {
           "entity": "cairo",
           "type": "Location",
           "startIndex": 20,
           "endIndex": 24,
           "score": 0.956781447
       }
   ]
}

Por otro lado, la interfaz de usuario para configurar DialogFlow es mucho más poderosa que la que se obtiene con LUIS.

Francisco Goldenstein
fuente