artificial intelligence - Comparación entre luis.ai vs api.ai vs wit.ai?

artificial-intelligence dialogflow

Question

¿Alguien sabe las diferencias y características específicas entre los tres, o si uno tiene más características / más flexible para usar como desarrollador?

Answer 1

wit.ai vs api.ai vs luis.ai

╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║                                                  wit.ai vs api.ai vs luis.ai                                                 ║
╠══════╦════════════════════════════════════╦═════════════════════════════════════════════╦════════════════════════════════════╣
║ S.No ║               Wit.ai               ║                    Api.ai                   ║               Luis.ai              ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 1    ║ Wit.ai API is completely free      ║ Api.ai Has a paid enterprise option         ║ LUIS is in beta and free to use    ║
║      ║ with no limitations on             ║ which allows for this to be run on a        ║ 10K transactions per month         ║
║      ║ request rates.                     ║ private cloud internally and more           ║ and up to 5 requests per second    ║
║      ║                                    ║ from their services team., After google     ║ for each account.                  ║
║      ║                                    ║ acquisition they are providing free         ║                                    ║
║      ║                                    ║ services by integrating google cloud        ║                                    ║
║      ║                                    ║ services.                                   ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 2    ║ Provides a nice combination        ║ Speech to Text and Text to Speech           ║ LUIS uses machine learning         ║
║      ║ of both voice recognition and      ║ capabilities, along with machine            ║ based methods to analyze           ║
║      ║ machine learning for developers.   ║ learning.                                   ║ sentences. To perform machine      ║
║      ║                                    ║                                             ║ learning, LUIS breaks an           ║
║      ║                                    ║                                             ║ utterance into "tokens".           ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 3    ║ Has two main elements to it        ║ Support of Intents, Entities, actions       ║ Supports Intents, Entities         ║
║      ║ that you set up within your        ║ and one key focus area is its “Domains”.    ║ and actions.                       ║
║      ║ app – intents and entities.        ║                                             ║                                    ║
║      ║ Actions are separated to           ║                                             ║                                    ║
║      ║ use as a combined operations.      ║                                             ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 4    ║ Has pre-build entities like        ║ Has pre-build entities like @sys.date,      ║ Has pre-build entities             ║
║      ║ temperature, number, URLs,         ║ @sys.color, @sys.unit-currency… etc.        ║ builtin.intent.alarm,              ║
║      ║ emails, duration… etc.             ║                                             ║ builtin.intent.calendar,           ║
║      ║                                    ║                                             ║ builtin.intent.email… etc.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 5    ║ Doesn’t have integration module    ║ Has integration module to connect           ║ Has integration to Microsoft       ║
║      ║ to directly communicating with     ║ directly to Facebook messenger and          ║ Azure and other services, can be   ║
║      ║ Facebook messenger or other        ║ other messenger api’s. Has support for      ║ deployable in any supported        ║
║      ║ messenger APIs. but has web        ║ deploying in to heroku server, enterprise   ║ servers.                           ║
║      ║ service api to hook services.      ║ paid environment.                           ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 6    ║ Early in 2015, joined Facebook     ║ Created by a team who built personal        ║ LUIS was introduced together with  ║
║      ║ and opened up the entire platform  ║ assistant app for major mobile platforms    ║ Microsoft Bot Framework and Skype  ║
║      ║ to be free for both public and     ║ with speech and text enabled conversations. ║ Developer Platform which can be    ║
║      ║ private instances.                 ║ acquired by google (sept 2016).             ║ used to create Skype Bots.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 7    ║ Wit.ai API for developers of iOS,  ║ Api.ai has SDKs for Android, iOS,           ║ LUIS allow building applications   ║
║      ║ Android, Node.js, Raspberry Pi,    ║ the Apple Watch, Node.js, Cordova,          ║ by using the LUIS web interface.   ║
║      ║ Ruby, Python, C, Rust and          ║ Unity, C#, Xamarin, Windows Phone,          ║ No coding needed other than the    ║
║      ║ Windows Phone. It even             ║ Python and JavaScript. It also can be       ║ ability to interpret and use the   ║
║      ║ has a JavaScript plugin for        ║ integrated with Amazon’s Echo and           ║ returned JSON in application.      ║
║      ║ front end developers.              ║ Microsoft’s Cortana.                        ║ It is also possible to use the     ║
║      ║                                    ║                                             ║ LUIS REST API for                  ║
║      ║                                    ║                                             ║ automation of applications.        ║
╚══════╩════════════════════════════════════╩═════════════════════════════════════════════╩════════════════════════════════════╝

Actualización: API.AI ahora es Dialogflow. Aprende más aquí.

Answer 2

En mi opinión, Luis es más robusto y puede extraer entidades en diferentes idiomas. Lo probé en api.ai y el holandés no me funcionó. Si solo necesita inglés, cualquiera de ellos debería estar bien, pero si necesita admitir más idiomas, pruebe mejor esos idiomas también antes de quedarse con un solo servicio. Bing Speech to Text está bien, pero creo que para obtener una solución más sólida, necesitará otro servicio de Microsoft que limpie la voz y el ruido.

Answer 3

Estaba usando DialogFlow pero cambié a LUIS. ¿Por qué? porque cuando llamas a DetectIntent en DialogFlow obtienes un JSON con la intención seleccionada y su nivel de confianza, pero necesito obtener una lista de intentos con el nivel de confianza de cada uno. Lo mismo sucede con wit.ai y api.ai.

Por otro lado, LUIS le da una lista de intentos como respuesta. De esa manera, puedo aplicar más procesamiento de mi lado.

Este es un ejemplo de LUIS cuando busca "reservar vuelo a El Cairo" (parte del ejemplo de LUIS):

{ "query": "Book me a flight to Cairo", "topScoringIntent": { "intent": "BookFlight", "score": 0.9887482 }, "intents": [ { "intent": "BookFlight", "score": 0.9887482 }, { "intent": "None", "score": 0.04272597 }, { "intent": "LocationFinder", "score": 0.0125702191 }, { "intent": "Reminder", "score": 0.00375502417 }, { "intent": "FoodOrder", "score": 3.765154E-07 }, ], "entities": [ { "entity": "cairo", "type": "Location", "startIndex": 20, "endIndex": 24, "score": 0.956781447 } ] }

Por otro lado, la interfaz de usuario para configurar DialogFlow es mucho más potente que lo que obtienes con LUIS.

Answer 4

Este stanfy.com/blog/… tiene un muy buen análisis y comparación de los servicios de Luis, Wit.ai, Api.ai, Amazon Alexa e IBM Watson. También tiene una buena historia de por qué querrías construir un bot conversacional en primer lugar y algunos de los desafíos que conlleva. Está escrito por las personas detrás de YumiBot (un bot que le ofrece cotizaciones de precios para el desarrollo de aplicaciones).

La esencia general es que Wit.ai y Luis son excelentes opciones si estás experimentando y solo quieres obtener algo gratis. Api.ai tiene un gran servicio y experiencia de usuario, pero no es gratuito. Lo mismo con IBM Watson , este último tiene un precio más alto para el trabajo empresarial. La API de Alexa es excelente, pero solo funciona con Alexa (pero dado que tienen una gran base de usuarios, no es un mal negocio).

Su consejo también es no confiar demasiado en un proveedor:

Le recomendamos que almacene todos los datos necesarios para su modelo de forma estructurada en su propio repositorio de código. Luego, puede volver a capacitar al modelo desde cero, o incluso cambiar el proveedor de comprensión del idioma si es necesario. Simplemente no desea estar en una situación en la que una empresa cierra su servicio y no está completamente preparado. ¿Te acuerdas de Parse?

¡Espero que esto te haya ayudado un poco! Creo que la mejor manera de elegir es probar estos servicios. Dado que muchos de ellos aún están en desarrollo y agregan características / cambian los modelos de precios, debe intentar encontrarlos con un caso de uso específico y ver cuál puede llevarlo a donde necesita más rápido.

Answer 5

Recientemente hemos publicado un estudio de evaluación de siete servicios habilitados para API NLU : API.ai, Amazon Lex, Microsoft LUIS, IBM Watson Conversation, wit.ai, Recast.ai y Snips.ai.

Un breve resumen de nuestros hallazgos:

• La detección de la intención de IBM Watson es la mejor, especialmente en conjuntos de datos de entrenamiento más pequeños (aunque cuando se entrena en más de 2000 muestras, la diferencia es indistinguible).
• API.AI es gratis, el rendimiento en un conjunto de entrenamiento lo suficientemente grande coincide con IBM Watson y Microsoft LUIS.
• Microsoft LUIS funciona significativamente más rápido que otros en nuestras pruebas. wit.ai tiene un rendimiento y un tiempo de respuesta algo peores que los tres anteriores, pero es gratuito y proporciona la mejor cobertura de idioma (unos 50 idiomas).
• Amazon Lex tiene límites de API bastante estrictos (el tamaño del conjunto de entrenamiento está limitado a 200K símbolos, lo que puede ser insuficiente para alcanzar una buena calidad de detección de intención para un asistente de múltiples propósitos; también requiere que todas las expresiones de entrenamiento estén etiquetadas por entidades, lo que complica preparación del conjunto de datos.

Answer 6

Un aspecto de esta pregunta es cuán eficientes son estas herramientas para comprender el lenguaje natural. En un punto de referencia reciente que acabamos de publicar (Snips, una compañía francesa de inteligencia artificial), probamos los motores de lenguaje natural incorporados de Alexa (Amazon), SiriKit (Apple), Luis (Microsoft) y API.ai (Google).

Pusimos a prueba su capacidad para comprender consultas naturales como "Búscame una barra de ensaladas a la que pueda ir para mi almuerzo", "Solicite un taxi para 6 personas", así como otras 326 consultas.

La conclusión general es que todas las soluciones son imperfectas.

Más precisamente, todos tienen niveles similares de ruido en sus respuestas (entre 60% y 90% de precisión), pero hay diferencias significativas en la amplitud del lenguaje que pueden soportar. Desde esta perspectiva, Luis tiene el peor desempeño: en cada caso de uso que probamos, entendió menos del 14% de las consultas. API.ai funciona mejor, aunque no de manera muy confiable: comprende entre 0 y 80% de las consultas que probamos, dependiendo de los casos de uso. Los niveles más altos de recuerdo se pueden observar para Alexa (42% y 82% de recuerdo) y Siri (61% de recuerdo).

Se pueden encontrar más detalles, y los datos en bruto detrás de estos resultados en nuestra publicación de blog, Benchmarking Natural Language Understanding Systems

Answer 7

Voy a responder la última parte de su pregunta sobre flexibilidad y ser desarrollador, en mi opinión, finalmente se reduce a lo que está buscando en estas plataformas.

Si usted es un desarrollador que utiliza NodeJS o .Net, LUIS.ai tiene una biblioteca extensa y fragmentos de código bien definidos y un ejemplo para activar un bot decente con bastante rapidez. El reconocimiento de intenciones y entidades está un poco por debajo de la media en comparación con Google, pero si usted es Microsoft Shop, hay muchas integraciones de 1 clic para O365, Teams, Skype, cortana, etc. Las desventajas de LUIS.ai es que su servicio parece muy inestable, al momento de escribir esto, su sitio web LUIS.ai no funciona rechazando conexiones y ha pasado más de una semana, donde la integración de cortana no está funcionando. Entonces la plataforma aún es un trabajo en progreso.

Api.ai, desde una perspectiva pura de NLU es mejor que Luis.ai, los intentos de seguimiento son muy fáciles de configurar, el cebado del habla es muy superior al de Luis.ai (incluso después del cebado del habla). Las desventajas, diría, es que la conectividad y también la API para construir un bot son un poco más complicadas que construir un bot de chat basado en MSBot.

Otra plataforma de código abierto que está ganando terreno es RASA NLU. https://rasa.com/ . Comparativamente, el reconocimiento de la entidad y la clasificación aún es un poco incompleta de grandes conjuntos de datos, pero es de código abierto y si quieres ensuciarte las manos, puedes bifurcar su plataforma github y mejorarla.

Desde una perspectiva de desarrollo puro, es más fácil subir un chatbot en la plataforma MS (usando luis.ai o qnamaker.ai), pero prepárate para enfrentar desafíos mientras trabajan para estabilizar la plataforma.

-Kartik