Un motor de PNL es una colección compleja de sistemas que requiere un conjunto diverso de conocimientos especializados y una gran cantidad de cuidado. Desde el diseño de los protocolos de seguimiento de los pacientes más concisos e inequívocos hasta la optimización y mejora constantes de nuestros sistemas, cada factor es vital para mantener los estándares de alto rendimiento por los que nos esforzamos a diario.
El lenguaje ha estado en el centro de la investigación de la Inteligencia Artificial (IA) desde el principio. De hecho, una de las primeras pruebas definidas formalmente para demostrar si una máquina presenta o no inteligencia, la famosa prueba de Turing, se basa en conversaciones naturales entre una máquina y un evaluador humano. Este enfoque en el lenguaje ha llevado al desarrollo del campo del procesamiento del lenguaje natural (PNL) dentro de los campos más generales del aprendizaje automático y la inteligencia artificial. La PNL combina conocimientos de lingüística, inteligencia artificial, informática y psicología para mejorar las interacciones entre humanos y máquinas mediante el uso del lenguaje.
Teniendo esto en cuenta, es lógico suponer que la PNL es la base de LOLA, nuestra asistente médica virtual. De hecho, desde el momento en que el paciente coge el teléfono, varios sistemas de PNL entran en acción de inmediato para garantizar que la conversación se desarrolle de la manera más fluida posible: LOLA necesita poder hablar de forma natural para preguntarle al paciente sobre sus síntomas; necesita poder escuchar con atención y esperar a que el paciente termine de responder cada pregunta, asegurándose de que transcribe cada respuesta con la mayor precisión posible; luego necesita poder analizar la información contenidas en las respuestas del paciente y extraiga los datos clínicos con la máxima precisión precisión.
Todas estas acciones implican sistemas complejos que deben trabajar juntos de forma orgánica para que la conversación se desarrolle de forma natural y garantizar que el paciente se sienta cómodo en todo momento. Además, dada la naturaleza extremadamente delicada del trabajo de LOLA, es vital que nos aseguremos de que la información clínica recopilada durante cada conversación sea correcta y de que estemos constantemente al tanto de la precisión de nuestro motor de PNL.
Los componentes principales del cerebro de LOLA
Ya hemos insinuado cuáles son los componentes principales de nuestro motor de PNL, pero ahora les daremos sus nombres formales y los definiremos en términos más específicos.
Conversión de texto a voz
En la IA, la conversión de texto a voz (TTS) es la acción de convertir el texto escrito en audio mediante un vocalizador sintetizado. Esencialmente, esto es lo que le da a LOLA su voz y le permite hablar. En Tucuvi utilizamos servicios de conversión de texto a voz de terceros de última generación basados en redes neuronales profundas. Nuestro énfasis está puesto en hacer que LOLA suene lo más natural posible. Esto se logra, en parte, seleccionando cuidadosamente las voces que mejor suenan para cada idioma que utilizamos. Sin embargo, lo que es más importante, el diseño cuidadoso de la conversación es el factor principal cuando se trata de hacer que LOLA suene agradable y empática sin dejar de ser clara y fácil de entender, todo lo cual tiene un gran impacto en el rendimiento general del sistema. Hablaremos un poco más sobre esto en la siguiente sección.
Conversión de voz a texto
Por el contrario, la conversión de voz a texto (STT) es la acción de transcribir la voz con precisión. Esto es lo que ocurre en tiempo real cuando el paciente responde a cada una de las preguntas de LOLA. Esta tarea es de vital importancia y se complica enormemente por el hecho de que las conversaciones con LOLA tienen lugar en una amplia variedad de circunstancias, con diferentes niveles de ruido de fondo, diferentes acentos y tipos de voz y otros factores complejos. Una vez más, utilizamos herramientas de terceros de última generación basadas en modelos lingüísticos extensos, junto con una serie de herramientas internas para garantizar que lo que dicen nuestros pacientes quede registrado con precisión. Estas herramientas internas incluyen el análisis activo del ruido de fondo para optimizar la configuración del motor STT, el ajuste activo de la latencia para garantizar que LOLA adapte sus tiempos de respuesta a los patrones del habla del paciente o el posprocesamiento completo de las conversaciones para aumentar la precisión y mejorar la legibilidad de las transcripciones.
Comprensión del lenguaje natural
Fundamentalmente, una vez que hayamos transcrito la respuesta del paciente, debemos analizar la información que contiene y asegurarnos de que coincide con lo que esperamos. Aquí es donde entra en juego la comprensión del lenguaje natural (NLU). Un motor de NLU toma un fragmento de texto escrito, como la transcripción de la respuesta de un paciente, y devuelve la información esencial que contiene. Para ello, se realizan dos acciones: detección de intenciones y reconocimiento de entidades nombradas.
La detección de intenciones se refiere a la clasificación de la intención detrás de un texto determinado. Por ejemplo, en el contexto de la pregunta de LOLA sobre el bienestar de un paciente, las frases «Me he sentido un poco mal esta semana», «No me he sentido muy bien» o «No, la verdad es que no me siento nada bien» todos comparten la misma intención: el paciente expresa un deterioro de su bienestar. El rango de posibles intenciones esperadas que figuran en las respuestas a una pregunta determinada está predefinido y fijado por los equipos de diseño de productos y conversaciones. De esta manera, para el contexto de bienestar, podríamos, por ejemplo, definir las intenciones mejor, Lo mismo y peor. Definir las intenciones correctamente y asegurarse de que son relevantes para la pregunta que se está formulando es de suma importancia cuando se trata de mantener el rendimiento de todo nuestro sistema de PNL.
El reconocimiento de entidades con nombre, por otro lado, se ocupa de extraer el valor de una variable específica. Por ejemplo, cuando LOLA preguntó anoche sobre la temperatura del paciente, las frases «Bueno, creo que hacía unos 36 grados» o «Oh, lo medí y fue exactamente de 36,7» registraría valores de 36 y 36,7, respectivamente, para la variable fiebre.
La forma en que funcionan los motores de NLU es aprendiendo de una colección de frases de entrenamiento asociados con sus correspondientes intenciones y entidades. Estas frases de entrenamiento sirven de base a los algoritmos para que puedan deducir las intenciones y las entidades contenidas en las respuestas encontradas durante una conversación con un paciente. Cuando se trata de mantener una alta precisión de la NLU, uno de los factores más importantes es mantener un repositorio limpio y eficiente de frases de entrenamiento. En Tucuvi, contamos con varios sistemas que actualizan, validan y supervisan activamente nuestros repositorios de frases de entrenamiento para garantizar que la precisión de nuestro motor de NLU sea lo más alta posible.
El diseño de conversaciones y su impacto en el rendimiento de la PNL
En la sección anterior, dijimos que el diseño de la conversación es uno de los aspectos más importantes cuando se trata de mantener el alto rendimiento de LOLA. Nuestra declaración de misión es proporcionar interacciones naturales y empáticas con nuestros pacientes, para asegurarnos de que se sientan cómodos hablando con LOLA. Hay muchas razones para ello, pero desde el punto de vista del rendimiento de la PNL, un paciente que se siente cómodo es un paciente que se mantendrá comprometido durante toda la conversación. Esto significa que su nivel de atención será alto y sus respuestas serán más precisas. También significa que será mucho más probable que atiendan toda la llamada, lo que nos permitirá recopilar toda la información clínica requerida por nuestros clientes.
En este sentido, un buen diseño de conversación implica que se tenga mucho cuidado, no solo a la hora de determinar lo que se dice, sino también de cómo decirlo. Factores como la velocidad a la que LOLA habla, los patrones rítmicos que usa, el vocabulario específico, la forma en que se vinculan las preguntas sucesivas en función de las respuestas específicas, etc., contribuyen enormemente a garantizar que el paciente se sienta cómodo. Al mismo tiempo, es muy importante definir exactamente qué intenciones y entidades esperamos recopilar en las respuestas a cada pregunta, y que formulemos cada pregunta con absoluta precisión y de una manera completamente libre de cualquier ambigüedad.
Este es un equilibrio complejo de lograr y el verdadero desafío detrás del diseño de la conversación: hacer que la conversación sea fluida, atractiva y natural, al tiempo que conserva la precisión y permanece completamente inequívoca.
Medición del rendimiento de la PNL de Tucuvi
Ahora que entendemos los principales elementos de nuestro motor de PNL, estamos listos para ver cómo podemos medir su rendimiento. A fin de cuentas, la referencia más importante para nosotros a la hora de evaluar la precisión de nuestro sistema es si puede o no identificar correctamente los datos clínicos que nos proporcionan nuestros pacientes. Esto implica que debemos analizar con qué precisión LOLA puede detectar las intenciones y las entidades asociadas a cada pregunta. Para hacer esto de manera rigurosa, utilizamos tres métricas clave: precisión, recordar y el Puntuación de F1.
Intuitivamente, la precisión nos da una medida de cuántas veces el sistema afirmó erróneamente que la respuesta de un paciente contenía la intención o la entidad que se estaba evaluando. Tras el bienestar ejemplo de contexto de las secciones anteriores, precisión para peor la intención nos daría la relación entre la cantidad de veces que LOLA identificó correctamente el peor intención versus la cantidad de veces que clasificamos erróneamente un mejor o Lo mismo intención como peor. Cuantas menos veces asignemos erróneamente peor con la intención de responder, mejor será la precisión.
Recordar, por otro lado, nos da una medida del número de veces que nuestro sistema no cumplió con la intención que se estaba evaluando o asignó una diferente a una respuesta determinada de un paciente. De nuevo, utilizando el bienestar contexto y peor intención, recordar nos daría la relación entre el número de veces que LOLA clasificó correctamente el peor intención versus la cantidad de veces que clasificó erróneamente un peor intención como mejor o lo mismo, o no detectó ninguna intención. Cuantas menos veces nos perdamos el peor con la intención, mejor será la retirada.
Por último, la puntuación de la F1 combina precisión y recuperación en un solo valor utilizando el media armónica de ambas métricas. Por lo tanto, refleja simétricamente tanto la precisión como la recuperación en una sola métrica. Dado que tanto la precisión como la recuperación representan ratios, todas estas métricas pueden tomar valores entre cero y uno, donde uno es la puntuación más alta posible.
La combinación de todos los factores y sistemas que hemos descrito en las secciones anteriores conduce a las siguientes métricas de rendimiento promedio para el motor de PNL de LOLA, calculadas a partir de 10 000 conversaciones de los meses de abril y mayo de 2023, procedentes de nuestros programas de seguimiento de pacientes más activos:
- Precisión = 0.980
- Recordar = 0.977
- F1 = 0,978
Estas métricas son excelentes y son la razón por la que tantos profesionales de la salud confían en LOLA para ayudarlos a cuidar a sus pacientes.
Lograr el éxito: el esfuerzo de equipo detrás del excepcional motor de PNL de LOLA
Un motor de PNL es una colección compleja de sistemas que requiere un conjunto diverso de conocimientos especializados y una gran cantidad de cuidado. El mantenimiento y la mejora de estos sistemas es, ante todo, un esfuerzo de equipo. Las excelentes métricas logradas por LOLA son el resultado de una enorme cantidad de trabajo y atención a los detalles por parte de todo el equipo de Tucuvi. Desde el diseño de los protocolos de seguimiento de los pacientes más concisos e inequívocos hasta la optimización y mejora constantes de nuestros sistemas, cada factor es vital para mantener los estándares de alto rendimiento por los que nos esforzamos a diario.
