¡What the GPT-Chat!

Luis Eduardo Pino Villarreal MD, MsC, MBA

Fundador AIpocrates

Uno de los subcampos más interesantes y de rápida evolución en la Inteligencia Artificial es sin duda el del procesamiento del lenguaje natural (NLP).

Diversos desarrollos han revolucionado el entendimiento y el procesamiento del lenguaje natural y con ello su aplicabilidad en todos los sectores económicos, desde el concepto de traducción neural de máquinas (2013) especialmente el surgimiento de estructuras de aprendizaje profundo basados en mecanismos de atención como los Transformers (2019) y los modelos de lenguaje preentrenados (PLMs).

Este crecimiento del NLP ha permitido optimizar sus tareas esenciales como son la minería de texto, comprensión de lectura, razonamiento y compilación, además por supuesto de la traducción de máquina en si misma.

La hipótesis de una mejor eficiencia y desempeño al escalar el tamaño de los PLMs llevó al surgimiento de lo que conocemos como modelos grandes de lenguaje o LLMs.

Sin embargo, al aumentar la escala de los modelos de lenguaje se generaron nuevos problemas en las salidas: inventar hechos, generar texto sesgado o tóxico, o simplemente no seguir instrucciones para el usuario. Esto se debe esencialmente a una divergencia entre el entrenamiento y las salidas del modelo con la verdadera intención del usuario, las cuales pueden ser tanto implícitas como explícitas.

Debido a este fenómeno muchos autores han diseñado técnicas de ajuste fino para los LLMs y dentro de estas hay una de reciente aparición que está revolucionando el mundo del NLP, esta es el entrenamiento reforzado con retroalimentación humana o RLHF.

A finales del año pasado la empresa openAI lanzó al mundo uno de sus desarrollos: chat-GPT, y desde entonces ha sido la “sensación” en todos los círculos tanto de expertos como de entusiastas de la Inteligencia Artificial aplicada, algunos como simples saciadores de curiosidad y otros que intentan hacer evaluaciones críticas sobre su desempeño.

Más allá de saber si es o no útil y si de hay sesgos o no (que si los hay) me interesa llevar al lector hacia una brevísima explicación del modelo de entrenamiento RLHF que hoy está siendo aplicado, junto con otras arquitecturas como las redes neuronales generativas (GANs) en la siguiente evolución de la IA que es la IA generativa y la analítica cognitiva, las que sumadas a los desarrollos de Low-Code y Non-Code se tomarán las páginas de noticias en este 2023.

Cuando usted realiza una pregunta cualquiera a chat-GPT debe saber en primer lugar que no se trata ni mucho menos de algo “mágico” o “sobrenatural”, obede esencialmente a la evolución del entrenamiento superficialmente descrito en mis primeros párrafos. Esta usted utilizando un motor de IA que ha sido enseñado utilizando técnicas con grandes volúmenes de datos filtrados por estado del arte (SOTA) y ajustados mediante otros tipos de entrenamiento, esto le permite hacer un mejor análisis de contexto y superar -si así puede llamarse- el desempeño de modelos de entrenamiento previos.

Vale la pena mencionar que el modelo RLHF se utilizó para lograr una versión más “avanzada” de un modelo previo realizado por openAI como es el ampliamente conocido GPT-3.0 (GTP por Generative Pretrained Transformer, es decir la estructura sobre la cual corre el modelo) al GPT 3.5 que tiene por así decirlo un entrenamiento híbrido y multimodal. Dado que estamos en el mundo del entrenamiento reforzado, como veremos se requería definir el agente, la política y la recompensa, pero al exigir un feedback humano se necesitaba un equipo de personas que fungieran como rotuladores de las instrucciones (40 personas para este caso).

Los pasos esenciales para el RLHF son los siguientes:

Esta evolución del RLHF hacia el NLP es muy interesante ya que previamente se había utilizado en el campo de entrenamiento robótico en ambientes simulados y en juegos de Atari (2017). En este caso se ha ampliado su uso hacia ajuste de lenguaje, compilación, diálogo, traducción, análisis semántico, generación de historias, generación de revisiones y extracción de evidencia que son las capacidades que podemos encontrar en chat-GPT.

Este modelo aloja datos de diversas fuentes hasta el año 2021 así como entrenamiento multilengua por lo cual puede utilizarse en inglés o español.

Por supuesto es un modelo en evolución que será optimizado en la medida en que más usuarios lo alimenten, como ya está sucediendo en forma masiva, pero aún hay muchos retos entre ellos el de optimizar potenciales sesgos y mejorar su control mediante RLHF con codigos de ajuste o usar modelos más pequeños pero sumatorios entre otras.

¿Cómo podrían mejorar el sector salud los desarrollos como chat-GPT?, el primer campo en el que uno puede pensar es en el mundo de los contenidos y la educación en salud creando por ejemplo coachs de salud operados por IA, el desarrollo de tableros personales de estados de salud que sean utiles como monitores de comportamiento, por supuesto interconectados con dispositivos wearables o asistentes inteligentes para equipos de salud y pacientes.

En una fase posterior es posible que estos desarrollos puedan ayudar en tareas más complejas como detección de patrones específicos de texto o voz que puedan predecir enfermedades como los sindrome demenciales o trastornos del movimiento e inclusive incursionar en salud mental con base en patrones de búsqueda.

Como toda tecnología se corre el riesgo de asumirla como infalible y alterar su correcto uso favoreciendo la realización de tareas que si requieren coparticipación humana como las de educación. Ya existen plataformas online que pueden ayudar a detectar si un documento fue o no escrito exclusivamente con el uso de chat-GPT como el GPT-2 detector.

Por ahora los invito a que hagan la prueba con chat-GPT, es gratuito, pero ojalá lo hagan utilizando restricciones y esquemas de preguntas que puedan sacarle el mayor provecho.

Espero esta explicación haya sido sencilla, los dejo al final con una gráfica compilatoria de lo que nos espera en este 2023 en IA y tecnologías exponenciales. ¡Feliz año para todos!

2 comentarios sobre “¡What the GPT-Chat!

  1. El ya no tan reciente lanzamiento de chatGPT: un poderoso procesador de lenguage natural potenciado por la inteligencia artificial, capaz de hacer manipulaciones del lenguage que dificultan distinguirlo completamente de las realizadas por los humanos, que es capaz incluso de generar texto escrito en composiciones tan diversas que ademas, incluyen la generacion completa de codigo de muchos de los lenguages predominantes en el mundo informatico; deberia tal suceso estar generando entre los profesionales de la salud, profundas preguntas e inquietudes alrededor de lo que este tipo de ebullicientes tecnologias representaran para el futuro de la profesion en su ejercicio clasico o tradicional.
    Eso implica no solo tratar de entender los aspectos de la IA generativa, sino anticipar o vislumbrar la profunda relevancia que estos desarrollos podrian representar para las Ciencias de la Salud. Esto nos obliga desde ya a tomar los pasos pertinentes, al menos para comenzar a escuchar las opiniones de los expertos en el tema, y poder asi entender de los posibilidades y alcances actuales de la IA y sus probables repercusiones en el ejercicio medico, y utilizar lo que de ahi aprendamos, para ilustrar, de manera casi que evangelizadora, tambien a nuestras instituciones, pacientes y sus familias, docentes y colegas: necesitamos que esta tecnologia sea de gran relevancia etica, igualitaria y completamente explicable para sus usuarios y beneficiarios.
    Y es desde ese entendimiento que surgiran las inmediatas preguntas que con el devenir de su estudio y utilizacion, aprenderemos a responder:
    -) Cual sera entonces el siguiente paso para la confeccion y estudio de los textos medicos en las Historias clinicas y en las notas medica y de enfermeria? se sostiene que estas se sigan realizando caprichosamente y sin estandares consensuados?
    -) Que significar para la educacion Medica actual la existencia de estas tecnologias, se sostienen todavia los curriculums actuales?
    -) Tenemos que recordar que como el lenguage, de donde su desarrollo, entre otras, proviene, el chat GPT, esta profundamente conectado con nuestra cultura y conocimiento y por lo tanto como lideres de salud, en algun momento seremos responzables de las raices que cualquier cuerpo de conocimiento medico pueda sembrar en el futuro de estas tecnologias.
    -) que oportunidades representaran para los profesionales de la salud, en su resolucion diaria de los problemas clinicos, administrativos e incluso de comunicacion, que se convierten en grandes obstaculos para el ejercicio profesional.
    -) Cuanto deberemos conocer y ser capaces de manejar y enseñar, en relacion con estas tecnologias y las que de ellas impostergablemente se desprenderan?

    Lo anterior, para contribuir en agitar la urgencia que como lideres de salud, nos impone el aluvion tecnologico presente frente al cual no podemos seguir pasando de agache, ya que su inminencia nos exige estar al dia, tanto por su estrategico y oportuno uso, como por la profunda transformacion que producira en la forma en que se genera, construye, acumula y enseña el conocimiento medico y la comunicacion asertiva con los pacientes en la lucha y prevencion de sus enfermedades, ya que nunca antes existio una oportunidad tan poderosa para transformar categoricamente todos los anteriores entornos, y esta vez el tren del desarrollo tecnologico, como habitantes de paises perifericos, no puede dejarnos rezagados!!

    Me gusta

  2. Explicación alto nivel pero muy interesante. Realmente inclusive trabajando en el area de tecnologia por más de 10 años ver los cambios exponenciales que estamos teniendo.

    Me gusta

Deja una respuesta

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s

A %d blogueros les gusta esto: