Pablo Galiana, profesor de Inteligencia Artificial de la Facultad de Ingeniería, brindó un webinar sobre lo que hay detrás del Chat GPT, para entender cómo está construido el modelo y los desafíos que presenta.

Chat GPT está basado en un modelo generativo. Los modelos generativos son un campo de estudio en el ámbito del aprendizaje automático que se enfoca en la creación de sistemas capaces de generar datos, como texto, imágenes o música. La historia de los modelos generativos se remonta a varias décadas atrás, con los primeros intentos en la década de 1960 con técnicas probabilísticas y modelos de lenguaje. Con el tiempo, se desarrollaron modelos más sofisticados como las redes generativas adversativas (GAN) o modelos LTSM, entre otros. Desde entonces, los modelos generativos han seguido evolucionando con técnicas como los Transformers. Sobre estos avances tecnológicos surge el Chat GPT, que significa “Transformer generativo pre-entrenado”.

Un Transformer es una arquitectura de red neuronal que fue propuesta por primera vez en 2017. Esta arquitectura ha demostrado ser muy exitosa en tareas de procesamiento de lenguaje natural y en otras aplicaciones de aprendizaje automático. Con el tiempo, se descubrió que este modelo de red neuronal podía generar video, texto o imágenes con determinadas características.

“Da la sensación de estar hablando con alguien inteligente, cuando en realidad lo que hace el modelo es generar un texto con una cierta probabilidad”, compartió el especialista. Ese grado de creatividad es lo que los expertos de OpenAI, la empresa que inventó Chat GPT, llaman temperatura. Según la consigna (prompt en inglés) que una persona le plantee al chat, la respuesta puede ser más o menos creativa.

El entrenamiento de ChatGPT se basa en el aprendizaje supervisado y el preentrenamiento seguido de un ajuste fino. En la etapa de preentrenamiento, se utiliza un gran conjunto de datos de texto de Internet para exponer al modelo a una amplia variedad de información. Luego se realiza el ajuste fino en un conjunto de datos más específico y etiquetado por humanos.

¿Qué desafíos presenta el Chat GPT?

Lo que se ha detectado es que existe una dificultad a la hora de plantearle una consigna al chat y que la respuesta que este arroje coincida con el resultado deseado. Para eso, los especialistas de la empresa OpenAI están brindando un curso sobre ingeniería de prompts con el objetivo de aprender a preguntarle al chat con mayor precisión. Saber preguntar es la clave para obtener un resultado lo más preciso posible. Para esto se aconseja redactar instrucciones claras y específicas y darle tiempo al modelo para “pensar”.

Ya se ha hablado mucho sobre el impacto que el Chat GPT y la inteligencia artificial en general, pueden llegar a traer. Algunas posturas son más apocalípticas que otras. En este sentido, Galiana planteó una mirada optimista: todo cambio tecnológico, si bien genera una disrupción en el modo que uno tiene de hacer las cosas y generalmente produce ruido o miedo, siempre trae muchas oportunidades.