La llegada de las IAs generativas ha supuesto un vuelco para la industria de la tecnología. La aparición de ChatGPT nos aportó nuevos modos de trabajar, ayudándonos a hacer más fácilmente tareas mecánicas o incluso inspirándonos para ir más allá. A principios de junio de 2023, por fin teníamos app nativa para instalar ChatGPT en el iPhone.
La ciencia detrás de esta nuevas tecnologías se basa en la supercomputación: servidores con una capacidad de cálculo inmensa que procesan nuestras peticiones y sus algoritmos, en base a la información previa alimentada en el sistema, son capaces de contestarnos en lenguaje natural.
Un modelo de lenguaje en la nube
Sin embargo, una de las limitaciones de estos nuevos sistemas es precisamente esta inmensa capacidad de cálculo necesaria para contestarnos. Y no sólo para elaborar la respuesta, también para interpretar lo que decimos: nuestras frases se “trocean” en unidades mínimas interpretables por la máquina (llamadas “tokens”) y estos datos se envían al servidor que los procesa.
Estamos en una edad tempranísima de todo esto. Apenas llevamos dos años explorando las posibilidades de estos nuevos modelos de lenguaje, que son fabulosos para ayudarnos en nuestro día a día, pero tienen un pequeño inconveniente: necesitamos conexión a internet para enviar los tokens de nuestras preguntas de ida, y recibir la respuesta de vuelta.
Esto es debido a esta necesidad enorme de capacidad de cálculo de los billones de parámetros que se procesan para componer esta respuesta. Sin embargo, personalmente, opino que el futuro de esta tecnología no está en la nube, sino en mucho más cerca de nosotros.
Un “ChatGPT” en el bolsillo
Hoy vamos a hacer un pequeño experimento utilizando una app que apareció hace unos días en la App Store. Su nombre no es nada atractivo - Offine Chat - y como veremos más tarde, su interfaz tampoco. Sin embargo, puede llegar a ser útil y nos dice mucho del futuro que llegará.
Lo que hace esta aplicación es utilizar un modelo entrenado mediante Mistral 7B 0.2, uno de los mejores modelos de lenguaje con más de 7 mil millones de parámetros. Utilizando una técnica de “destilado” desde modelos mayores, es muy potente e incluso supera modelos de lenguaje más grandes como el Llama 2 con casi el doble de parámetros. Para la ejecución en el dispositivo es perfecta: está muy compactada y el modelo entrenado es muy preciso.
Procesar esta cantidad de información de forma local - sin necesidad de conexión a Internet - es posible gracias a los nuevos procesadores de los últimos iPhone, con sus aceleradores en procesos de Machine Learning. También a la cantidad de RAM disponible, algo esencial para la evaluación de los algoritmos de IA que la utilizan como “paso rápido” de la interpretación de los tokens. Es por ello que esta aplicación necesita de un dispositivo moderno (a partir de un iPhone 12 Pro) con al menos 6GB de RAM.
Con ello conseguimos un pequeño bot conversacional alimentado mediante un modelo de lenguaje de 7 billones de parámetros. Todo procesado en el propio iPhone, sin necesidad de internet y por supuesto disponible de forma offline. No es, ni de lejos, igual de potente que lo que conocemos con ChatGPT, pero tiene ciertos usos del día a día donde si que podemos sacarle partido.
Como usar la IA en nuestro día a día
No es muy bueno hablando en español, pero nos entiende perfectamente si nos dirigimos a la IA en nuestro idioma.
En los próximos meses aparecerán muchas aplicaciones de este tipo y la que vamos a comentar hoy es una de las primeras: no tiene la mejor interfaz gráfica, pero es muy sencilla y no necesita ningún tipo de configuración. Sólo tenéis que descargarla (a un precio único de 1,99€) y podéis comenzar a usarla.
La parca pantalla sólo nos mostrará un “prompt” de comandos esperando una orden. Aquí podemos preguntarle lo que queramos, y encontramos una de las primeras limitaciones de esta app en concreto: sólo funciona en inglés. Eso sí, entiende perfectamente el castellano, y podemos preguntarle cosas en nuestro idioma.
Cuando digo que la IA local sería de ayuda me refiero a ocasiones donde podemos no tener internet. Por ejemplo, cuando estamos en un lugar sin cobertura o en una emergencia donde el tiempo de respuesta es importante. Empezando por lo básico, podemos preguntarle por ejemplo recetas:
Hablando de situaciones de emergencia, por ejemplo, podemos preguntarle como cambiar una rueda. La explicación es detallada y la velocidad de respuesta es bastante rápida, teniendo en cuenta que todo se procesa en el iPhone (me aseguré de ello poniéndolo en modo avión). El teléfono se calienta algo más de lo habitual en la parte trasera dando cuenta de que su procesador está a pleno rendimiento.
Una utilidad práctica de estas IAs locales son las situaciones de emergencia donde no tenemos cobertura. Por ejemplo, el escenario de un pinchazo en algún lugar alejado, pero no sabemos como cambiar la rueda del coche. Se lo pregunté a la app y me dio instrucciones detalladas para hacerlo. Hubiera sido todavía mejor si incorporara imágenes, pero como digo esta pequeña app es sólo el comienzo de muchas más que están por venir.
Por otro lado, algo para lo que también pueden servir estas IAs en local es para mejorar la conversación que tenemos con los asistentes inteligentes. Ya no sería necesario enviar información a ningún servidor para la comunicación diaria - Siri procesa hoy en día muchas respuestas en local, pero necesita mejorar - y también ganaríamos con algo muy importante en mi opinión: el contexto.
El contexto significa que la conversación puede transcurrir de forma natural como cuando hablamos con un humano. Nosotros no repetimos la premisa en cada oración, sino que “se entiende” a lo que nos referimos. Por ejemplo, si pido una canción de los Beatles, en mi siguiente pregunta no debería mencionarlos, sino simplemente “¿Y cual es su mejor álbum?” - como se puede ver en el ejemplo de las capturas de arriba.
La IA local y sus aplicaciones son el futuro
En el análisis del nuevo MacBook Pro M3 Max, utilicé un modelo de lenguaje en local para medir la potencia del procesador en estas tareas. Los valores que me dio - expresados en los tokens por segundo que hemos mencionado antes - son muy buenos teniendo en cuenta que hablamos de un ordenador portátil. Pero es que en un iPhone 15 Pro también tenemos una velocidad de respuesta casi en tiempo real.
Apple se ha posicionado muy bien con la potencia de cálculo de Apple Silicon en sus dispositivos y apostando muy fuerte con la aceleración mediante hardware de Machine Learning. Hoy en día lo utilizamos en nuestros dispositivos para tareas cotidianas “bajo el capó” - como mejora de fotografías, interpretación de nuestra voz, detección de objetos y texto...
Sin embargo, esta potencia de cálculo puede hacer mucho más. Apps como la que menciono en este artículo es un ejemplo muy básico - puede llegar a ser útil en algún momento, si os animáis a descargarla - pero nos habla mucho de lo que está por venir, probablemente con iOS 18.
En Applesfera | iOS 18 será sólo el principio: Apple prepara su gran rival de ChatGPT para 2024 según un analista
Ver 2 comentarios