Los distintos modelos de lenguaje de gran tamaño (LLM) han transformado la tecnología, impulsando aplicaciones de inteligencia artificial como ChatGPT. Sin embargo, generar respuestas sigue siendo un proceso lento y bastante costoso.
Ahora, Google Research ha presentado una solución que podría cambiar todo esto, mediante un nuevo método llamado cascadas especulativas.
Hasta ahora existían dos enfoques principales para acelerar estos modelos. El primero, las cascadas, utiliza modelos pequeños y rápidos antes de consultar un modelo más grande y caro, aunque puede volverse lento si el modelo pequeño no está seguro de su respuesta.
El segundo método es la decodificación especulativa, que predice tokens en paralelo con un modelo pequeño que luego es verificado por el modelo grande.
Google Research
La innovación de Google combina lo mejor de ambos métodos. Con las cascadas especulativas, un sistema puede aceptar respuestas correctas de un modelo pequeño incluso si no coinciden exactamente con la salida del modelo grande. Esto evita los cuellos de botella secuenciales de las cascadas tradicionales.
Para probar esta técnica, los investigadores la aplicaron a modelos como Gemma y T5, evaluándoles en tareas de resumen, razonamiento y codificación. Los resultados mostraron mejoras concretas en velocidad y eficiencia, con un mejor equilibrio entre coste y calidad.
Aunque actualmente esta técnica sigue en fase de investigación, si se implementa, podría ofrecer a los usuarios experiencias más rápidas y económicas en aplicaciones basadas en LLM.
Conoce cómo trabajamos en ComputerHoy.
Etiquetas: Inteligencia artificial
Ingeniero de Sistemas especializado en Inteligencia Artificial y Automatización de Procesos. Con una trayectoria enfocada en la convergencia entre tecnología de vanguardia y comunicación digital, Ramón lidera la implementación de modelos generativos aplicados al periodismo dominicano. Su trabajo garantiza que la información que llega a la diáspora no solo mantenga nuestra identidad “del patio”, sino que cumpla con los más altos estándares de veracidad y optimización técnica de la web moderna (2026).
