Microsoft ha dado la sorpresa anunciando un nuevo modelo de lenguaje pequeño, que funciona de forma local en dispositivos con Windows 11, con el objetivo de hacer más natural e inteligente la interacción del usuario con la aplicación de configuración del sistema operativo.
Para ello, este modelo de lenguaje entenderá el lenguaje natural para buscar y ejecutar funciones del sistema. Se trata de un agente basado en inteligencia artificial, que se integra directamente en el cuadro de búsqueda de configuración, y que de momento solo está disponible en los canales preliminares con PCs con Copilot+.
Por decirlo así, Mu, que es el nombre que recibe este modelo de lenguaje, cuenta con 330 millones de parámetros y está diseñado para ofrecer un equilibrio entre rendimiento y eficiencia local.
Los de Redmond destacan como ventaja su velocidad, dado que genera más de 100 tokens por segundo funcionando completamente en el dispositivo, gracias al uso de unidades de procesamiento neuronal.
Microsoft
Por otra parte, hablan de su latencia reducida, dado que su arquitectura presenta una latencia un 47 % menor que el primer token y velocidades de decodificación 4,7 veces mayores que modelos similares.
Afirman que, aunque es 10 veces más pequeño que modelos como Phi-3.5 Mini, su tamaño no impide un rendimiento comparable en tareas similares.
Finalmente, comentan que para consultas largas está completamente optimizado y que es capaz incluso de interpretar frases completas.
Microsoft añade que Mu fue entrenado usando GPUs NVIDIA A100 en Azure Machine Learning, aplicando técnicas como el peso compartido entre componentes del modelo, para así reducir el número total de parámetros sin perder capacidad de respuesta.
Conoce cómo trabajamos en ComputerHoy.
Etiquetas: Inteligencia artificial, Windows 11
