Apple se alía con NVIDIA para acelerar los modelos de lenguaje de IA
Apple ha anunciado una colaboración con NVIDIA para optimizar significativamente el rendimiento de los modelos de lenguaje de gran escala (LLMs). Esta alianza introduce una nueva técnica de generación de texto que promete mejorar la velocidad y eficiencia de las aplicaciones de inteligencia artificial.
A principios de este año, Apple presentó y publicó como código abierto Recurrent Drafter (ReDrafter), una solución que combina dos métodos clave: la búsqueda por haz (beam search) y la atención dinámica en árboles (dynamic tree attention).
La búsqueda por haz analiza varias secuencias de texto simultáneamente, ofreciendo resultados más precisos, mientras que la atención en árboles elimina redundancias entre las secuencias, optimizando el proceso.
Esta técnica ha sido ahora integrada en el framework TensorRT-LLM de NVIDIA, diseñado para optimizar modelos de lenguaje en GPUs de NVIDIA. Según Apple, esta integración ha logrado «un rendimiento de vanguardia», alcanzando un aumento de 2.7 veces en la velocidad de generación de tokens por segundo en pruebas con un modelo de producción que cuenta con decenas de miles de millones de parámetros.
Ventajas para usuarios y desarrolladores
La mejora en el rendimiento no solo reduce la latencia percibida por los usuarios, sino que también disminuye el consumo energético y la utilización de GPUs. Según el blog de investigación en aprendizaje automático de Apple:
Los modelos de lenguaje de gran escala están siendo cada vez más utilizados en aplicaciones de producción, y mejorar la eficiencia de inferencia puede impactar tanto en los costes computacionales como en la latencia percibida por los usuarios.
Con el enfoque novedoso de ReDrafter para la decodificación especulativa, ahora integrado en el framework TensorRT-LLM de NVIDIA, los desarrolladores pueden beneficiarse de una generación de tokens más rápida en GPUs NVIDIA para sus aplicaciones de producción.
Oportunidades para desarrolladores
Para quienes deseen implementar esta tecnología, Apple y NVIDIA han puesto a disposición guías detalladas en sus respectivos sitios web. Estas herramientas representan una oportunidad para que los desarrolladores optimicen sus aplicaciones de inteligencia artificial, aprovechando las capacidades mejoradas de generación de texto.
Con esta colaboración, Apple y NVIDIA reafirman su compromiso con la innovación en el campo de la inteligencia artificial, ofreciendo soluciones que no solo mejoran la experiencia del usuario, sino que también abren nuevas posibilidades para el desarrollo de aplicaciones más rápidas y eficientes.
