Una nueva versión de Llamafile está disponible este domingo de Pascua desde la suite Mozilla Ocho. Llamafile es una forma de distribuir y ejecutar modelos de lenguaje grandes (LLM) desde un solo archivo, lo que hace que los modelos LLM sean mucho más fáciles de distribuir y utilizar por parte de desarrolladores y usuarios finales. Llamafile sigue siendo uno de los proyectos no revisados ​​más interesantes de Mozilla en los últimos tiempos y tiene un futuro brillante hasta el momento.

Llamafile hace que trabajar con modelos de lenguaje grandes sea más conveniente y fácil de implementar al aprovechar Llama.cpp y facilitar la entrega del LLM completo dentro de un único archivo ejecutable que se ejecuta en la mayoría de los sistemas con la capacidad de aprovechar tanto la CPU como la GPU. implementación (GPU).

Con el lanzamiento de Llamafile 0.7 hoy, ¡finalmente hay soporte para AVX-512! Aquellos que prueban Llama 0.7 en CPU habilitadas para AVX-512 como AMD Zen 4 encuentran tiempos de evaluación rápidos aproximadamente 10 veces más rápidos con este soporte. Es un regalo de Pascua muy bonito para quienes tienen un AVX-512 y usan Llamafile para modelos de lenguaje grandes en CPU.

He estado ejecutando algunos Estándares de archivos de llama Desde hace unos meses estamos deseando probar Llamafile 0.7 para ver las mejoras de rendimiento en los procesadores Intel y AMD AVX-512.

Llamafile 0.7 también ofrece compatibilidad con CPU BF16, una solución de seguridad, varias mejoras de Windows, evaluación puntual en una Raspberry Pi 5 con pesos F16 que ahora son aproximadamente 8 veces más rápidos y muchas otras mejoras.

Descargas y más información sobre Llamafile 0.7 vía github.