Model Depot: Una Colección Integral de Modelos de IA Generativa para Implementación en el Edge

Este artículo presenta Model Depot, una colección sustancial de modelos de IA generativa optimizados para implementación en el edge, especialmente en AI PCs y arquitecturas x86. La colección está disponible en Huggingface dentro del repositorio llmware.

Introducción a Model Depot

Model Depot es una colección integral de modelos de IA generativa diseñados para implementación en el edge en AI PCs y arquitecturas x86. El depósito ofrece una amplia variedad de modelos preempaquetados, cuantizados y optimizados en formatos OpenVino y ONNX, incluyendo modelos generativos destacados como Llama, Qwen, Mistral, Phi, Gemma, Yi y StableLM, junto con versiones ajustadas como Zephyr, Dolphin y Bling.

Modelos Especializados

Además de los modelos generales, Model Depot incluye modelos especializados para matemáticas y programación (por ejemplo, Mathstral, Qwen Code), modelos multimodales (por ejemplo, Qwen2-VL), modelos de llamadas a funciones (SLIM) y codificadores.

Acceso a los Modelos

Los modelos son fácilmente accesibles a través de la biblioteca huggingface_hub, aunque no se recomienda el uso directo de AutoModel.from_pretrained. La inferencia generalmente se puede realizar utilizando solo OpenVINO o ONNX Runtime.

La Biblioteca llmware

La biblioteca llmware proporciona una interfaz simplificada para interactuar con Model Depot, admitiendo estrategias de inferencia híbrida en varios formatos (Pytorch, GGUF, ONNX, OpenVino).

Conclusión

Model Depot simplifica la implementación en el edge de modelos de IA generativa en plataformas x86 al proporcionar una colección integral, optimizada y de fácil acceso. La biblioteca llmware agiliza aún más el uso, ofreciendo una interfaz unificada para varios formatos de modelos y estrategias de inferencia. El proyecto es de código abierto y fomenta las contribuciones de la comunidad. También hay soluciones empresariales disponibles a través de ModelHQ.

Fuente(s):

• Model Depot