Model Depot : Une collection complète de modèles d'IA générative pour le déploiement en périphérie

Cet article présente Model Depot, une collection importante de modèles d'IA générative optimisés pour le déploiement en périphérie, en particulier sur les PC IA et les architectures x86. La collection est disponible sur Huggingface dans le dépôt llmware.

Introduction à Model Depot

Model Depot est une collection complète de modèles d'IA générative conçus pour le déploiement en périphérie sur les PC IA et les architectures x86. Le dépôt propose une large gamme de modèles pré-emballés, quantifiés et optimisés aux formats OpenVino et ONNX, incluant des modèles génératifs populaires comme Llama, Qwen, Mistral, Phi, Gemma, Yi et StableLM, ainsi que des versions affinées telles que Zephyr, Dolphin et Bling.

Modèles spécialisés

Au-delà des modèles généraux, Model Depot inclut des modèles spécialisés pour les mathématiques et la programmation (par exemple, Mathstral, Qwen Code), des modèles multimodaux (par exemple, Qwen2-VL), des modèles de fonction-calling (SLIM) et des encodeurs.

Accéder aux modèles

Les modèles sont facilement accessibles via la bibliothèque huggingface_hub, bien que l'utilisation directe de AutoModel.from_pretrained soit déconseillée. L'inférence peut généralement être réalisée en utilisant uniquement OpenVINO ou ONNX Runtime.

La bibliothèque llmware

La bibliothèque llmware fournit une interface simplifiée pour interagir avec Model Depot, prenant en charge des stratégies d'inférence hybrides à travers divers formats (Pytorch, GGUF, ONNX, OpenVino).

Conclusion

Model Depot simplifie le déploiement en périphérie des modèles d'IA générative sur les plateformes x86 en offrant une collection complète, optimisée et facilement accessible. La bibliothèque llmware facilite encore plus l'utilisation en proposant une interface unifiée pour divers formats de modèles et stratégies d'inférence. Le projet est open-source et encourage les contributions de la communauté. Des solutions d'entreprise sont également disponibles via ModelHQ.

Source(s) :

Model Depot