Model Depot: Eine umfassende Sammlung generativer KI-Modelle für Edge-Bereitstellung

Dieser Artikel stellt Model Depot vor, eine umfangreiche Sammlung generativer KI-Modelle, die für die Edge-Bereitstellung optimiert sind, insbesondere auf AI-PCs und x86-Architekturen. Die Sammlung ist auf Huggingface im llmware-Repository verfügbar.

Einführung in Model Depot

Model Depot ist eine umfassende Sammlung generativer KI-Modelle, die für die Edge-Bereitstellung auf AI-PCs und x86-Architekturen entwickelt wurden. Das Depot bietet eine Vielzahl von vorgefertigten, quantisierten und optimierten Modellen in OpenVino- und ONNX-Formaten, darunter bekannte generative Modelle wie Llama, Qwen, Mistral, Phi, Gemma, Yi und StableLM sowie feinabgestimmte Versionen wie Zephyr, Dolphin und Bling.

Spezialisierte Modelle

Neben allgemeinen Modellen umfasst Model Depot spezialisierte Modelle für Mathematik und Programmierung (z. B. Mathstral, Qwen Code), multimodale Modelle (z. B. Qwen2-VL), Funktionsaufrufmodelle (SLIM) und Encoder.

Zugriff auf die Modelle

Die Modelle sind über die huggingface_hub-Bibliothek leicht zugänglich, obwohl die direkte Verwendung von AutoModel.from_pretrained nicht empfohlen wird. Die Inferenz kann in der Regel nur mit OpenVINO oder ONNX Runtime durchgeführt werden.

Die llmware-Bibliothek

Die llmware-Bibliothek bietet eine vereinfachte Schnittstelle für die Interaktion mit Model Depot und unterstützt hybride Inferenzstrategien über verschiedene Formate hinweg (Pytorch, GGUF, ONNX, OpenVino).

Fazit

Model Depot vereinfacht die Edge-Bereitstellung generativer KI-Modelle auf x86-Plattformen, indem es eine umfassende, optimierte und leicht zugängliche Sammlung bereitstellt. Die llmware-Bibliothek erleichtert die Nutzung weiter, indem sie eine einheitliche Schnittstelle für verschiedene Modellformate und Inferenzstrategien bietet. Das Projekt ist Open Source und ermutigt zur Beteiligung der Community. Unternehmenslösungen sind auch über ModelHQ verfügbar.

Quelle(n):

• Model Depot