Installation von Large Language Models (LLMs) auf dem eigenen Computer

Die bekanntesten Open-Source-Sprachmodelle

In den letzten Jahren haben Open-Source-Sprachmodelle enorm an Bedeutung gewonnen. Hier findest du eine Liste und eine kurze Beschreibung der  drei der bekanntesten Open-Source-Sprachmodelle: Llama, Mistral und Falcon.

Llama 3.2

Llama 3.2 ist eine Sammlung großer Sprachmodelle (LLMs) von Meta, die in verschiedenen Größen vortrainiert und feinabgestimmt wurden. Die Modelle mit 1B und 3B Parametern sind mehrsprachig und verarbeiten nur Text, während die Modelle mit 11B und 90B Parametern auch visuelle Eingaben verarbeiten können.Meta hat die Leistung von Llama 3.2 auf über 150 Benchmark-Datensätzen evaluiert, die ein breites Spektrum an Sprachen abdecken. Für die Vision-LLMs wurde die Leistung auf Benchmarks für Bildverständnis und visuelles Schlussfolgern bewertet. Zusätzlich führte Meta umfangreiche menschliche Bewertungen durch, um Llama 3.2 mit konkurrierenden Modellen in realen Szenarien zu vergleichen.

Mistral Large 2

Mistral Large 2 ist das neueste Sprachmodell von Mistral AI, einem führenden europäischen Unternehmen im Bereich der künstlichen Intelligenz. Es verfügt über 123 Milliarden Parameter und ist für Anwendungen mit großen Kontexten ausgelegt.Das Modell bietet Verbesserungen bei der Codegenerierung, der mathematischen Beweisführung und der Unterstützung mehrerer Sprachen. Es ist mit einem 128-k-Kontextfenster ausgestattet, das es ihm ermöglicht, große Mengen an Informationen auf einmal zu verarbeiten.Mistral Large 2 ist über la Plateforme unter dem Namen Mistral-Large-2407 verfügbar. Für Forschungszwecke und nicht-kommerzielle Nutzung wird das Modell unter der Mistral-Forschungslizenz veröffentlicht. Kommerzielle Nutzer müssen eine bezahlpflichtige Mistral-Lizenz erwerben.

Falcon 2

Das Technology Innovation Institute (TII) in Abu Dhabi hat kürzlich die zweite Version seines renommierten Large Language Model, Falcon 2, vorgestellt. Innerhalb dieser Serie gibt es zwei bahnbrechende Versionen: Falcon 2 11B und Falcon 2 11B VLM.Falcon 2 11B ist ein effizienteres und zugänglicheres LLM, das auf 5,5 Billionen Token mit 11 Milliarden Parametern trainiert wurde. Es übertrifft die Leistung von Metas neu eingeführtem Llama 3 mit 8 Milliarden Parametern und liegt gleichauf mit Googles Gemma 7B auf dem ersten Platz.Falcon 2 11B VLM zeichnet sich durch seine Vision-to-Language-Modelle (VLM) aus, die eine nahtlose Umwandlung von visuellen Eingaben in Textausgaben ermöglichen. Es ist das einzige Modell auf dem Markt, das über diese Fähigkeit verfügt.Beide Falcon 2 Modelle sind Open-Source und gewähren Entwicklern auf der ganzen Welt uneingeschränkten Zugang. Sie werden unter der TII Falcon License 2.0 lizenziert, einer permissiven, auf Apache 2.0 basierenden Softwarelizenz.

Open-Source-Sprachmodelle wie Llama, Mistral und Falcon bieten leistungsstarke Werkzeuge für die Entwicklung von KI-Anwendungen. Sie zeichnen sich durch hohe Leistung, Mehrsprachigkeit und teilweise sogar durch die Fähigkeit zur Verarbeitung visueller Eingaben aus. Durch ihre Verfügbarkeit als Open-Source-Lösungen ermöglichen sie Entwicklern und Unternehmen den Zugang zu fortschrittlicher KI-Technologie ohne proprietäre Einschränkungen.