Alles über den Ionos AI Model Hub: Open-Source LLMs für lokale KI Chatbots

Übersicht über den Ionos AI Model Hub

Der Ionos AI Model Hub ist eine spannende Plattform, die es dir ermöglicht, datenschutzkonforme Open-Source-Sprachmodelle direkt von einem deutschen Hoster zu nutzen. Diese Modelle sind ideal für lokale KI-Chatbots und bieten eine Vielzahl von Anwendungsmöglichkeiten. In diesem Abschnitt werfen wir einen Blick darauf, wie du den Hub nutzen kannst und welche Vorteile er bietet.

Um auf die Informationen zuzugreifen, gehe auf die Ionos-Webseite und navigiere zum Bereich Cloud-Computing. Dort findest du den Menüpunkt „KI und Datenanalyse“. Wenn du auf „AI Model Hub“ klickst, erhältst du alle notwendigen Informationen. Aktuell ist der Service bis zum 31.03.2025 kostenlos, danach fallen Gebühren an, die je nach Modell variieren. Die Preise werden pro 1 Million Tokens angegeben, was die kleinste Einheit ist, die von KI-Modellen verwendet wird.

Um dir eine Vorstellung zu geben: Für 1 Million Tokens erhältst du etwa 700.000 deutsche Wörter. Das ist eine Menge Text, denn ein voll beschriebenes DIN A4-Blatt hat im Durchschnitt 2000 Wörter. Das bedeutet, dass du bis Ende März 2025 die Möglichkeit hast, diese Modelle kostenlos zu testen.

Token-Erstellung für den Ionos AI Model Hub

Bevor du mit der Nutzung der Sprachmodelle beginnen kannst, musst du einen eigenen Token erstellen. Der Token ist essentiell, da er dir den Zugriff auf die Modelle ermöglicht. Um deinen Token zu generieren, geh zurück zur Ionos-Startseite und wähle den Menüpunkt „Management“. Dort findest du die „Tokenverwaltung“.

Wenn du auf diesen Punkt klickst, öffnet sich ein neues Fenster, in dem du deinen Token generieren kannst. Nach der Erstellung wird dir der Token in einem Pop-Up angezeigt. Es ist wichtig, diesen Token an einem sicheren Ort zu speichern oder in einer Textdatei herunterzuladen, da du nach dem Schließen des Fensters keinen Zugriff mehr auf den Token hast. Du kannst jederzeit weitere Tokens hinzufügen oder bestehende löschen.

Installation von AnythingLLM

Nachdem du deinen Token erfolgreich erstellt hast, ist der nächste Schritt die Installation von AnythingLLM, einem leistungsstarken KI-Chatbot. AnythingLLM ist in zwei Versionen erhältlich: einer Cloud-Version und einer kostenlosen Desktop-Version. Für dieses Tutorial verwenden wir die Desktop-Version, die für alle gängigen Betriebssysteme verfügbar ist.

Um AnythingLLM herunterzuladen, besuche die offizielle Webseite. Für dieses Beispiel lade ich die Apple-Version herunter. Die Installation erfolgt wie bei jedem anderen Programm. Nach der Installation kannst du den KI-Chatbot starten und beim ersten Mal direkt ein Sprachmodell auswählen, musst es aber nicht zwingend tun.

Im nächsten Schritt wirst du über den Datenschutz informiert und hast die Möglichkeit, den Entwicklern Daten zu senden. Dies kannst du jedoch überspringen. Im letzten Schritt musst du einen Namen für dein erstes Workspace festlegen, den du später ändern kannst. Nach der Eingabe hast du es geschafft und der lokale KI-Chatbot steht dir zur Verfügung.

Verbindung von AnythingLLM mit Ionos AI Model Hub Sprachmodellen

Jetzt, wo du AnythingLLM installiert hast, ist es an der Zeit, eine Verbindung zu den Sprachmodellen von Ionos herzustellen. Um dies zu tun, geh zu den Einstellungen des Chatbots. Dort findest du im Reiter „KLM“ die Möglichkeit, das große Modell von Ionos hinzuzufügen.

Du musst die Base URL von Ionos kopieren und in das entsprechende Feld in den Einstellungen des KI-Chatbots einfügen. Außerdem benötigst du den API-Schlüssel, den du zuvor erstellt und gesichert hast. Kopiere diesen und füge ihn ebenfalls in das entsprechende Feld ein. Der Modellname, den du in der Dokumentation findest, muss ebenfalls eingegeben werden. Hier wählst du das 70b Modell aus. Nachdem du alle erforderlichen Informationen eingegeben hast, speichere die Einstellungen.

AnythingLLM mit Sprachmodellen von Ionos AI Model Hub nutzen

Jetzt, wo die Verbindung hergestellt ist, kannst du mit deinem KI-Chatbot kommunizieren. Es ist wichtig, dass du in den Chat-Einstellungen des Workspace hinterlegst, dass die KI auf Deutsch antwortet, da sie sonst standardmäßig in Englisch antwortet.

Zusätzlich hast du die Möglichkeit, Dokumente hochzuladen oder Informationen aus Webseiten einzulesen. Zum Beispiel kannst du die URL deiner Community-Webseite kopieren und in das entsprechende Feld einfügen, um die Inhalte einzulesen. Diese Informationen kannst du dann in deinen Chat einfließen lassen, was die Interaktion mit dem Chatbot noch interessanter macht.

Erweiterte Nutzungsmöglichkeiten mit AnythingLLM

Eine der spannendsten Funktionen von AnythingLLM ist die Möglichkeit, YouTube-Videos einzulesen und mit den Transkripten zu chatten. Du kannst einfach die URL eines Videos kopieren und in das entsprechende Feld einfügen. Das Transkript wird dann eingelesen, und du kannst Fragen zu den Inhalten des Videos stellen.

Diese Funktion eröffnet dir eine Vielzahl von Anwendungsmöglichkeiten. Du kannst nicht nur mit Textdokumenten arbeiten, sondern auch mit Audio- und Video-Inhalten. Das macht den KI-Chatbot zu einem mächtigen Werkzeug für Bildung, Forschung und persönliche Projekte.

Fazit und Ausblick

Zusammenfassend lässt sich sagen, dass der Ionos AI Model Hub eine hervorragende Möglichkeit bietet, Open-Source-Sprachmodelle datenschutzkonform in Deutschland zu nutzen. Mit der kostenlosen Testphase bis zum 31.03.2025 hast du die Gelegenheit, die Funktionsweise der Modelle ohne Risiko zu erkunden.

Die Integration von AnythingLLM ermöglicht es dir, diese leistungsstarken Modelle in einem lokal betriebenen Chatbot zu nutzen, was eine Vielzahl von Anwendungsmöglichkeiten eröffnet. Egal, ob du Websites, Videos oder Dokumente einbinden möchtest, die Möglichkeiten sind nahezu unbegrenzt.

Wenn du an weiteren Tutorials zur künstlichen Intelligenz interessiert bist oder Fragen hast, lade ich dich ein, an unserer Community teilzunehmen. Hier kannst du dich mit anderen Nutzern austauschen und von ihren Erfahrungen lernen.

Ich hoffe, dieser Leitfaden hat dir eine klare Vorstellung davon gegeben, wie du den Ionos AI Model Hub und AnythingLLM effektiv nutzen kannst. Viel Spaß beim Ausprobieren und Experimentieren!