🔒 Premium-Tutorial
Das Schritt-für-Schritt-Video sowie zusätzliche Tipps, Links und Ressourcen sind exklusiv für KI-Wissen Pro-Mitglieder. Werde jetzt Mitglied und erhalte sofortigen Zugang zu allen Inhalten.
Auf einen Blick
Die bekanntesten Small Language Models im Überblick
| Name | Beschreibung | Link |
|---|---|---|
| Gemma 3n E2B | Google, 5 Mrd. Parameter (effektiv 2 Mrd.) – läuft laut Google mit rund 2 GB Speicher. | Offizielle Dokumentation |
| Qwen3-1.7B | Alibaba, 1,7 Mrd. Parameter – kompakt, mit Umschaltung zwischen schnellem und tiefem Denkmodus, u. a. gut zum Auslesen hochgeladener Dokumente. | Bei Hugging Face ansehen |
| LFM2 | Liquid AI, 350 Mio. – 2,6 Mrd. Parameter – Hybrid-Architektur eigens für On-Device-Einsatz; benötigt bereits in 4-Bit-Quantisierung unter 2 GB Arbeitsspeicher. | Bei Hugging Face ansehen |
| RWKV | RWKV-Projekt (Open Source), Parameterzahl je nach Version – alternative Architektur ohne klassische Transformer-Attention, sehr sparsam im Speicherbedarf. | Offizielle Projektseite |
Worum es geht
Diese Anleitung zeigt, wie du lokale Sprachmodelle für leistungsschwache oder ältere Computer auswählst und sinnvoll einsetzt. Im Fokus stehen Small Language Models und ultrakompakte On-Device-Modelle, die auch mit wenig Arbeitsspeicher noch brauchbar laufen können. Außerdem wird erklärt, woran du passende Modelle erkennst und wie sich Modellgröße, Quantisierung und Hardware-Anforderungen auf die Praxis auswirken.
Was gezeigt wird
Im Video wird zunächst LM Studio genutzt, um Modelle zu finden, die zur vorhandenen Hardware passen. Dabei wird erklärt, wie du in der Modellauswahl zwischen zertifizierten Originalmodellen und Community-Varianten unterscheidest und warum Bezeichnungen wie 2B, E, Q4 oder Q8 wichtig sind. Anschließend wird gezeigt, wie sich Modelle wie Gemma und ein ultrakompaktes Modell von Liquid AI in der Praxis verhalten. Außerdem wird demonstriert, wie du Dokumente wie PDFs hochlädst und das Modell damit arbeiten lässt. Zum Schluss wird ein älterer Intel-iMac mit Ollama eingebunden, um zu zeigen, wie lokale KI auch auf sehr alter Hardware nutzbar bleibt. Zusätzlich wird die Funktion LM Link vorgestellt, mit der sich mehrere Computer verbinden lassen, um auf stärkere Systeme zuzugreifen.
Für wen geeignet
Die Anleitung richtet sich an alle, die lokale KI auf älteren Macs oder schwachen PCs ausprobieren möchten, ohne direkt auf große Modelle angewiesen zu sein. Besonders hilfreich ist sie für Einsteiger, die verstehen wollen, welches Modell zu welcher Hardware passt, und für Anwender, die Texte oder PDFs lokal auslesen lassen möchten. Auch wer mit wenig RAM arbeitet und praktische Tipps für den Einsatz von LM Studio oder Ollama sucht, bekommt hier einen guten Einstieg.
- Small Language Models und On-Device-Modelle einordnen
- Modellnamen wie 2B, E, Q4 und Q8 verstehen
- Passende Modelle in LM Studio finden
- Lokale Modelle mit PDFs und Textaufgaben testen
- Alte Macs mit Ollama für lokale KI nutzen
- LM Link für den Zugriff auf stärkere Rechner kennenlernen