3. Nachteile lokaler LLMs
Technische Huerden
- Hoeherer Hardwarebedarf fuer groessere Modelle.
- Setup, Updates und Monitoring liegen beim Team.
- Performance kann ohne GPU deutlich abfallen.
Risikoreduktion
- Mit kleineren quantisierten Modellen starten.
- Messwerte fuer Antwortzeit und Speicher erfassen.
- Deployments standardisieren.