Voraussetzungen
Docker + Hardware-CheckDu brauchst Docker und genügend Hardware. CPU-only geht auch, ist aber deutlich langsamer.
Software: - Docker + Docker Compose (docker.com) - Git Hardware (Minimum): - 16 GB RAM - 10 GB VRAM (GPU) für das 14b Modell - 20 GB Festplatte Hardware (Empfohlen): - 32 GB RAM - 24 GB VRAM für das 32b Modell - 50 GB Festplatte