Inferenz vs. Training

Training und Inferenz sind die zwei Phasen eines KI-Modells — mit sehr unterschiedlichen Hardware-Anforderungen. Beim Training lernt das Modell aus Daten: Das ist rechen- und speicherintensiv, weil zusätzlich Gradienten und Optimizer-Zustände im VRAM gehalten werden — grob das Zwei- bis Vierfache der reinen Modellgröße. Inferenz ist das fertige Modell im Einsatz: Es braucht nur Gewichte plus Kontext, also deutlich weniger Speicher und Compute. Deshalb läuft ein Modell, das eine RTX 4090 problemlos inferiert, beim Training oft in ein VRAM-Limit. Für beide Fälle eignet sich ein GPU-Server für KI ; wähle die Karte nach der speicherhungrigeren Phase.

← Zurück zum Glossar