Inferenz
Inferenz ist der Betrieb eines trainierten Modells: Aus einer Eingabe wird eine Ausgabe berechnet. Sie bestimmt Antwortzeit, Kosten und Verarbeitungsort.
Die Arbeit mit einem Sprachmodell besteht aus zwei getrennten Phasen. Das Training erzeugt das Modell und findet einmal statt, mit enormem Rechenaufwand. Die Inferenz ist die Anwendung des fertigen Modells: Jede Frage, jede Zusammenfassung ist ein Inferenzvorgang, bei dem das Modell aus der Eingabe Token für Token eine Ausgabe berechnet.
Inferenz braucht spezialisierte Hardware, in der Regel Grafikprozessoren, und ist mit Kosten verbunden, die mit der Zahl der verarbeiteten Token wachsen. Antwortzeit und Durchsatz hängen davon ab, wie groß das Modell ist und wie viele Anfragen gleichzeitig eintreffen.
Datenschutzrechtlich ist die Inferenz der Moment, in dem Eingaben des Nutzers, also möglicherweise personenbezogene oder vertrauliche Daten, tatsächlich verarbeitet werden. Wo der Inferenzserver steht und wer ihn betreibt, entscheidet, welchem Recht die Verarbeitung unterliegt und mit wem ein Vertrag zur Auftragsverarbeitung nötig ist.
Was das für Ihr Unternehmen bedeutet
Für ein Unternehmen ist die Frage nach dem Ort der Inferenz oft wichtiger als die nach dem Modell. Ein Anbieter kann eine Anwendung in Deutschland betreiben und die Inferenz trotzdem an einen Dienst in den USA weiterreichen. Wer Datenresidenz zusagt, muss sie auch für die Inferenz einhalten. Bei vector zero laufen Anwendung und Sprachmodelle in denselben deutschen Rechenzentren.