Vektordatenbank
Eine Vektordatenbank speichert Embeddings und findet zu einem Suchvektor in kurzer Zeit die ähnlichsten Einträge, die Basis semantischer Suche in Dokumenten.
Eine gewöhnliche Datenbank findet Einträge, die einem Suchbegriff genau entsprechen. Eine Vektordatenbank findet Einträge, die einem Suchvektor am nächsten liegen. Sie ist darauf ausgelegt, unter Millionen von Vektoren in Millisekunden die ähnlichsten zu ermitteln, mit Indexverfahren, die nicht jeden Eintrag einzeln vergleichen müssen.
Neben dem Vektor speichert sie Metadaten: aus welchem Dokument ein Abschnitt stammt, an welcher Stelle er steht, wer ihn sehen darf. Diese Metadaten erlauben, die Suche einzugrenzen, etwa auf die Dokumente eines Projekts oder auf Inhalte, für die der fragende Nutzer berechtigt ist.
Es gibt eigenständige Produkte für diesen Zweck und Erweiterungen für bestehende Datenbanken wie PostgreSQL. Für viele Unternehmensanwendungen reicht eine Erweiterung, die Vektoren neben den übrigen Daten hält und dieselben Berechtigungen und Sicherungen nutzt.
Was das für Ihr Unternehmen bedeutet
Die Vektordatenbank ist der Ort, an dem das Wissen eines Unternehmens in durchsuchbarer Form liegt. Entsprechend gelten für sie dieselben Anforderungen wie für die Dokumente selbst: Zugriffsrechte, Verschlüsselung, Standort des Rechenzentrums und ein Vertrag zur Auftragsverarbeitung mit dem Betreiber.