Ich habe ständig dieselben KI-Provider recherchiert. Also habe ich ein Werkzeug daraus gebaut.

Ich beschäftige mich regelmäßig damit, nach KI-Tools zu recherchieren. Jedes Mal, wenn ich etwas Neues für einen Kunden baue, muss ich mir zuerst die richtigen Tools zusammensuchen, um ihn bestmöglich zu versorgen. Der Markt bewegt sich schnell, immer wieder kommen neue Tools dazu- Ein guter Teil meiner Zeit fließt also in die ständige Suche nach neuen KI-Tools.

Dabei ertappe ich mich, dass ich immer wieder nach denselben Tools recherchiere – und dass manche Fragen nie so richtig beantwortet werden. Eine davon ist die Frage nach datenschutzkonformer KI. Die großen Provider kennen und nutzen alle: Microsoft, AWS, Google Cloud, und natürlich OpenAI und Anthropic. Aber die weniger bekannten? Was gibt es da eigentlich alles, und von wem kann man Kundendaten bedenkenlos verarbeiten lassen?

Also habe ich mich auf die Suche begeben, meine Agenten losgeschickt und eine ganze Menge Material zusammengetragen. Beim Sortieren fiel mir dann auf: Daraus könnte man eigentlich ein schönes Werkzeug bauen und die Ergebnisse Anderen zur Verfügung stellen. Geschehen. Das Tool ist jetzt verfügbar unter ki-markt.jonaskrauss.de – 126 Provider, verglichen, kategorisiert, durchsuchbar und filterbar nach Hosting-Region, Gruppe und Features. Jeder Anbieter hat eine Karte mit Stärken, Schwächen und Besonderheiten, und die Produktseiten sind überall verlinkt, sodass man direkt durchklicken kann.

Wie ich das Ganze strukturiert habe und welche Anbieter mir besonders aufgefallen sind, erkläre ich hier.

Die drei Ebenen der Datensouveränität

Datensouveränität ist das Filterkriterium, das mich am meisten interessiert, und dafür habe ich ein Drei-Schichten-Modell adaptiert.

Layer 1 bedeutet: Die Daten landen in der EU. Was man hinschickt, wird in europäischen Rechenzentren gespeichert und verarbeitet. Das ist die Basisstufe, und viele Anbieter bieten sie an. Ein Feature ist dabei nochmal gesondert zu sehen: No Data Retention, also dass der Anbieter Prompts und Antworten gar nicht speichert. Das kann es auf jeder Ebene geben – oder eben nicht.

Layer 2 geht weiter: Nicht nur die Daten werden in der EU gehostet, sondern auch die Control Plane. Also die Dienste und die Software, die letztlich das ganze Angebot bereitstellen und auf denen auch das Identity- und Access-Management läuft. Was auf dieser Stufe noch ausländisch sein kann, ist der Eigentümer. Und die allermeisten Firmen in dem Bereich sind US-Unternehmen. So toll sie sind, so stark und innovativ, wie sie teilweise sind: In den USA gibt es Gesetze, die ein US-Unternehmen dazu verpflichten, angefragte Daten der US-Regierung auszuhändigen – und die Dateneigentümer darüber nicht zu informieren. Das gilt auch, wenn die Daten physisch nie aus Frankfurt rauskommen.

Layer 3 ist die höchste Stufe: Die Muttergesellschaft sitzt selbst in der EU, das komplette Angebot unterliegt vollständig EU-Recht. Wer das braucht? Öffentliche Verwaltung, Gesundheitswesen, regulierte Industrien – und alle, die einfach ruhig schlafen wollen.

Viele Provider fallen in keine dieser Ebenen. Das zeigt das Tool ebenfalls an.

Die Kategorien

„Provider" ist ein dehnbarer Begriff. Dahinter verbergen sich völlig verschiedene Produkte, deshalb sortiert das Tool die Anbieter in Gruppen.

Die Modelle selbst. Die großen Sprachmodelle, über die alle reden – von den US-Flaggschiffen bis zu den chinesischen Anbietern, die oft deutlich günstiger sind. Bei vielen chinesischen Anbietern gibt es dafür einen praktischen Haken: keine Vertragsvorlage zur Auftragsdatenverarbeitung (AVV). Wenn ich einen Anbieter meine Daten verarbeiten lasse, muss ich mit ihm einen solchen Vertrag schließen. Gute Anbieter haben dafür einen Standardvertrag, den man sich in wenigen Minuten einfach zusammenklickt. Bei anderen muss man anfragen und dann individuell vereinbaren, was die Sache deutlich komplizierter macht, als sie sein müsste.

Harnesses und Agenten. Ein Modell allein ist nur ein Modell. Man kann es zum Programmieren benutzen oder als allgemeinen Agenten – etwa per Desktop-Tool, das im Hintergrund ein Cloud-Modell nutzt. Oder man betreibt so einen Agenten auf dem eigenen VPS und hat lokal nur eine Oberfläche dazu. Die Software um das Modell herum, der Harness, ist inzwischen fast so wichtig wie das Modell selbst. Wer weitergehen will: Mit OpenHands lässt sich sogar ein eigenes Agenten-Team mit Automationen hosten, komplett open source.

Vector Embeddings und RAG. Diese Kategorie dreht sich im weitesten Sinne um Suche. Alles, was als Text vorliegt – Dokumente in einer Datenbank, auf der Festplatte, vielleicht in E-Mails – lässt sich über Vector Embeddings für eine KI sinnvoll nutzbar machen. Retrieval Augmented Generation sorgt dann dafür, dass die KI bei jeder Anfrage schnellen, einfachen und treffsicheren Zugriff auf einen Wissenskorpus hat. Sind es ein paar Dokumente, vielleicht bis zu einem Buch, kann man das gesamte Wissen einfach bei jeder Anfrage mitgeben. Ist es mehr – oder will man effizienter mit den Tokens umgehen – gibt man der KI nur genau das mit, was gerade für die Anfrage gebraucht wird. Und das herauszufinden, dafür eignen sich Vector-Datenbanken. Die sind übrigens auch über KI hinaus spannend: Sie machen große Wissensbestände semantisch durchsuchbar, sodass ein Suchbegriff auch dann findet, was gemeint ist, wenn die Schreibweise leicht abweicht.

OCR und Document Intelligence. Papier beherrscht viele Büros weiterhin. Eingescannt kommt es als PDF an: Eingangsrechnungen, Angebote, Anfragen jeglicher Art, Briefe. Und in vielen, vielen Büros liest ein Mensch, was da drinsteht, und tippt es in Systeme ein. Das ändert sich gerade. OCR geht heutzutage richtig gut, und Document-Intelligence-Systeme extrahieren aus unordentlichen Scans strukturierte Daten – und helfen andersrum dabei, Dokumente wie Angebote und Rechnungen zu generieren.

Sprache. Mit Text-to-Speech und Speech-to-Text lässt sich direkte Spracheingabe an so ein Wissenssystem anbinden: Ein Mensch spricht, es wird Text, der Text fließt ins System. Und andersrum kommt eine Antwort nicht als trockener Text zurück, sondern als natürlich klingende Sprache. So bekommt man ein ganz natürliches Interface zur KI.

Training und Hosting. Wenn man größere KI-Workloads betreibt, wird es irgendwann interessant, spezialisierte Modelle zu trainieren. Die können bessere Ergebnisse liefern und gleichzeitig deutlich günstiger laufen, als wenn man jedes Mal die ganz großen Modelle benutzt. Worum es in dieser Kategorie geht: um die Anbieter, die die Rechenleistung dafür bereitstellen.

AI-Gateways. Ein API-Key, hunderte Modelle dahinter, dazu Routing und Ausfallsicherheit. OpenRouter ist der bekannteste, aber das Tool verfolgt über ein Dutzend Gateways – manche speziell für den europäischen Markt gebaut.

Neoclouds und Self-Hosting. Neoclouds sind eine junge Generation von Cloud-Anbietern rund um serverloses GPU-Inference: Man mietet keine Server, sondern ruft eine API auf. Und Self-Hosting – von Ollama auf dem eigenen Server bis zum dedizierten GPU-Rechner – bleibt die DSGVO-freundlichste Option, die es gibt, weil niemand sonst die Daten anfasst. Es kostet operativen Aufwand, ist also ein Trade-off, kein Standard.

Was mir aufgefallen ist

In ungeordneter Reihenfolge, die Funde aus dieser Recherche:

Perplexity bietet eine schöne API an. Sonar liefert Web Search direkt mit Zitaten und Verlinkungen. Wenn eine Anwendung aktuelle Fakten mit Quellen braucht, ersetzt das eine ganze Search-Pipeline.

Cohere gilt als der Multilingual-Embedding-Champion. Nicht der günstigste, aber wenn Retrieval über deutsche und englische Dokumente hinweg funktionieren muss, fällt dieser Name.

Scaleway sticht unter den europäischen Full-Service-Providern hervor. Die bieten das komplette Cloud-Angebot, das auch die großen US-Hyperscaler haben – und obendrauf Generative APIs mit OpenAI-kompatiblem Endpoint. Von den europäischen Anbietern, die ich mir angeschaut habe, ist Scaleway mit seinem Angebot am weitesten.

Noxtua ist der Spezialist für die Rechtsnische. Eine souveräne Rechts-KI, entwickelt mit großen deutschen Kanzleien, auf europäischer Infrastruktur, für Kanzleien und Rechtsabteilungen größerer Unternehmen. Preise gibt es nur auf Anfrage – was auch etwas über die Zielgruppe sagt.

Rossum für Dokumente und Rechnungen. Document Intelligence und automatische Rechnungsverarbeitung für den Enterprise-Bereich. Offiziell startet der Starter-Tarif bei 18.000 Dollar pro Jahr. Diese Zahl bringt die Positionierung auf den Punkt.

Berget.ai schaue ich mir auf jeden Fall selbst genauer an. Ein starkes schwedisches Angebot für Entwickler: OpenAI-kompatibler Endpoint, gute Auswahl an Modellen, dazu Datenbanken/Storage, Compute und Conncetivity sowie Container-Management. Komplett europäisch und DSGVO-konform.

Exoscale verkauft Compute inklusive GPUs. Pay-as-you-go, betrieben aus der Schweiz, ohne Beschaffungsprozedere. Spannend für alle, die mal für ein paar Stunden eine GPU brauchen und keinen Dauerbetrieb.

Hetzner hat doch GPUs. Ich dachte immer, da gibt es keine – stimmt nicht. Es gibt sie, allerdings ohne minütliche Abrechnung: nur als Dedicated Server. Das Einstiegsmodell kostet aktuell 214 Euro pro Monat, dazu einmalig 209 Euro Setup-Gebühr. Nicht so flexibel wie eine Neocloud, aber planbar, deutsch, und für Dauerlast günstig.

Requesty ist ein britisches Unternehmen mit einer ernstzunehmenden europäischen Antwort. Das EU-Gateway läuft in Frankfurt, über 200 Modelle, und auf dem Weg durch die Anfrage gibt es PII-Detection und Scrubbing: Personenbezogene Daten werden maskiert, bevor ein Modell sie überhaupt sieht. Das entspricht in meinem Modell Layer 2 – von einem Anbieter außerhalb der EU.

Eden AI bietet das Umfassendste aus der ganzen Liste. Ein französischer Aggregator mit 500 Modellen: Frontier-Modelle, offene Modelle, OCR, Speech, Embeddings – alles hinter einer API. Die Plattform sitzt in Frankreich mit EU-Endpunkt und Zero Retention – die Plattform-Ebene ist damit Layer 3, auch wenn im Katalog natürlich auch US-Modelle routen. Diese Breite unter voller EU-Jurisdiktion war mir vor der Recherche unbekannt.

LiteLLM ist ein Open-Source-LLM-Router. Kostenlos, selbst hostbar, spricht mit weit über hundert Providern. Für Teams, die einen kleinen Dienst betreiben können, ist das die sauberste Antwort auf die Gateway-Frage – weil es keinen dritten Anbieter gibt, dem man vertrauen muss.

Schau es dir an

Das Tool ist kostenlos, keine Anmeldung: ki-markt.jonaskrauss.de. Man kann dort wunderbar einfach suchen. Wenn man irgendeine Anforderung rund um die Themen hat, die ich beschrieben habe, findet man in wenigen Klicks die Kandidaten – mit Produktseite, Stärken und Schwächen. Ich gehe davon aus, dass ich es regelmäßig aktualisiere...