KI Agentur Kompetenz prüfen: Expertise oder nur neues Etikett?

Immer mehr Agenturen bieten heute KI-Beratung, KI-Automatisierung, KI-Strategie oder generative KI-Lösungen an. Für Unternehmen wird es dadurch schwieriger zu beurteilen, ob tatsächlich neue Fachkompetenz entstanden ist oder bestehende Leistungen lediglich mit aktuellen Begriffen neu vermarktet werden. Entscheidend ist deshalb nicht, ob sich ein Anbieter „KI Agentur“ nennt, sondern ob Kompetenz, Team, Methodik und technische Tiefe zur angebotenen Leistung passen.

Warum KI-Kompetenz heute schwer zu beurteilen ist

Der Markt hat sich in sehr kurzer Zeit verändert. Noch vor wenigen Jahren spielten Leistungen rund um Large Language Models, KI Agenten, RAG-Systeme oder generative Automatisierung im klassischen Agenturgeschäft kaum eine Rolle. Heute gehören sie bei vielen Anbietern zum Leistungsportfolio.

Das ist grundsätzlich plausibel. Eine Digitalagentur kann bestehende Softwarekompetenz um KI-Integrationen erweitern. Eine Automatisierungsagentur kann Sprachmodelle sinnvoll in Workflows integrieren. Eine SEO Agentur kann zusätzliche Kompetenz rund um KI-Sichtbarkeit aufbauen.

Die Schwierigkeit liegt an einer anderen Stelle: Der Begriff KI Agentur beschreibt keine klar abgegrenzte Qualifikation.

Unter derselben Bezeichnung können sich sehr unterschiedliche Anbieter befinden. Manche entwickeln individuelle Anwendungen und komplexe Datenarchitekturen. Andere konfigurieren vorhandene Tools. Wieder andere beraten ausschließlich strategisch oder nutzen generative KI innerhalb bestehender Marketingprozesse.

Für Unternehmen ist daher eine pauschale Frage wie „Ist das eine gute KI Agentur?“ wenig hilfreich. Zuerst muss geklärt werden, welche konkrete KI-Kompetenz für das geplante Projekt überhaupt benötigt wird.

Nicht jede KI Agentur muss dasselbe können

Eine Agentur kann im Bereich künstliche Intelligenz sehr gut sein und trotzdem keine eigenen Modelle entwickeln. Das ist kein Widerspruch.

Bei vielen Unternehmensprojekten wäre die Entwicklung eines eigenen Sprachmodells wirtschaftlich sogar unsinnig. Bestehende Modelle und Plattformen lassen sich über Schnittstellen in Anwendungen, Wissenssysteme oder Prozesse integrieren. Die eigentliche Kompetenz liegt dann in Architektur, Datenintegration, Workflow-Design, Sicherheit und zuverlässigem Betrieb.

Anders sieht es aus, wenn ein Anbieter ausdrücklich Machine Learning, eigenes Modelltraining oder hochindividuelle KI-Systeme anbietet. Dann müssen andere technische Fähigkeiten vorhanden sein.

Vor der Agenturprüfung sollte deshalb klar getrennt werden:

Keine Agentur muss sämtliche Bereiche abdecken. Problematisch wird es erst, wenn ein Anbieter Kompetenz in einem Bereich behauptet, die sich fachlich kaum nachweisen lässt.

Die erste Prüfung beginnt deshalb beim Leistungsversprechen

Vor technischen Details sollte zunächst betrachtet werden, was die Agentur überhaupt anbietet.

Eine Aussage wie „Wir integrieren bestehende Sprachmodelle in Ihre internen Prozesse“ ist relativ konkret. Daraus lässt sich ableiten, welche Kompetenzen benötigt werden.

Die Formulierung „Wir machen Ihr Unternehmen KI-ready“ ist dagegen kaum prüfbar. Unklar bleibt, welche Leistung erbracht wird, welche Technologie zum Einsatz kommt und welches konkrete Ergebnis entstehen soll.

Je unschärfer das Leistungsversprechen, desto schwieriger wird später auch die Bewertung von Preis und Qualität.

Genau deshalb sollte eine Agentur bereits im Erstgespräch erklären können, welches Problem sie lösen möchte, welche Technologie dafür sinnvoll ist und welchen Teil der Umsetzung sie selbst übernimmt.

Echte KI-Kompetenz zeigt sich in der Erklärung

Technische Expertise ist für fachfremde Entscheider schwer direkt zu beurteilen. Trotzdem gibt es einen einfachen Indikator: die Qualität der Erklärung.

Ein erfahrener Anbieter sollte nachvollziehbar erläutern können, warum eine bestimmte Lösung vorgeschlagen wird. Er sollte Alternativen benennen und erklären können, warum eine einfachere oder günstigere Technologie möglicherweise ebenfalls ausreichen würde.

Besonders aussagekräftig ist die Antwort auf die Frage:

„Warum brauchen wir für dieses Problem überhaupt KI?“

Nicht jede Automatisierung benötigt ein Sprachmodell. Nicht jedes interne Suchsystem braucht einen komplexen KI Agenten. Und nicht jeder Prozess wird durch generative KI besser.

Ein Anbieter, der auch erklären kann, wann KI keinen zusätzlichen Nutzen bringt, wirkt häufig belastbarer als eine Agentur, die für jedes Problem automatisch eine KI-Lösung empfiehlt.

Automatisierung und KI werden häufig vermischt

Ein wichtiger Prüfpunkt ist die Abgrenzung zwischen klassischer Automatisierung und tatsächlicher KI-Nutzung.

Wenn Daten aus einem Formular automatisch in ein CRM übertragen und anschließend eine E-Mail ausgelöst wird, handelt es sich zunächst um Automatisierung. Wird zusätzlich ein Sprachmodell eingesetzt, um beispielsweise den Inhalt einer Anfrage zu analysieren, zu kategorisieren oder einen individuellen Antwortentwurf zu erstellen, kommt eine KI-Komponente hinzu.

Beide Varianten können wirtschaftlich sinnvoll sein. Für die Bewertung der Agenturleistung ist die Unterscheidung trotzdem wichtig.

Unternehmen sollten wissen, ob sie für individuelle technische Entwicklung bezahlen oder hauptsächlich für die Konfiguration bereits vorhandener Plattformen. Eine Standardintegration kann die richtige Lösung sein. Sie sollte dann aber auch als solche transparent dargestellt werden.

Entscheidend ist die tatsächliche Eigenleistung

Gerade bei generativer KI basiert ein großer Teil der technischen Infrastruktur auf externen Anbietern. Sprachmodelle, Cloud-Dienste, Datenbanken, Automatisierungsplattformen und weitere Komponenten werden miteinander verbunden.

Das ist heute normal.

Für die Beurteilung einer Agentur stellt sich deshalb weniger die Frage, ob sie sämtliche Technologie selbst entwickelt. Interessanter ist:

Welchen Teil der Lösung verantwortet die Agentur tatsächlich?

Eine professionelle Agentur sollte offenlegen können, welche Komponenten von externen Anbietern stammen und welche eigene Leistung erbracht wird. Dazu können beispielsweise Architektur, Schnittstellen, Benutzeroberfläche, Datenlogik, Prompting, Sicherheitsmechanismen, Testing oder Monitoring gehören.

Wenn dagegen eine nahezu vollständige Standardlösung als individuelle Eigenentwicklung dargestellt wird, entsteht ein falsches Bild von Aufwand und Kompetenz.

Wer arbeitet tatsächlich am Projekt?

Ein weiterer wichtiger Prüfpunkt ist das Team.

Viele Agenturen präsentieren auf ihren Websites ein breites Spektrum an Expertise. Für das konkrete Mandat ist jedoch entscheidend, welche Personen tatsächlich eingesetzt werden.

Bei technisch anspruchsvollen KI-Projekten sollte nachvollziehbar sein, ob Entwickler, Softwarearchitekten oder Datenexperten vorhanden sind. Werden ausschließlich Strategieberater und Projektmanager vorgestellt, während gleichzeitig komplexe Individualentwicklung angeboten wird, sollte genauer nachgefragt werden.

Das bedeutet nicht, dass sämtliche Personen fest angestellt sein müssen. Auch spezialisierte Partner oder Freelancer können sinnvoll eingebunden werden. Die Struktur sollte jedoch transparent sein.

Relevant ist insbesondere:

• Wer verantwortet die technische Architektur?

• Wer entwickelt die Lösung?

• Wer überprüft Qualität und Sicherheit?

• Wer übernimmt den Betrieb nach dem Launch?

Wenn diese Fragen bereits vor Vertragsabschluss nicht klar beantwortet werden können, steigt das Projektrisiko.

Lassen Sie sich die technische Lösung verständlich erklären

Geschäftsführer müssen keine Softwarearchitekten sein, um eine KI Agentur zu prüfen.

Sie sollten aber erwarten können, dass der Anbieter seine Lösung verständlich beschreibt.

Beispielsweise sollte klar werden, welches Modell verwendet wird, wo Daten verarbeitet werden, welche Schnittstellen notwendig sind und welche externen Plattformen beteiligt sind. Ebenso wichtig ist die Frage, wie sensible Unternehmensdaten geschützt und Zugriffsrechte geregelt werden.

Ein guter Anbieter kann diese Zusammenhänge erklären, ohne sich hinter Fachbegriffen zu verstecken.

Gerade bei KI-Angeboten ist eine hohe Dichte technischer Schlagwörter noch kein Kompetenznachweis. Begriffe wie RAG, Agentic AI, Vector Database oder Fine-Tuning können fachlich vollkommen korrekt sein. Entscheidend ist, ob sie im konkreten Projekt tatsächlich notwendig sind.

Gute KI-Agenturen kennen die Grenzen ihrer Lösungen

Eine der aussagekräftigsten Fragen im Erstgespräch lautet:

„Wo funktioniert Ihre Lösung nicht zuverlässig?“

Erfahrene Anbieter sollten darauf eine konkrete Antwort geben können.

Generative KI kann falsche Inhalte erzeugen. Modelle reagieren nicht immer identisch. Daten können unvollständig sein. Schnittstellen können sich verändern. Kosten können mit steigendem Nutzungsvolumen wachsen.

Eine seriöse Agentur berücksichtigt solche Grenzen bereits in der Planung.

Sie sollte erklären können, welche Aufgaben automatisiert werden können, wo menschliche Kontrolle weiterhin notwendig ist und welche Fehlermechanismen vorgesehen sind.

Wer ausschließlich Chancen beschreibt und technische Risiken vollständig ausblendet, vermittelt kein realistisches Bild des Projekts.

Referenzen müssen zur angebotenen KI-Leistung passen

Case Studies sind auch bei KI Agenturen ein wichtiger Nachweis. Ihr Wert hängt jedoch davon ab, was tatsächlich gezeigt wird.

Eine Aussage wie „Wir haben für Kunde X einen KI-Assistenten entwickelt“ reicht nicht aus.

Interessanter ist, welche Aufgabe gelöst wurde und wie das System produktiv eingesetzt wird. Ein interner Prototyp besitzt einen anderen Beweiswert als eine Anwendung, die seit zwölf Monaten von mehreren hundert Mitarbeitern genutzt wird.

Auch die Eigenleistung sollte erkennbar sein. Wurde eine vorhandene Plattform lediglich eingerichtet oder eine individuelle Lösung entwickelt? Welche technischen Herausforderungen mussten gelöst werden? Welche messbaren Verbesserungen entstanden?

Wie belastbar Referenzen grundsätzlich sind, sollte deshalb genauso kritisch geprüft werden wie bei klassischen Agenturleistungen. Der Beitrag Agentur-Fallstudien prüfen zeigt, welche Kriterien dabei relevant sind.

KI-Erfahrung altert schneller als klassische Agenturerfahrung

Bei KI-Technologien spielt zusätzlich die Aktualität von Referenzen eine größere Rolle.

Viele Plattformen und Modelle verändern sich innerhalb weniger Monate erheblich. Ein Projekt, das vor zwei Jahren technisch anspruchsvoll war, lässt sich heute möglicherweise mit deutlich weniger Aufwand umsetzen.

Eine ältere Case Study bleibt deshalb wertvoll, wenn sie grundlegende technische Erfahrung zeigt. Sie sollte aber durch aktuelle Projekte ergänzt werden.

Unternehmen können beispielsweise fragen, welche Systeme heute produktiv betrieben werden, welche aktuellen Modelle eingesetzt werden und wie bestehende Lösungen weiterentwickelt wurden.

Eine Agentur mit echter KI-Kompetenz muss nicht jedem Trend folgen. Sie sollte jedoch nachvollziehbar zeigen können, dass ihre technische Methodik mit der Entwicklung des Marktes Schritt hält.

Datenschutz und Datenhoheit gehören zur Kompetenzprüfung

Gerade bei Unternehmensanwendungen ist technische Funktionalität nur ein Teil der Bewertung.

Sobald interne Dokumente, Kundendaten, Vertragsinformationen oder personenbezogene Daten verarbeitet werden, entstehen zusätzliche Anforderungen.

Die Agentur sollte erklären können, wo Daten gespeichert werden, welche Drittanbieter Zugriff erhalten und wie Berechtigungen geregelt sind. Ebenso wichtig ist, ob Daten durch externe Modellanbieter weiterverwendet werden können und welche vertraglichen Regelungen gelten.

Eine technisch beeindruckende Anwendung kann für ein Unternehmen trotzdem ungeeignet sein, wenn Datenschutz und Datenhoheit nicht sauber gelöst sind.

Diese Fragen gehören deshalb bereits in die Auswahlphase und nicht erst in die technische Umsetzung.

Auch Vendor Lock-in sollte geprüft werden

Viele KI-Lösungen basieren auf Plattformen großer Anbieter. Dadurch entstehen Abhängigkeiten.

Modelle können eingestellt oder verändert werden. APIs ändern sich. Preise steigen. Nutzungsbedingungen können angepasst werden.

Ein professioneller Anbieter sollte deshalb erklären können, wie stark die geplante Lösung an einen einzelnen Anbieter gebunden ist.

Das bedeutet nicht, dass jede Anwendung vollständig unabhängig aufgebaut werden muss. In vielen Projekten wäre das unnötig teuer.

Die Abhängigkeit sollte jedoch bewusst sein.

Für strategisch wichtige Systeme ist insbesondere interessant, ob ein späterer Wechsel des Modells grundsätzlich möglich wäre und welcher Aufwand dadurch entstehen würde.

Der Betrieb nach dem Projekt gehört zur Lösung

Ein häufiger Fehler bei KI-Projekten besteht darin, nur die Entwicklung bis zum Launch zu betrachten.

In der Praxis müssen viele Systeme weiter überwacht und angepasst werden.

Modelle ändern sich, Datenquellen werden aktualisiert und Nutzer finden neue Wege, mit der Anwendung zu interagieren. Dadurch können Fehler entstehen, die bei der ursprünglichen Entwicklung nicht sichtbar waren.

Deshalb sollte bereits vor Vertragsabschluss geklärt werden, wer für Betrieb, Qualitätssicherung und Weiterentwicklung verantwortlich ist.

Bei einer geschäftskritischen KI-Anwendung gehören dazu beispielsweise Monitoring, Fehleranalyse, Kostenkontrolle und regelmäßige Tests.

Wenn eine Agentur ausschließlich die Entwicklung anbietet und anschließend keine klare Verantwortung besteht, muss das Unternehmen diese Aufgabe selbst organisieren.

Typische Hinweise auf reines KI-Rebranding

Ein einzelnes Merkmal reicht nicht aus, um einem Anbieter fehlende Kompetenz zu unterstellen. Mehrere Auffälligkeiten zusammen können jedoch ein Grund für eine genauere Prüfung sein.

Dazu gehören beispielsweise:

• sehr breite KI-Versprechen ohne erkennbare Spezialisierung,

• keine konkreten technischen Ansprechpartner,

• zahlreiche Fachbegriffe ohne nachvollziehbare Erklärung,

• ausschließlich Demo-Projekte statt produktiver Anwendungen,

• Standardtools, die als umfangreiche Eigenentwicklung präsentiert werden,

• kaum Aussagen zu Datenverarbeitung, Datenschutz oder Betrieb,

• keine erkennbare Auseinandersetzung mit Grenzen und Risiken.

Besonders kritisch ist eine Kombination aus großen Leistungsversprechen und geringer technischer Transparenz.

Welche Fragen sollten Unternehmen vor der Beauftragung stellen?

Ein langes technisches Audit ist für eine erste Anbieterbewertung nicht immer notwendig. Einige konkrete Fragen können bereits zeigen, wie belastbar die Kompetenz des Anbieters ist.

Besonders hilfreich sind:

• Welche Technologie würden Sie für unser Problem einsetzen und warum?

• Welche Bestandteile entwickeln Sie selbst?

• Welche externen Plattformen benötigen Sie?

• Wer arbeitet konkret an unserem Projekt?

• Welche vergleichbaren Systeme laufen bereits produktiv?

• Wo liegen die Grenzen der vorgeschlagenen Lösung?

• Welche Daten werden verarbeitet und wo gespeichert?

• Welche laufenden Kosten entstehen nach der Einführung?

• Wer übernimmt Betrieb und Weiterentwicklung?

Die Qualität der Antworten ist häufig aussagekräftiger als eine umfangreiche Präsentation.

Wann eine unabhängige KI-Agentur-Prüfung sinnvoll ist

Für Unternehmen ohne eigene technische Expertise entsteht bei KI-Projekten eine deutliche Informationsasymmetrie.

Der Anbieter bewertet selbst, welche Technologie notwendig ist, wie komplex das Projekt sein wird und welche Kosten angemessen sind. Gleichzeitig muss die Geschäftsführung entscheiden, ob diese Einschätzung fachlich plausibel ist.

Bei kleineren Experimenten lässt sich dieses Risiko begrenzen.

Bei langfristigen Projekten, hohen Budgets oder geschäftskritischen Anwendungen kann dagegen eine unabhängige KI-Agentur-Prüfung sinnvoll sein.

Dabei geht es nicht darum, möglichst viel Technologie zu verlangen. Im Gegenteil: Eine gute Prüfung kann genauso zu dem Ergebnis kommen, dass eine deutlich einfachere Lösung ausreichend wäre.

Zusätzlich sollten konkrete Erfolgs- oder Leistungsbehauptungen separat bewertet werden. Der Beitrag Agenturversprechen prüfen zeigt, wie sich Prognosen, Nachweise und Marketingbehauptungen voneinander unterscheiden lassen.

AVERVO Einschätzung: KI-Kompetenz zeigt sich durch Präzision

Der Begriff KI wird aktuell sehr großzügig verwendet. Das macht ihn als Qualitätsmerkmal nahezu wertlos.

Aus unserer Sicht sollte deshalb nicht geprüft werden, wie modern eine Agentur klingt, sondern wie präzise sie ihre eigene Leistung beschreiben kann.

Ein kompetenter Anbieter kann erklären, welches Problem gelöst wird, warum dafür KI sinnvoll ist und welche Technologie tatsächlich benötigt wird. Er unterscheidet zwischen Standardtechnologie und eigener Entwicklung, benennt technische Grenzen und macht Abhängigkeiten transparent.

Eine Agentur muss kein eigenes Sprachmodell entwickeln, um hochwertige KI-Projekte umzusetzen.

Sie sollte aber genau wissen, welche Kompetenz sie selbst einbringt und an welcher Stelle sie auf die Technologie anderer Anbieter angewiesen ist.

Genau diese Klarheit ist einer der belastbarsten Unterschiede zwischen tatsächlicher Expertise und einem neuen Etikett.

Häufige Fragen zur KI Kompetenz