API vs. Browser-Scraping: Wie zuverlässig lässt sich KI-Sichtbarkeit messen?

Wenn zwei Tools für dieselbe Marke unterschiedliche „ChatGPT-Sichtbarkeit“ ausweisen, muss nicht zwangsläufig eines davon falsch liegen. Möglicherweise messen beide schlicht etwas anderes.

Ein Anbieter kann eine Chat-Oberfläche automatisiert im Browser aufrufen und die dort erzeugte Antwort auslesen. Ein anderer stellt dieselbe Frage über die dokumentierte Schnittstelle eines KI-Anbieters. Und selbst dort macht es einen Unterschied, ob das Modell live im Web recherchiert oder aus seinem Modellwissen antwortet.

Alle diese Verfahren können eine plausible Antwort erzeugen. Als Messung sind sie trotzdem nicht dasselbe.

Genau darin liegt ein grundlegendes Problem bei GEO- und KI-Sichtbarkeitstools: Es gibt keinen festen „ChatGPT-Rang“, den ein Tool nur noch auslesen müsste. Der Messweg beeinflusst, was am Ende im Dashboard erscheint.

Für diesen Beitrag habe ich deshalb nicht verschiedene GEO-Tools gegeneinander antreten lassen. Dafür fehlen mir eigene Vergleichsdaten zu Browser-Scraping-Verfahren. Stattdessen geht es um die methodische Frage: Was lässt sich über APIs kontrollieren, was bildet Browser-Automation besser ab, und welches Verfahren eignet sich für belastbare Zeitreihen?

Als Datengrundlage nutze ich Messungen von Achtung.app. Die eigentlichen KI-Messwerte werden dort über die dokumentierten Schnittstellen von OpenAI, Google, Anthropic und Perplexity erhoben, nicht durch automatisierte Chat-Oberflächen.

Ein tiefer Datensatz statt einer großen Momentaufnahme

Seit dem 16. März 2026 hat Achtung.app insgesamt 105.028 KI-Ausführungen gespeichert beziehungsweise archiviert. Daraus wurden rund 772.000 Markennennungen extrahiert.

Das klingt zunächst nach einer sehr breiten Untersuchung. Das wäre jedoch die falsche Interpretation. Die Antworten stammen aus 202 getrackten Suchanfragen für sechs Marken im DACH-Raum, die immer wieder ausgeführt wurden.

Der Datensatz ist also tief, nicht breit. Er eignet sich besonders dafür, Veränderungen, technische Unterschiede und Schwankungen über Zeit zu beobachten. Er ist keine Stichprobe von 105.000 unterschiedlichen Themen oder Unternehmen.

Gerade für die Frage nach der Messmethodik ist diese Tiefe interessant: Wenn dieselben Suchintentionen immer wieder abgefragt werden, werden Abweichungen im Verhalten der Plattformen sichtbar, die bei einer einmaligen Abfrage leicht unbemerkt bleiben.

Zur Einordnung gehören aber auch die Grenzen des Datensatzes:

• Vier der sechs Marken sind eigene oder mir nahestehende Marken. Auf sie entfallen 64,2 Prozent aller Ausführungen. Thematisch konzentriert sich der Datensatz entsprechend stark auf Anbieter im Raum Berlin und auf KI-Sichtbarkeit selbst.
• Bis Anfang Mai liefen zusätzlich Mistral und Grok mit. Die heutige Vierer-Konstellation aus OpenAI, Gemini, Perplexity und Claude besteht seit dem 5. Mai 2026.
• OpenAI, Gemini und Perplexity werden täglich abgefragt. Claude läuft wöchentlich und ist deshalb deutlich geringer gewichtet.

Die folgenden Zahlen beschreiben also das beobachtete Panel von Achtung.app. Sie sind nicht ohne Weiteres als allgemeiner Plattform-Benchmark zu verstehen.

Genau diese Einschränkung ist wichtig: Ohne Kenntnis von Datensatz, Messbedingungen und Gewichtung lässt sich kaum beurteilen, was ein Sichtbarkeitsscore tatsächlich misst und ob zwei Zeitpunkte überhaupt miteinander vergleichbar sind.

API und Browser beantworten zwei unterschiedliche Fragen

Browser-Scraping hat zunächst einen offensichtlichen Vorteil: Es kann näher an dem liegen, was ein Mensch in der jeweiligen Endnutzer-Oberfläche sieht.

Wer eine Chat-Webanwendung automatisiert aufruft, beobachtet genau diese Webanwendung. Eine API-Messung beobachtet dagegen eine vom Anbieter dokumentierte Schnittstelle. Sie bildet deshalb nicht automatisch exakt das Verhalten einer eingeloggten ChatGPT-, Gemini- oder Claude-Sitzung nach.

Für ein Monitoring ist die Nähe zur Oberfläche aber nicht das einzige Kriterium. Mindestens ebenso wichtig ist die Frage, welche Variablen über Wochen und Monate konstant gehalten und später nachvollzogen werden können.

	Dokumentierte API	Browser-Automation / Scraping
Beobachtungsobjekt	definierte Schnittstelle	konkrete Weboberfläche
Modell	verwendete Modellkennung protokollierbar	Backend-Version nicht immer verlässlich erkennbar
Websuche	je nach Anbieter steuer- oder nachweisbar	Verhalten der Oberfläche wird beobachtet
Sampling	Einstellungen teilweise kontrollierbar	meist keine direkte Kontrolle
Personalisierung	kann bewusst ausgeschlossen werden	abhängig von Sitzung, Login und Oberfläche
Kontrollierbarkeit der Messbedingungen	hoch	zusätzliche UI- und Sitzungsvariablen
Nähe zur Endnutzer-Erfahrung	geringer	potenziell höher

Deshalb halte ich die Frage „API oder Scraping – was ist echter?“ für wenig hilfreich. Die bessere Frage lautet: Welches Beobachtungsobjekt brauche ich für die Aussage, die ich treffen möchte?

Wer wissen will, was eine bestimmte eingeloggte Oberfläche einer bestimmten Person heute anzeigt, kann mit einer Browsermessung näher am Gegenstand sein. Wer dagegen Veränderungen über Monate vergleichen möchte, braucht möglichst viele kontrollierbare Messbedingungen.

Noch wichtiger als API oder Browser: Hat das Modell überhaupt gesucht?

Ein Modell kann eine Frage aus seinem Modellwissen beantworten oder vor der Antwort live im Web recherchieren. Im ersten Fall misst man vor allem, welche Marken und Zusammenhänge im Modell verfügbar sind. Im zweiten Fall misst man, welche Informationen das System für diese Anfrage aktuell im Web findet, auswählt und in seine Antwort übernimmt.

Für die Bewertung aktueller Sichtbarkeit sind das zwei verschiedene Messobjekte.

Auch die vier von Achtung.app beobachteten Anbieter verhalten sich dabei nicht identisch:

Anbieter	Websuche in der Achtung.app-Messung
OpenAI	Websuche ist Bestandteil des Messlaufs
Anthropic / Claude	Websuche ist Bestandteil des Messlaufs
Perplexity	die verwendete Sonar-Schnittstelle liefert web-grounded Antworten
Google / Gemini	Websuche wird bereitgestellt, das Modell entscheidet jedoch, ob sie für die Antwort eingesetzt wird

OpenAI dokumentiert für seine API, dass Websuche bei einer Anfrage verpflichtend eingebunden werden kann. OpenAI: Web Search

Anthropic stellt Claude ebenfalls eine serverseitige Websuche mit Quellenangaben bereit. Anthropic: Web Search

Perplexity beschreibt Sonar ausdrücklich als Schnittstelle für web-grounded Antworten. Perplexity: Sonar API

Bei Gemini liegt der entscheidende Unterschied: Google beschreibt den Ablauf so, dass das Modell die Anfrage analysiert und entscheidet, ob eine Google-Suche die Antwort verbessern kann. Nur wenn es sie für nötig hält, wird gesucht. Google: Grounding with Google Search

Das klingt nach einem technischen Detail, ist für eine Messung aber entscheidend. Eine Antwort ohne Webrecherche sollte nicht stillschweigend mit einer recherchierten Antwort verrechnet werden, wenn eigentlich aktuelle Sichtbarkeit im Web gemessen werden soll.

Achtung.app wertet einen Gemini-Lauf deshalb nur dann als Sichtbarkeitsmessung, wenn eine Websuche technisch nachweisbar ist. Nicht hinreichend geerdete Antworten fließen nicht als reguläre Messwerte in die Auswertung ein.

Eine fehlende Messung ist in diesem Fall ehrlicher als eine Antwort aus Modellwissen, die anschließend so behandelt wird, als hätte Gemini den aktuellen Webbestand durchsucht.

Die Modellversion gehört in die Zeitreihe – nicht zwingend in jeden Methodenartikel

Die nächste Variable ist das Modell selbst.

In einer Weboberfläche kann sich das tatsächlich verwendete Backend verändern. Selbst wenn die Oberfläche einen Produkt- oder Modellnamen nennt, ist damit nicht in jedem Fall eine über Monate identische technische Revision garantiert.

Über eine API lässt sich die verwendete Modellkennung dagegen bei jeder Ausführung protokollieren. Wo ein Anbieter konkrete Snapshots anbietet, kann zusätzlich eine bestimmte Revision festgeschrieben werden. Achtung.app speichert die verwendete Modellkennung deshalb zu jeder Messung.

Die konkreten Modell-IDs nenne ich in diesem Methodenvergleich bewusst nicht. Sie sind für die Frage „API oder Browser?“ nicht entscheidend und ändern sich mit der Weiterentwicklung des Messsystems. In empirischen Auswertungen, bei denen ein Ergebnis von der getesteten Modellversion abhängt, gehört diese Information dagegen in die Methodendokumentation.

Der Grund ist einfach: Ein Modellwechsel kann Antwortstil, Quellenwahl, Länge und Markenempfehlungen verändern. Wird er in einer Zeitreihe nicht dokumentiert, kann ein technischer Wechsel wie eine Veränderung der Markensichtbarkeit aussehen.

Auch unter konstanten Bedingungen bleiben KI-Antworten variabel

API-Zugriff macht generative Antworten nicht zu Datenbankabfragen.

Achtung.app hält die beeinflussbaren Messbedingungen zwischen vergleichbaren Läufen so konstant wie möglich. Trotzdem sind die Antworten nicht deterministisch. Suchergebnisse, Retrieval, Backend-Routing und interne Verarbeitung der Anbieter können weiterhin variieren.

Wie relevant das ist, zeigt eine bereits veröffentlichte Auswertung von 3.313 Kontrollpaaren zwischen dem 1. Juni und 18. Juli 2026. Verglichen wurde, wie stark sich die genannten Marken in zwei unmittelbar aufeinanderfolgenden Antworten mit identischem Wortlaut überschnitten.

Für die Auswertung kamen ausschließlich Paare mit identischem Prompttext infrage. Von 15.945 möglichen Laufpaaren erfüllten 3.605 diese Bedingung. Nach Ausschluss von 292 Paaren, in denen beide Antworten keine Marke nannten, blieben 3.313 Kontrollpaare.

Alle 124 in diesem Zeitraum getrackten Suchanfragen steuern Kontrollpaare bei. Die Paarquote liegt je Suchanfrage zwischen 12,5 und 33,3 Prozent. Damit fällt keine Suchanfrage vollständig aus der Untersuchung heraus; eine vollständig gleichmäßige Gewichtung folgt daraus allerdings nicht.

Plattform	Ø Markenüberschneidung	vollständig identisch	ohne gemeinsame Marke
ChatGPT	69 %	37 %	10 %
Perplexity	48,5 %	9,2 %	8,4 %
Gemini	40,7 %	9,7 %	24,3 %

Die drei Spalten beschreiben unterschiedliche Größen und addieren sich nicht auf 100 Prozent. Die erste gibt die durchschnittliche Überschneidung der genannten Markenmengen an, die beiden anderen den Anteil der Extremfälle an allen Antwortpaaren.

Bei Gemini kommt eine Besonderheit hinzu: Ein großer Teil der Paare ohne gemeinsame Marke entstand dadurch, dass eine der beiden Antworten überhaupt keine Marke nannte. Es handelt sich also häufig nicht um zwei völlig unterschiedliche Empfehlungslisten, sondern um den Wechsel zwischen Markennennung und Nichtnennung.

Die Primärquelle mit Methodennotiz, Wochenverlauf und Ausschlusskriterien ist die Auswertung „KI-Antwortstabilität: ChatGPT, Gemini, Perplexity“. Eine weiterführende Einordnung steht in meinem Blogartikel „Warum nennt ChatGPT mein Unternehmen nicht? 7 Ursachen und was 3.313 Antworten zeigen“.

Für die Messmethodik folgt daraus etwas Grundsätzliches: Eine einzelne KI-Antwort ist eine Stichprobe, kein Rangplatz.

Das gilt unabhängig davon, ob sie über eine API oder über einen Browser erhoben wurde. Browser-Scraping löst die Varianz generativer Antworten nicht.

Auch die Antwortlänge verzerrt einfache Sichtbarkeitsscores

Ein weiteres Problem entsteht, wenn Tools rohe Markennennungen verschiedener Anbieter miteinander vergleichen.

In den Messungen von Achtung.app vom 1. Juli bis 8. August 2026 unterschieden sich die durchschnittlichen Antwortlängen deutlich:

Anbieter	Ø Antwortlänge
Gemini	3.363 Zeichen
OpenAI	2.458 Zeichen
Perplexity	1.814 Zeichen
Claude	1.462 Zeichen

Gemini erzeugte damit im Mittel Antworten, die rund 2,3-mal so lang waren wie die von Claude. In einem längeren Text gibt es allein schon mehr Gelegenheit, Unternehmen, Produkte und Quellen zu nennen.

Wer nur absolute Nennungen addiert, vermischt deshalb Sichtbarkeit mit Antwortlänge. Aussagekräftiger sind beispielsweise der Anteil relevanter Anfragen, in denen eine Marke vorkommt, die Abdeckung über mehrere Anbieter oder positionsbezogene Werte, jeweils mit einer klaren Bezugsgröße.

Auch hier zeigt sich: Ein Score ist erst dann interpretierbar, wenn klar ist, wie sein Nenner aussieht.

APIs liefern strukturierte Quellenmetadaten, aber nicht die persönliche Chat-Sitzung

Bei search-grounded Antworten können die von den Anbietern ausgewiesenen Quellen zusammen mit der Antwort gespeichert werden. Damit lässt sich später untersuchen, welche externen Seiten für eine Antwort als Quellen ausgewiesen wurden und ob sich diese Quellenspur im Zeitverlauf verändert.

Wie vollständig Quellen zurückgegeben werden, unterschied sich im Datensatz allerdings je nach Plattform. Seit dem 6. August verwendet Achtung.app für Gemini eine strengere Einschlussregel: Nur Antworten mit nachweisbarer Websuche werden als Sichtbarkeitsmessung gewertet.

Das zeigt sich unmittelbar in den Quellenmetadaten:

Anbieter	Antworten mit Quellen-URLs vor dem 6. August 2026	seit dem 6. August 2026
OpenAI	99,7 %	99,7 %
Perplexity	99,5 %	100 %
Gemini	84,9 %	100 %

Die 100 Prozent bei Gemini sind keine Verbesserung der Plattform, sondern eine Folge der geänderten Messregel.

Vor der Umstellung enthielten 15,1 Prozent der gespeicherten Gemini-Antworten keine Quellen-URL. Daraus lässt sich rückwirkend jedoch nicht zuverlässig ableiten, ob Gemini tatsächlich keine Websuche durchgeführt hatte. Eine fehlende Quellenangabe ist ein Indiz, kein Nachweis. Die technische Erfassung der Suchnutzung wurde erst mit der neuen Messlogik ab dem 6. August belastbar. Ältere Werte sind deshalb als unbekannt zu behandeln, nicht als Null.

Für eine Zeitreihe ist diese Unterscheidung entscheidend. Eine Änderung der Messmethode darf später nicht versehentlich als Veränderung der Sichtbarkeit interpretiert werden.

Die Kehrseite des API-Ansatzes gehört genauso klar benannt: Achtung.app misst bewusst ohne persönlichen Chat-Verlauf, ohne Memory, ohne Login-Kontext und ohne individuelle Personalisierung. Das ist eine Entscheidung des Messsystems, keine Eigenschaft von APIs. Gesprächszustand könnte technisch durchaus übergeben werden; für die Zeitreihe wird bewusst darauf verzichtet.

Für die Frage „Was sieht genau dieser Nutzer in seinem Account?“ ist das eine Einschränkung.

Für die Frage „Wie verändert sich die generische Sichtbarkeit einer Marke über Zeit?“ ist die fehlende Personalisierung dagegen hilfreich. Eine Zeitreihe verliert an Aussagekraft, wenn sich gleichzeitig Modell, Prompt, Nutzerhistorie und Oberfläche verändern und später nicht mehr auseinandergehalten werden kann, welcher Faktor den Ausschlag gab.

Browser-Scraping ist nicht automatisch falsch, es misst nur etwas anderes

Es wäre zu einfach, Browser-Scraping grundsätzlich als schlechte Methode abzutun.

Wer untersuchen möchte, was ein Endnutzer in einer bestimmten Produktoberfläche tatsächlich sieht, hat einen guten Grund, genau diese Oberfläche zu beobachten. Dort können Funktionen, Routing, Darstellung und Personalisierung wirksam sein, die eine API nicht identisch abbildet.

Das Problem beginnt erst, wenn aus dieser Beobachtung eine universelle Kennzahl wie „Ihre ChatGPT-Sichtbarkeit beträgt 42 Prozent“ wird, ohne die Bedingungen der Messung offenzulegen.

Browserbasierte Messsysteme müssen zusätzlich Veränderungen an Oberfläche und DOM, Sitzungszustände, Bot-Erkennung und die Nutzungsbedingungen des jeweiligen Dienstes berücksichtigen. API-basierte Systeme tauschen die größere Nähe zur Produktoberfläche gegen einen dokumentierten und besser kontrollierbaren Zugang.

Bei der Achtung.app habe ich mich bewusst für die zweite Variante entschieden und die Messmethode öffentlich dokumentiert: Die eigentlichen KI-Messwerte stammen aus den offiziellen Schnittstellen der Anbieter, nicht aus automatisierten Chat-Oberflächen oder von Drittanbietern.

Der Grund ist weniger moralisch als messtechnisch: Wenn ein Wert in einer Zeitreihe fällt, sollte möglichst die beobachtete Sichtbarkeit gefallen sein und nicht unbemerkt der Messweg.

Fazit: Erst die Messmethode macht aus KI-Antworten eine Zeitreihe

KI-Sichtbarkeit besitzt keinen festen Rang, den man wie eine klassische Suchposition nur auslesen müsste. Jeder Messwert hängt davon ab, welches Modell gefragt wurde, ob es im Web gesucht hat, welche Sitzung zugrunde lag, wie oft gefragt wurde und wie der resultierende Text ausgewertet wird.

APIs lösen nicht alle diese Probleme. Vor allem reproduzieren sie nicht automatisch die persönliche Erfahrung eines eingeloggten Nutzers. Sie machen aber zentrale Messbedingungen expliziter und über Zeit besser dokumentierbar.

Für langfristiges Monitoring halte ich das für entscheidend.

Die eigentliche Frage an ein KI-Sichtbarkeitstool lautet deshalb nicht:

„Misst es ChatGPT?„

Sondern:

Welche Version welcher Plattform wird unter welchen Bedingungen gemessen und ist derselbe Messwert in drei Monaten noch mit dem heutigen vergleichbar?

Erst wenn diese Frage beantwortet ist, lässt sich beurteilen, was ein Sichtbarkeitsscore tatsächlich aussagt.

FAQ