Suchmaschine vs. Agent

Noch gehört SEO zu den traditionellen Strategien, um eine Website erfolgreich zu gestalten. Doch mit der zunehmenden Popularität von Chatbots und Agenten ist die Rolle der klassischen Suchmaschinenoptimierung zunehmend zu hinterfragen.

Was ändert sich?

Wer sind Deine Nutzer?

Immer weniger Menschen, aber immer mehr Maschinen: Die meisten Webseiten werden heute längst nicht mehr nur von echten Nutzern besucht, sondern auch von digitalen Agenten, Bots und KI-Tools. Zunehmend mehr nicht-humane Agenten greifen auf Webinhalte zu, analysieren, extrahieren und präsentieren sie weiter – etwa in Suchmaschinen, in Chats oder in einer Vibe-Coding Session. Für Websitebetreiber heisst das, dass sich die Anforderungen an die Struktur, die Lesbarkeit und die Sichtbarkeit grundlegend verändern. Wer weiterhin mit Hilfe veröffentlichter Inhalte relevant bleiben will, muss diese in Zukunft so konzipieren, dass sie sowohl für Menschen als auch für Maschinen optimal zugänglich und verständlich sind. Ferner stellen sich neue Fragen hinsichtlich der Themen Sicherheit, Datenschutz, Urheberrechte und Transparenz.

Der Trend

Eine Studie von Semrush und Statista (AI Search Report ) zeigt, dass KI-basierte Suchsysteme wie ChatGPT und Google Gemini mittlerweile 78% des weltweiten Traffics für AI-gestützte Suchanfragen auf sich vereinen. Bereits 2023 nutzten 13 Millionen US-Amerikaner generative KI als primäres Suchwerkzeug, bis 2027 werden über 90 Millionen erwartet. Das Nutzerverhalten verschiebt sich also messbar von klassischen Keyword-Suchanfragen hin zu dialogorientierten, kontextbezogenen Fragen. Was bedeutet das?

Konsequenzen

Die digitale Landschaft steht wieder einmal vor einem Paradigmenwechsel: Während Suchmaschinenoptimierung (SEO) über Jahre hinweg eine der heissen Disziplinen für mehr Sichtbarkeit im Netz war, gewinnen nun LLM-basierte KI-Agenten, Bots, Crawler und automatisierte Systeme zur Datenextraktion und -verarbeitung immer rasanter an Bedeutung. Informationen werden immer häufiger über smarte Assistenten abgerufen, die Inhalte dann nicht nur finden, sondern die Daten ebenso direkt verarbeiten, ggfs. umdichten und in bestimmten Kontexten weitergeben. Das stellt neue Anforderungen an die Struktur, Lesbarkeit und technische Aufbereitung von Webseiten.

Unternehmen müssen über kurz oder lang ihre Strategien anpassen, um sowohl für Menschen als auch für Maschinen relevant zu bleiben. User Experience (UX) muss neu reflektiert werden und um die Dimension der Agent Experience (AX) erweitert werden. Denn KI-Systeme werden die Informationen der Website weiter aufgreifen und für weitere Systeme und Kontexte nutzen.

Für Brands und Marketing bedeutet das:

• Inhalte müssen auch gezielt für KI-Suchsysteme wie ChatGPT, Gemini und Co optimiert werden
• Content-Strategien sollten zusätzlich stärker auf natürliche, dialogorientierte Suchanfragen ausgerichtet werden
• Informationsstrategien müssen sich auf die Nutzung von KI-Systemen vorbereiten
• Budgets, die für klassische SEO-Optimierung ausgerichtet sind, müssen evtl. hinterfragt werden
• Disziplinen, die auf die Optimierung der Nutzererfahrung (UX) ausgerichtet sind, müssen sich auf eine neue nicht-humanoide Zielgruppe einlassen
• The Rich get richer: Wer frühzeitig auf AI-first-Content setzt, verschafft sich einen Wettbewerbsvorteil

Für die weitere Einordnung werden nun einzelne Technologien beleuchtet.

Webscraping

Webscraping bezeichnet das automatisierte Auslesen von Webseiten durch Programme oder Bots. Während Suchmaschinen dies seit Jahren tun, um Inhalte zu indexieren, nutzen mittlerweile auch viele KI-Agenten und einige Tools diese Technik, um Content zu extrahieren. Das Problem mit dem Webscraping: Die Verwendung von Webcontent durch KI-Agenten und Chatbots kann zu missbräuchlichen Anwendungen führen, da agentenbasierte Systeme diese Informationen von Websites nicht nur auslesen, sondern auch verarbeiten, replizieren und weitergeben können.

Um sich vor solchen Missbrauch (z.B. Urheberrechtsverletzungen) zu schützen, können Unternehmen in gewissem Maße die Zugriffsrechte auf ihre Inhalte beschränken. Dazu können Sie z.B. die robots.txt-Datei verwenden, um bestimmten Bots den Zugriff auf ihre Website zu untersagen. Viele bösartige Bots ignorieren die robots.txt allerdings komplett – zusätzliche, technische Schutzmaßnahmen sind somit unverzichtbar, wenn Informationen vertraulich sind oder geschützt werden sollen. Die Herstellung von LLMs und KI-Systemen hängt von der Verfügbarkeit von Daten ab. Somit muss man sich immer konkreter auch damit befassen, welche Daten in das Training von Systemen integriert werden. Ein jüngeres Beispiel hierfür ist, dass Meta Nutzerdaten für das Training von KI verwenden möchte. Sobald die Daten durch ein LLM konserviert worden sind, können Agenten auch diese Daten nutzen. LLM’s werden auf Daten antrainiert und diese Daten können auch nicht wieder einfach so gelöscht werden. Es gilt also immer noch die alte Binsenweisheit: “Das Internet vergisst nicht”. Und generative KI-Modelle vergessen auch nicht. Dessen sollte man sich stets bewusst sein.

Praktische Vorkehrungen gegen Webscraping:

• Monitoring und Analyse ungewöhnlicher Aktivitäten (z.B. viele Produktaufrufe ohne Käufe, neue Accounts mit hoher Aktivität)
• Rate-Limiting und IP-Blocking bei verdächtigen Zugriffsmustern
• Einsatz von CAPTCHAs und Device-Fingerprinting, um Bots von echten Nutzern zu unterscheiden
• Honeypots und unsichtbare Felder, um Bots zu entlarven (etwa bei Formularen)
• Durchsetzung klarer Nutzungsbedingungen und rechtlicher Schritte bei Missbrauch
• Technische Maßnahmen wie Deep Behavioral Analysis und KI-gestützte Bot-Erkennung

Es gibt auch spezielle Bot-Protection-Lösungen (etwa von DataDome oder Cloudflare ). Spezialisierte Lösungen versuchen z.B. das Verhalten aller Besucher zu analysieren und auf dieser Basis verdächtige Zugriffe automatisch blockieren.

SERP-APIs

SERP-APIs (Search Engine Results Page APIs) sind Schnittstellen, mit denen automatisiert auf die Suchergebnisseiten von Suchmaschinen wie Google oder Bing zugegriffen werden kann. Mit Hilfe dieser APIs können Entwickler und Unternehmen gezielt Suchergebnisse abfragen, analysieren und weiterverarbeiten – etwa für SEO-Analysen, Wettbewerbsbeobachtung oder Monitoring von Rankings. SERP-APIs liefern dabei strukturierte Daten zu Suchanfragen, Positionen, Snippets, Anzeigen und vielem mehr. Sie sind ein zentrales Werkzeug für Agenten, Bots und KI-Systeme, um Suchmaschineninformationen effizient und in großem Umfang auszuwerten, ohne dabei auf Scraping-Techniken angewiesen zu sein. Ein Beispiel für SERP-Dienste ist Serper.dev .

SERP-Optimierung

SERP-Optimierung zielt darauf ab, möglichst prominent in den Suchergebnissen von Suchmaschinen platziert zu werden. Mit der zunehmenden Bedeutung von Agenten und KI-gestützten Systemen verschiebt sich der Fokus jedoch auch hier: Es geht nicht mehr nur um das klassische Google Ranking, sondern auch darum, wie die Inhalte maschinell verstanden, weiterverarbeitet und präsentiert werden. Eine saubere technische Basis und strukturierte Daten werden dabei immer wichtiger. Denn die Inhalte müssen sowohl für Suchmaschinen als auch für Agenten optimal auffindbar und verwertbar sein wenn man Einfluss auf die Verwertbarkeit der Inhalte haben möchte.

SERP vs SEO

Die SERP (Search Engine Results Page) ist die tatsächliche Ergebnisseite, die eine Suchmaschine wie Google nach einer Suchanfrage anzeigt – inklusive organischer Treffer, Anzeigen, Snippets und weiterer Elemente. SEO (Search Engine Optimization) umfasst hingegen alle Strategien und Maßnahmen, um die eigene Website möglichst weit oben und sichtbar auf diesen Ergebnisseiten zu platzieren.

Kurz gesagt: SEO ist der Weg, SERP das Ziel.

Doch das Ziel bleibt ein Moving Target:

Da die Suchmaschinen-Betreiber ihrerseits ebenso vermehrt auf KI (innerhalb der Suche) setzen, bleibt alles schön kompliziert. Denn die SEO-Logik orientiert sich logischerweise immer an den konkreten Funktionsweisen und Algorithmen der Suchmaschinen. Wer optimal gefunden werden will, muss letztlich verstehen, wie Suchmaschinen Inhalte indexieren, bewerten, gewichten und präsentieren – diese Logik verändert sich durch den Einsatz von KI fundamental. Ranking-Faktoren werden dynamischer, Suchergebnisse individueller und die Grenzen zwischen organischen Treffern, KI-generierten Antworten und Agenten-Empfehlungen verschwimmen zunehmend.

Für Website-Betreiber bedeutet das: SEO ist kein (vergleichsweise) statisches Handwerk mehr, sondern ein kontinuierlicher Prozess des Verstehens, Anpassens und Ausprobierens. Trial & Error, Testing und Monitoring werden zur Pflicht, um langfristig sichtbar zu bleiben.

Den Informationsfluss steuern?

Die Steuerung des Informationsflusses ist deutlich komplexer geworden.

Neben klassischen Werkzeugen wie der robots.txt oder dem Einsatz von Meta-Tags kommen heute strukturierte Daten (z.B. Schema.org), APIs und gezielte Zugriffsbeschränkungen zum Einsatz. Unternehmen müssen intensiver abwägen, welche Informationen sie offen zugänglich machen und welche sie schützen möchten. Gleichzeitig gilt es, die Balance zwischen Sichtbarkeit, dem Schutz geistigen Eigentums und Datenschutz zu finden. Wer den Informationsfluss aktiv steuert, kann seine Inhalte gezielt platzieren und Missbrauch vermeiden.

Ein klassisches Element bleibt die differenzierte Steuerung über die robots.txt: Hier lässt sich heute nicht nur festlegen, welche Bereiche für Suchmaschinen zugänglich sind, sondern auch gezielt steuern, welche AI- und Agenten-Bots (wie ChatGPT, Perplexity, Firecrawl, etc.) auf die Inhalte zugreifen dürfen. Ebenso kann man gezielt das Training von KI-Modellen auf Basis der eigenen Inhalte untersagen. Inwieweit dies wirklich funktioniert, kann ich dabei nicht beurteilen. Die regelmäßige Anpassung und Überprüfung dieser Einstellungen ist jedoch essenziell, um theoretisch die Kontrolle über die eigenen Daten zu behalten.

Darüber hinaus ist es sinnvoll, den Traffic und das Verhalten von Bots und Menschen zu analysieren. Tools und Methoden wie die Auswertung von User-Agent-Strings, IP-Adressen, Traffic-Spikes oder das Einsetzen von CAPTCHAs und Rate-Limiting helfen, unerwünschte Bots zu erkennen und gezielt zu steuern. Auch Monitoring-Tools und Bot-Protection-Software können dabei unterstützen, den Überblick zu behalten und Missbrauch frühzeitig zu erkennen. Doch hierbei gilt auch immer der Spagat zwsichen den technischen Möglichkeiten und den rechtlichen Vorgaben, etwa im Kontext der DSGVO.

Wer den Informationsfluss gezielt beeinflussen möchte, muss sich in Zukunft neben den technischen Aspekten auch vermehrt Gedanken darüber machen, wie Inhalte von Menschen oder von Maschinen verarbeitet werden. Welche Stationen durchlaufen sie? Wie werden Informationen in einen Kontext gestellt und wo werden sie eigentlich letztlich präsentiert?

Wie kann eine Website für Agenten optimiert werden?

Eine agentenfreundliche Website zeichnet sich durch klare Strukturen, semantische Auszeichnungen und eine offene, maschinenlesbare Architektur aus. Dazu gehören die konsequente Nutzung von Schema.org, JSON-LD oder Microdata, aber auch die Bereitstellung von APIs und strukturierten Feeds (z.B. RSS, OpenAPI). Schnelle Ladezeiten, Barrierefreiheit und eine übersichtliche Navigation helfen nicht nur menschlichen Besuchern, sondern auch Agenten, die Inhalte effizient zu erfassen, in Bezug zu bringen und weiterzugeben.

Wichtig bleiben die Klassiker: Metadaten und semantische Markups konsequent einzusetzen: title, meta description, OpenGraph, strukturierte Daten via JSON-LD und eine saubere Heading-Struktur (H1-H6) sind empfehlenswert. Sichtbare Aktualitätsangaben und meta-Tags zu Veröffentlichungs- und Änderungsdatum („content freshness“) unterstützen Agenten und KI so wie einst die Suchmaschinen bei der Bewertung der Aktualität und Relevanz. Auch eine vollständige sitemap.xml und ein klar erkennbares Favicon oder Lead-Image verbessern die Sichtbarkeit in AI-getriebenen Suchergebnissen.

Ein neuer Trend ist die Bereitstellung von Dateien wie llms.txt, die gezielt Informationen für Large Language Models (LLMs) und AI-Agents bereitstellen.

Die neue Disziplin AX (Agent Experience) bzw. AXO (Agent Experience Optimization) geht noch einen Schritt weiter: Sie zielt darauf ab, die gesamte „Agentenreise“ auf der Website zu analysieren und zu optimieren – also zu verstehen, wie Agenten z.B. Produkte finden, bewerten, als relevant erachten oder Transaktionen durchführen. Unternehmen sollten Agenten vermutlich als eine neue Zielgruppe begreifen und gezielt Maßnahmen ergreifen, um deren Interaktion so reibungslos und effizient wie möglich zu gestalten.

Wenn immer mehr Agenten und immer weniger Menschen auf die Inhalte direkt zugreifen, macht dies vermutlich auch Sinn.

Optimierung für Menschen (klassische SEO/UX Zeit)

• Klare und ansprechende Navigation
• Lesbare, verständliche Texte
• Barrierefreiheit
• Attraktive Bilder, Medien & visuelle Hierarchie
• Schnelle Ladezeiten
• Mobile Optimierung, Responsive Design, bzw. Mobile First
• Klare Call-to-Action
• Vertrauensbildende Inhalte & Social Proof
• Nutzerzentrierte Content-Strategie
• OnPage-SEO: Title, Description, H1-H6 etc.
• Kanalübergreifende Optimierung von Branding & User Experience
• Messung & Analyse
• Kontinuierliche Auseinandersetzung mit der User Experience

Optimierung für Agenten und KI (AX und Scraping Zeit)

• Stärkerer Einsatz strukturierter Daten (Schema.org, JSON-LD, Microdata)
• Maschinenlesbare APIs und strukturierte Feeds (z.B. RSS, OpenAPI)
• Klare Robots.txt- und Meta-Tag-Steuerung für Bots/Agenten
• Vollständige, aktuelle sitemap.xml
• Einsatz der llms.txt
• Semantische Auszeichnung aller relevanten Inhalte
• Sichtbare und maschinenlesbare Aktualitätsangaben (z.B. meta-Tags)
• API-Authentifizierung und gezielte Zugriffskontrolle
• Monitoring- und Analyse der Bot-/Agenten-Zugriffe
• OpenGraph, strukturierte Daten für KI- und Agenten-Präsentation
• Bereitstellung von Favicon, Lead-Image und maschinenfreundlichen Assets
• Kontinuierliche Auseinandersetzung mit der ‘Agent Experience’

Nur wer beide Perspektiven – Mensch und Agent – berücksichtigt, bleibt in der hybriden Online-Welt sichtbar und relevant.

Wo geht die Reise hin?

Die Zukunft der Web-Indizierung ist hybrid.

Neben klassischen Suchmaschinen werden spezialisierte KI-Systeme immer wichtiger. Sie stellen neue Anforderungen an Datenqualität, Transparenz und Aktualität. Webseiten müssen zunehmend maschinenlesbar, aktuell und flexibel strukturiert sein, um in verschiedenen Kontexten bestehen zu können. Wer sich frühzeitig mit den neuen Paradigmen auseinandersetzt und seine Inhalte entsprechend aufbereitet, bleibt auch in einer von KI und Agenten geprägten Online-Welt sichtbar und relevant.

Fazit

Suchmaschinenoptimierung ist nicht mehr nur ein Wettrennen um die besten Rankings – sie ist zur hybriden Disziplin geworden. Die Zukunft des Webs gehört jenen, die verstehen, dass Menschen und Maschinen gleichermaßen angesprochen werden müssen. KI-Tools, Bots, Datenpipelines und neue Suchsysteme verändern die Spielregeln: Sichtbarkeit entsteht heute dort, wo Inhalte maschinenlesbar, aktuell, transparent und flexibel aufbereitet sind.

Wer erfolgreich und sichtbar bleiben will, braucht eine doppelte Strategie: Menschen begeistern, Agenten bedienen. Das bedeutet, Inhalte klar zu strukturieren, semantisch anzureichern und gezielt für beide Zielgruppen zu optimieren. Flexibilität, Monitoring und Schutz vor Missbrauch werden ebenso wichtig wie Transparenz und ständige Weiterentwicklung.

Wrap-Up: 10 Empfehlungen für die Praxis

1. Inhalte klar strukturieren und mit semantischen Auszeichnungen versehen (z.B. Schema.org, JSON-LD)
2. APIs und strukturierte Feeds bereitstellen, um Informationen gezielt für Agenten zugänglich zu machen
3. Regelmäßig testen, wie die eigene Website von Suchmaschinen und Agenten interpretiert wird
4. Ladezeiten und Barrierefreiheit optimieren – das hilft Mensch und Maschine gleichermaßen
5. Robots.txt, llms.txt und Meta-Tags gezielt einsetzen, um den Zugriff von Bots und KI zu steuern
6. Zwischen „guten“ und „schlechten“ Bots unterscheiden und Schutzmechanismen wie Rate-Limiting, CAPTCHAs und Monitoring nutzen, der beste Schutz ist allerdings, sensible Daten nicht einfach so ins Netz zu stellen
7. Die Content-Strategie flexibel an neue Technologien, Nutzer- und Agentenverhalten anpassen
8. Transparente, vollständige und aktuelle Informationen bereitstellen, um Fehlinformationen durch Agenten zu vermeiden
9. Die Entwicklung neuer KI- und Agenten-Technologien aktiv beobachten, testen und frühzeitig adaptieren
10. Zusammenarbeit zwischen Entwicklern, Redakteuren und SEO-Experten fördern, um ganzheitliche Lösungen zu schaffen