Was ist ein User Agent?

Was ist ein User Agent?

Ein User Agent ist eine Software, die im Namen eines Nutzers oder eines anderen Programms mit einem Webserver kommuniziert. Am bekanntesten ist der Begriff im Zusammenhang mit Webbrowsern wie Chrome, Firefox oder Safari.

Wenn Sie eine Website aufrufen, sendet Ihr Browser eine Anfrage an den Webserver. Dabei übermittelt er unter anderem einen sogenannten User-Agent-String. Dieser enthält Informationen über die verwendete Software und kann dem Server dabei helfen, die Anfrage einzuordnen.

User Agents werden nicht nur von Browsern verwendet. Auch Suchmaschinen-Crawler, Apps, API-Clients und andere Programme können als User Agent auftreten.

Wie funktioniert ein User Agent?

Beim Aufrufen einer Website läuft vereinfacht folgender Prozess ab:

1. Anfrage erstellen: Der Browser sendet eine HTTP-Anfrage an den Webserver.
2. User-Agent übermitteln: Die Anfrage enthält unter anderem einen User-Agent-Header mit Informationen zur verwendeten Software.
3. Anfrage verarbeiten: Der Server kann diese Informationen auswerten.
4. Antwort senden: Der Server liefert die angeforderten Inhalte zurück.
5. Website anzeigen: Der Browser verarbeitet die Antwort und stellt die Website dar.

Der User Agent bestimmt dabei nicht automatisch, welche Version einer Website ausgeliefert wird. Ein Server kann die Informationen jedoch nutzen, um seine Antwort beispielsweise an einen bestimmten Browser oder ein Gerät anzupassen.

Was ist ein User-Agent-String?

Der User-Agent-String ist eine Zeichenfolge, die ein Programm bei einer HTTP-Anfrage an einen Webserver übermitteln kann. Je nach Software kann er Informationen über Browser, Betriebssystem und weitere technische Komponenten enthalten.

Ein Beispiel:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36

Der Aufbau solcher Zeichenfolgen wirkt auf den ersten Blick kompliziert. Die einzelnen Angaben stammen teilweise aus historischen Gründen und sind nicht immer so eindeutig, wie sie zunächst erscheinen.

In diesem Beispiel stehen unter anderem:

• Windows NT 10.0: Hinweis auf die verwendete Windows-Version
• Win64; x64: 64-Bit-System
• AppleWebKit/537.36: Angabe zur verwendeten Browser- beziehungsweise Rendering-Technologie
• Chrome/91.0.4472.124: Browser und Version
• Safari/537.36: Historische Kompatibilitätsangabe

Wichtig: Ein User-Agent-String ist keine zuverlässige Identifikation eines Geräts oder Nutzers. Er kann verändert oder von Programmen bewusst anders angegeben werden.

Welche Arten von User Agents gibt es?

User Agents treten in unterschiedlichen Formen auf. Dazu gehören beispielsweise:

• Webbrowser: etwa Chrome, Firefox, Safari oder Edge
• Suchmaschinen-Crawler: beispielsweise Googlebot
• Mobile Browser: Browser auf Smartphones und Tablets
• API-Clients: Programme, die über APIs mit einem Server kommunizieren
• E-Mail-Programme: Software zum Abrufen oder Darstellen von E-Mails
• Automatisierte Tools: beispielsweise Programme für Tests oder Monitoring

Der User Agent hilft dem Server dabei, die Art der Anfrage besser einzuordnen. Er kann beispielsweise erkennen, ob eine Anfrage von einem Browser oder einem Suchmaschinen-Crawler stammt.

Welche Bedeutung hat der User Agent für SEO?

Für die Suchmaschinenoptimierung (SEO) sind User Agents vor allem deshalb relevant, weil Suchmaschinen Websites mit sogenannten Crawlern automatisch besuchen.

Ein bekanntes Beispiel ist der Googlebot. Anhand des User Agents kann ein Server erkennen, dass eine Anfrage von einem bestimmten Crawler stammt.

Für Website-Betreiber sind dabei vor allem folgende Punkte wichtig:

robots.txt richtig konfigurieren

Über die Datei robots.txt können Website-Betreiber Suchmaschinen-Crawlern mitteilen, welche Bereiche gecrawlt werden dürfen und welche nicht.

Crawler-Zugriffe kontrollieren

Server-Logs und SEO-Tools können dabei helfen zu überprüfen, welche Crawler auf eine Website zugreifen und ob dabei ungewöhnliche Probleme auftreten.

Mobile Optimierung

Google verwendet für die Indexierung überwiegend die mobile Version einer Website. Deshalb sollte eine Website auf Smartphones und Tablets gut funktionieren und die wichtigen Inhalte auch dort verfügbar sein.

Cloaking vermeiden

Ein Server kann anhand des User Agents unterschiedliche Inhalte ausliefern. Wenn Suchmaschinen-Crawler absichtlich andere Inhalte erhalten als normale Besucher, kann dies als Cloaking eingestuft werden und gegen die Richtlinien von Suchmaschinen verstoßen.

User-Agent-Erkennung sollte daher nicht dazu verwendet werden, Suchmaschinen gezielt zu täuschen.

Was ist ein User Agent Switcher?

Mit einem User Agent Switcher lässt sich der User-Agent-String eines Browsers gezielt verändern. Dadurch kann sich ein Browser gegenüber einer Website beispielsweise als ein anderer Browser oder ein anderes Gerät ausgeben.

Solche Werkzeuge können für Tests und die Webentwicklung nützlich sein. Beispielsweise lässt sich überprüfen, wie eine Website auf unterschiedliche User Agents reagiert.

Typische Einsatzbereiche sind:

• Webentwicklung: Websites mit unterschiedlichen Browsern testen
• Responsive Tests: Verhalten auf verschiedenen Geräten überprüfen
• Fehlersuche: Darstellungsprobleme bestimmter Browser untersuchen
• SEO-Tests: Prüfen, wie ein Server auf unterschiedliche Crawler-Anfragen reagiert

Dabei sollte jedoch immer berücksichtigt werden, dass das Ändern des User Agents lediglich die übermittelte Kennung verändert. Es macht aus einem Desktop-Browser beispielsweise nicht tatsächlich ein Smartphone.

Fazit

Der User Agent ist ein wichtiger Bestandteil der Kommunikation zwischen Software und Webserver. Er gibt dem Server Hinweise darauf, welches Programm eine Anfrage stellt und kann unter anderem Informationen über Browser und Betriebssystem enthalten.

Besonders für Webentwicklung und SEO spielen User Agents eine wichtige Rolle. Sie helfen dabei, Browser und Crawler zu unterscheiden und das Verhalten von Websites zu analysieren.

Gleichzeitig sollte man User-Agent-Daten nicht überschätzen: Sie sind keine eindeutige Identifikation eines Nutzers oder Geräts und können relativ einfach verändert werden.