# Robots.txt und Sitemap für AL Finanzkonzepte GmbH

Stand: 26.06.2026
Website: https://www.al-finanzkonzepte.de/

Diese Datei enthält Empfehlungen für Crawling, robots.txt, Sitemap und KI-Suchbarkeit. Vor dem Einbau muss technisch geprüft werden, welche Sitemap-Datei auf der Website tatsächlich aktiv ist.

## Ziel

Wichtige öffentliche Inhalte der Website sollten für Suchmaschinen und relevante KI-Crawler zugänglich sein. Nur so können Inhalte gefunden, indexiert, zitiert und in Antwortsystemen korrekt berücksichtigt werden.

## Empfohlene robots.txt-Grundstruktur

```txt
User-agent: *
Allow: /

Sitemap: https://www.al-finanzkonzepte.de/sitemap.xml
Sitemap: https://www.al-finanzkonzepte.de/sitemap_index.xml
```

Hinweis: Je nach SEO-Plugin ist entweder `/sitemap.xml`, `/sitemap_index.xml` oder eine andere Sitemap-Struktur aktiv. Nicht existierende Sitemap-Zeilen sollten entfernt werden.

## Empfehlung für OpenAI-/KI-Crawler

Für Sichtbarkeit in ChatGPT-Suche und ähnlichen KI-Suchsystemen sollte insbesondere `OAI-SearchBot` nicht blockiert werden. OpenAI nennt `OAI-SearchBot` für die Berücksichtigung in Suche/Snippets und empfiehlt außerdem bei Anzeigenkontexten `OAI-AdsBot` zuzulassen.

Beispiel:

```txt
User-agent: OAI-SearchBot
Allow: /

User-agent: OAI-AdsBot
Allow: /
```

Wenn Inhalte ausdrücklich nicht für Training verwendet werden sollen, kann für entsprechende Bereiche `GPTBot` gesondert geregelt werden. Dabei ist zu unterscheiden zwischen Such-/Anzeige-Crawling und möglicher Trainingsnutzung.

## Empfehlung für KI-Sichtbarkeit

Für maximale Auffindbarkeit:

```txt
User-agent: *
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: OAI-AdsBot
Allow: /

Sitemap: https://www.al-finanzkonzepte.de/sitemap.xml
```

Optional, wenn die Sitemap durch ein SEO-Plugin als Index bereitgestellt wird:

```txt
Sitemap: https://www.al-finanzkonzepte.de/sitemap_index.xml
```

## Was nicht blockiert werden sollte

Nicht blockieren, sofern öffentlich sichtbar:

- Startseite
- Leistungsseiten
- Blogbeiträge
- FAQ
- Kontaktseite
- Standortseiten
- `/llms.txt`
- `/llms-full.txt`
- `/ki-info/`
- wichtige CSS- und JS-Dateien, sofern sie für das Rendering nötig sind

## Was blockiert werden kann

Typische Bereiche, die nicht indexiert werden müssen:

```txt
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /?s=
Disallow: /search/
```

Achtung: Keine wichtigen Seiten oder Medien blockieren, die für KI- und Suchmaschinenverständnis relevant sind.

## Sitemap-Empfehlung

Die XML-Sitemap sollte alle wichtigen, indexierbaren Seiten enthalten:

- Startseite
- Leistungen
- lokale Landingpages
- Blogbeiträge
- FAQ
- Kontakt
- Team
- Impressum und Datenschutz, sofern gewünscht
- KI-Info-Dateien, falls sie indexiert werden sollen

Empfohlene zusätzliche Einträge:

```xml
<url>
  <loc>https://www.al-finanzkonzepte.de/llms.txt</loc>
</url>
<url>
  <loc>https://www.al-finanzkonzepte.de/llms-full.txt</loc>
</url>
<url>
  <loc>https://www.al-finanzkonzepte.de/ki-info/README.md</loc>
</url>
```

## Technische Prüfung nach Einbau

1. `https://www.al-finanzkonzepte.de/robots.txt` im Browser öffnen.
2. Prüfen, ob die Sitemap-Zeile erreichbar ist.
3. `https://www.al-finanzkonzepte.de/sitemap.xml` und/oder `sitemap_index.xml` öffnen.
4. In der Google Search Console Sitemap erneut einreichen.
5. In Bing Webmaster Tools Sitemap einreichen.
6. Prüfen, ob `/llms.txt`, `/llms-full.txt` und `/ki-info/` öffentlich erreichbar sind.
7. Prüfen, ob Security-/Firewall-/Caching-Systeme legitime Crawler nicht versehentlich blockieren.

## Wichtig für KI-Crawler

Einige KI-Crawler respektieren robots.txt. Wenn wichtige Inhalte gesperrt sind, können sie möglicherweise nicht vollständig verarbeitet werden. Außerdem können Bot-Schutzsysteme, Captchas, JavaScript-Challenges oder Firewalls Crawling verhindern, selbst wenn robots.txt den Zugriff erlaubt.

## Empfohlener Monitoring-Plan

- Monatlich prüfen: robots.txt erreichbar?
- Monatlich prüfen: Sitemap erreichbar und fehlerfrei?
- Nach Relaunch prüfen: Wichtige Seiten weiterhin indexierbar?
- Nach Plugin-Update prüfen: Sitemap-Struktur unverändert?
- Quartalsweise prüfen: KI-Info-Dateien aktuell?