# robots.txt - https://scrooge.finance
# Scrooge Finance : plateforme de mise en relation entre epargnants et conseillers independants.
# Carte de contenus pour les LLM : https://scrooge.finance/llms.txt

# 1) Regle generale (tous les robots)
User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=

# 2) IA - couche de recherche et de reponse
# Recommande : ALLOW. Ces robots alimentent les citations dans les reponses IA (trafic de decouverte).
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: DuckAssistBot
User-agent: Amazonbot
Allow: /

# 3) IA - recuperation declenchee par un utilisateur
# Recommande : ALLOW. Ces robots agissent quand une personne demande a son assistant de consulter une page.
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: MistralAI-User
User-agent: Meta-ExternalFetcher
Allow: /

# 4) IA - collecte pour l'entrainement des modeles
# Choix de politique. ALLOW par defaut (coherent avec la posture d'ouverture du llms.txt).
# Pour refuser l'usage de vos contenus a l'entrainement, remplacez "Allow: /" par "Disallow: /" ci-dessous.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: cohere-ai
Allow: /

# 5) Crawler non conforme
# Bytespider (ByteDance) ignore frequemment robots.txt et crawle de facon agressive.
# La regle ci-dessous exprime le refus ; completez par une regle serveur (403) pour un blocage effectif.
User-agent: Bytespider
Disallow: /

# Sitemaps
Sitemap: https://scrooge.finance/sitemap_index.xml
Sitemap: https://scrooge.finance/sitemap_profils.xml