User-agent: *
Crawl-delay: 2
Disallow: /admin
Disallow: /account/
Disallow: /cart/
Disallow: /compare/
Disallow: /checkout/

User-agent: *

# Blokkeer technische uitschieters (cruciaal)
Disallow: /services/
Disallow: /services/stats/
Disallow: /services/stats/pageview/

# Blokkeer winkelwagen en afrekenproces
Disallow: /cart/
Disallow: /checkout/

# Blokkeer vergelijkingspagina’s (geen SEO-waarde)
Disallow: /vergelijken/
Disallow: /compare/

# Blokkeer interne zoekresultaten
Disallow: /search
Disallow: /zoeken

# Blokkeer filters en sorteringen (spider traps)
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?brand=
Disallow: /*&brand=
Disallow: /*?mode=
Disallow: /*&mode=

# Blokkeer paginering (bewuste keuze; sitemap moet volledig zijn)
Disallow: /*?page=
Disallow: /*&page=

# Sta assets toe (niet blokkeren)
Allow: /media/
Allow: /images/

# Blokkeer AI-scrapers (optioneel)
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

# Sitemap
Sitemap: https://www.boottotaal.nl/sitemap.xml

Sitemap: https://www.boottotaal.nl/sitemap.xml