# Crawling är tillåten med flit. Förhandsgranskningsmiljön skickar i stället # X-Robots-Tag: noindex, nofollow på varje svar (styrs av Site:BlockIndexing i appsettings), # och den headern kan sökmotorn bara se om den får hämta sidan. Ett Disallow här hade # hindrat crawlingen men inte indexeringen — URL:er kan indexeras utan innehåll ändå. User-agent: * Allow: / Disallow: /umbraco Sitemap: https://luffarmuseum.se/sitemap