feat: add devlille sitemap

Author: EmmanuelDemey

astro.config.mjs

@@ -1,5 +1,18 @@
 // @ts-check
 import { defineConfig } from 'astro/config';
+import sitemap from "@astrojs/sitemap";
 
 // https://astro.build/config
-export default defineConfig({});
+export default defineConfig({
+  site: "https://devlille.fr",
+  integrations: [
+    sitemap({
+      // Exclure uniquement les pages qu'on ne veut pas indexer
+      filter: (page) => !page.includes("/privacy-mobile") && !page.includes("/404"),
+      // Fréquence de changement pour toutes les pages
+      changefreq: "weekly",
+      priority: 0.7,
+      lastmod: new Date(),
+    }),
+  ],
+});

package-lock.json

@@ -12,6 +12,7 @@
     "astro": "^5.15.3"
   },
   "devDependencies": {
+    "@astrojs/sitemap": "^3.6.0",
     "@types/isurl": "^4.0.0",
     "@types/node": "^24.9.2",
     "dayjs": "^1.11.19",

package.json

@@ -0,0 +1,31 @@
+# robots.txt pour DevLille 2026
+# https://2026.devlille.fr
+
+# Autoriser tous les robots d'indexation
+User-agent: *
+Allow: /
+
+# Bloquer l'indexation de certaines pages
+Disallow: /privacy-mobile
+Disallow: /404
+
+# Sitemap XML
+Sitemap: https://devlille.fr/sitemap-index.xml
+Sitemap: https://devlille.fr/sitemap-0.xml
+
+# Crawl-delay pour éviter la surcharge (optionnel)
+# Crawl-delay: 1
+
+# Règles spécifiques pour certains robots
+User-agent: Googlebot
+Allow: /
+
+User-agent: Bingbot
+Allow: /
+
+# Bloquer les robots de scraping agressifs
+User-agent: AhrefsBot
+Crawl-delay: 10
+
+User-agent: SemrushBot
+Crawl-delay: 10