robots 与 sitemap
自动生成的 robots.txt、sitemap.xml,登记页面和维护 lastmod。
/robots.txt 和 /sitemap.xml 由模板自动生成,不用手写静态文件。robots 允许抓取并指向 sitemap;sitemap 列出公开页面,告诉搜索引擎站里有哪些地址、哪些内容更新过。
生成结果
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://example.com/</loc></url>
<url><loc>https://example.com/docs/seo</loc><lastmod>2026-10-30</lastmod></url>
</urlset>
| 标签 | 含义 | 是否必填 |
|---|---|---|
<loc> |
页面的完整地址 | 必填,模板自动拼接 |
<lastmod> |
正文最后一次实质修改的日期 | 可选,写了才输出 |
不输出 priority、changefreq,Google 不使用这两个字段(Google 说明,2026-10-30)。
文件
| 位置 | 内容 |
|---|---|
shared/site-pages.ts |
手动登记的页面和它们的 lastmod |
content/docs/*.md |
文档的 lastmod 写在每篇元信息里 |
nuxt.config.ts 的 sitemapDocs |
构建时算出的文档条目,不用手改 |
server/seo/discovery.ts |
生成 robots 和 sitemap、检查日期 |
server/routes/ |
robots.txt.get.ts、sitemap.xml.get.ts 两个路由 |
登记页面
默认登记了首页、定价(中英文各一条)、隐私和条款:
export const sitemapPages: readonly SitemapPage[] = [
{ path: '/' },
{ path: '/zh' },
{ path: '/pricing' },
{ path: '/zh/pricing' },
{ path: '/privacy' },
{ path: '/terms' },
]
- 新增公开页面后在这里加一条。sitemap 不会扫描
app/pages,没登记的页面不会出现。 - 多语言页面每种语言各写一条:英文无前缀,中文在
/zh下。在i18n.pages里关掉语言路由的页面(如隐私、条款)只写一条。 - 不登记登录、注册、账号、支付回跳,以及未完成或
noindex的页面。 - 路径不带域名,也不带查询参数和结尾斜杠。
文档自动收录
文档不在 site-pages.ts 里登记。构建时同时满足两条才收录:
app/pages/docs还在,也就是站点保留了文档页;content/docs里至少有一篇文章。
满足时加入 /docs 和每篇 /docs/<slug>,否则一条都不列。复制成新产品后删掉文档页,sitemap 里也不会留下 404 地址。
文档条目在构建时算好,因为 Worker 运行时读不到 content/docs。新增或删除文章后要重新构建;开发时重启 npm run dev。
写 lastmod
普通页面写在 site-pages.ts:
{ path: '/pricing', lastmod: '2026-10-30' },
文档写在元信息里:
---
title: 快速开始
description: 一句话简介
lastmod: 2026-10-30
---
格式只接受 YYYY-MM-DD。不写就不输出 <lastmod>,模板默认的页面都没有写。
什么时候改
| 要改 | 不改 |
|---|---|
| 正文、价格、套餐、条款内容变了 | 改样式、颜色、排版 |
| 新增或删掉一个段落、一节说明 | 重构组件、升级依赖 |
| 修正会影响读者理解的错误 | 修错别字、改页头页脚 |
/docs 目录页不写日期。中英文页面分别写,只改了一种语言就只改那一条。
为什么不自动
构建时间每次发版都会变,Git 提交时间在改样式、重构时也会变,两者都不能代表内容更新。Google 只在 lastmod 长期准确时才参考它,所以模板只输出手写的日期。
写错会怎样
- 文档元信息格式不对:
npm run docs:build报错,构建中止。 site-pages.ts里日期无效(如2026-02-30)或晚于今天:访问/sitemap.xml报错。发布前按下面的方法检查一次。
站点地址
两个文件里的域名来自 NUXT_PUBLIC_SITE_URL,不跟随请求的 Host。本地默认 http://127.0.0.1:3000;npm run deploy:production 在构建后把正式域名写进 Worker 变量(见部署)。
所以这两个文件在每次请求时生成,不预渲染。预渲染发生在写入正式域名之前,文件里会留下本地地址。
如果放了 public/robots.txt,静态文件会先于路由返回,生成的 robots 就不生效,不要再加回来。
检查
本地:
npm run dev
curl http://127.0.0.1:3000/robots.txt
curl http://127.0.0.1:3000/sitemap.xml
用正式地址预览构建产物:
npm run build
npx wrangler dev --cwd .output --port 8798 --var NUXT_PUBLIC_SITE_URL:https://example.com
curl http://127.0.0.1:8798/sitemap.xml
确认几点:
- 域名是正式域名,不是
127.0.0.1; - 每个地址打开都是 200,没有登录页、账号页;
- 改过的页面日期正确,没改的页面日期不变。
发布后用 curl https://你的域名/sitemap.xml 再看一次。需要时在 Google Search Console 提交 https://你的域名/sitemap.xml;以后的更新会被自动读取,不用每次重新提交。