之前做的若干内部系统,不和搜索引擎打交道,尽量避免被收录,在nginx配置上面,可以增加避免的文件

robots.txt

  • https://developers.google.com/search/docs/advanced/robots/intro?hl=zh-cn
    1
    robots.txt 文件规定了搜索引擎抓取工具可以访问您网站上的哪些网址。 此文件主要用于避免您的网站收到过多请求;它并不是一种阻止 Google 抓取某个网页的机制。若想阻止 Google 访问某个网页,请使用 noindex 禁止将其编入索引,或使用密码保护该网页。
    1
    2
    3
    警告:如果您不想让自己的网页显示在 Google 搜索结果中,请不要将 robots.txt 文件用作隐藏网页的方法。

    如果其他网页通过使用说明性文字指向您的网页,Google 在不访问您网页的情况下仍能将其网址编入索引。如果您想从搜索结果中屏蔽自己的网页,请改用其他方法,例如使用密码保护或 noindex

noindex

tips

mobile

amp

  • AMP is a web component framework to easily create user-first experiences for the web.
  • https://amp.dev/

https

当然