如题,我想自定义一下网站被爬取规则,robots.txt文件内容如何自定义修改?谢谢。

  • cetr 回复了此帖
    10 个月 后
    3 个月 后

    langjianwei 2.0不支持1.0的这个静态存储,目前做法就是上传Google Adsense给你的那串代码到代码注入那边:
    image-20230531145713998

      3 个月 后

      gugu 请问咕咕知道有没有哪款2.0的主题支持广告位呀?我用的默认主题,目前只有穿插广告正常渲染,看这个帖子上有同学反馈2.0主题没有广告位,不知道是因为这个原因导致

      • gugu 回复了此帖
        5 天 后
        9 天 后
        14 天 后
        20 天 后
        24 天 后

        虽然结案了,但我还是想分享一下我的方法

        首先进docker里面docker exec -it halo /bin/bash

        执行find / robot|grep robot

        能找到一个.ftl结尾的文件

        我的版本为halo1.6,路径为/application/BOOT-INF/classes/templates/common/web/robots.ftl

        直接修改<#else>下面的部分即可

        附上我的robot.ftl

        <#if options.seo_spider_disabled!false>
        User-agent: *
        Disallow: /
        <#else>
        User-agent: *
        Sitemap: ${sitemap_xml_url!}
        Sitemap: ${sitemap_html_url!}
        Disallow: /categories/
        Disallow: /journals/
        Disallow: /tags/
        </#if>