如题,我想自定义一下网站被爬取规则,robots.txt文件内容如何自定义修改?谢谢。
halo如何设置robots.txt?
libo-sober 开发者选项里有个静态存储,开发者选项通过连续点击后台左上角logo开启
cetr 强
10 个月 后
cetr 点击左上角logo跳转到前台首页了,求教
langjianwei 只适用于1.x版本,2.0以后版本不可以哦
cetr 2.0以后怎么开启?需要谷歌的ads.txt
3 个月 后
langjianwei 同问 有解决吗
langjianwei 2.0不支持1.0的这个静态存储,目前做法就是上传Google Adsense给你的那串代码到代码注入那边:
langjianwei 可以试试robots.txt的插件
https://bbs.halo.run/d/3057-robots-plugin-for-halo201
3 个月 后
- 已编辑
5 天 后
pandalabme 给主题作者提issue,看看能不能加
9 天 后
gugu 谢谢咕咕啦
14 天 后
2.0 的 sitemap 已经支持自定义 robots 文件:https://www.halo.run/store/apps/app-QDFMI
20 天 后
24 天 后
- 已编辑
虽然结案了,但我还是想分享一下我的方法
首先进docker里面docker exec -it halo /bin/bash
执行find / robot|grep robot
能找到一个.ftl
结尾的文件
我的版本为halo1.6,路径为/application/BOOT-INF/classes/templates/common/web/robots.ftl
直接修改<#else>
下面的部分即可
附上我的robot.ftl
<#if options.seo_spider_disabled!false>
User-agent: *
Disallow: /
<#else>
User-agent: *
Sitemap: ${sitemap_xml_url!}
Sitemap: ${sitemap_html_url!}
Disallow: /categories/
Disallow: /journals/
Disallow: /tags/
</#if>