@推推蛙 sitemap生成却无法生成全站链接_推推蛙吧

推推蛙吧关注：881贴子：26,897

大佬，为什么我用sitemap自动生成的时候，不能生成全站的url，我全站有600多条url但是用sitemap生成的时候只能出现300条，换了好几个工具都是这样，用疯狂青蛙、sitemapX都不能生成全部的。这是为什么该怎么解决？求大佬指教

送TA礼物

IP属地:浙江

1楼2022-07-21 09:44回复

IP属地:浙江

2楼2022-07-21 10:10

尖叫青蛙和其他工具都只能抓取300+，说明你其他URL并无通道给抓取爬行；

IP属地:山西

3楼2022-07-21 10:33

1、网站页面的通道是否有，便于蜘蛛去抓取爬行，如果没有给通道，蜘蛛也不会去抓取到；
2、尖叫青蛙都抓取不到，可能你的网站程序里没有那些URL通道，可以找程序去看下，有无给到通道，可以具体分析下，是哪些页面的URL没有识别抓取。

IP属地:山西

4楼2022-07-21 10:35

蛙哥还有个问题，像这种url错误的情况下，robots该怎么进行屏蔽？因为他在浏览器里输入之后出现的事中文的=号，复制下来之后就自动转码，是不是要写成Disallow: /%/

IP属地:浙江

5楼2022-07-21 11:51

收起回复

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴