欢迎您来到腾讯云!积分商城

腾讯云腾讯云论坛

 找回密码
 立即注册
忘了密码?

扫一扫,访问微社区

快捷导航
搜索
查看: 1781|回复: 12

[已解决] 用了腾讯云CDN 百度Spider抓取失败

[复制链接]

1

主题

0

好友

290

积分

小白[LV1]

Rank: 1

云币
1150
威望
290
发表于 2017-7-5 22:46:37 |显示全部楼层 |未分类
RT


b1.png


b2.png

21

主题

10

好友

1万

积分

腾讯云论坛管理组

Rank: 20Rank: 20

云币
20519
威望
15132
发表于 2017-7-6 09:03:45 |显示全部楼层
设置CDN高级配置

SEO优化配置

自定义搜索引擎回源,保证搜索引擎权重的稳定性。

搜索引擎自动回源

相关技术文档:https://www.qcloud.com/document/product/228/6297
回复

使用道具 举报

1

主题

0

好友

1749

积分

版主

Rank: 7Rank: 7Rank: 7Rank: 7

云币
5099
威望
1749
发表于 2017-7-6 09:05:38 |显示全部楼层
点击查看下是不是网站的robots文件禁止了蜘蛛抓取呢?
回复

使用道具 举报

1

主题

0

好友

1749

积分

版主

Rank: 7Rank: 7Rank: 7Rank: 7

云币
5099
威望
1749
发表于 2017-7-6 09:46:01 |显示全部楼层
你可以设置单独解析记录,搜索引擎回源
回复

使用道具 举报

1

主题

0

好友

290

积分

小白[LV1]

Rank: 1

云币
1150
威望
290
发表于 2017-7-6 14:26:54 |显示全部楼层
CanMeng 发表于 2017-7-6 09:03
设置CDN高级配置

SEO优化配置

昨天一开始用的时候已经设置搜索引擎自动回源,然而到现在还是抓取失败!关键词排名全掉了,想世界末日一样。
回复

使用道具 举报

1

主题

0

好友

290

积分

小白[LV1]

Rank: 1

云币
1150
威望
290
发表于 2017-7-6 14:29:43 |显示全部楼层
女淘日记 发表于 2017-7-6 09:05
点击查看下是不是网站的robots文件禁止了蜘蛛抓取呢?

以下是robots文件,文件一直都是这样的,前两天还在用阿里云CDN的时候还是能抓取的,排名也都稳定,现在排名都没了。

还有,我昨晚还专门设置了一个A记录的解析给百度,也没用
  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /attachment/
  16. Allow: /wp-content/uploads/
  17. Allow: /wp-admin/admin-ajax.php
  18. Sitemap: https://域名/sitemap.xml
复制代码
回复

使用道具 举报

1

主题

0

好友

1749

积分

版主

Rank: 7Rank: 7Rank: 7Rank: 7

云币
5099
威望
1749
发表于 2017-7-6 15:32:42 |显示全部楼层
百度云加速辣鸡 发表于 2017-7-6 14:29
以下是robots文件,文件一直都是这样的,前两天还在用阿里云CDN的时候还是能抓取的,排名也都稳定,现在 ...

解析记录里面新增一条记录,专门给搜索引擎回源呢
回复

使用道具 举报

1

主题

0

好友

290

积分

小白[LV1]

Rank: 1

云币
1150
威望
290
发表于 2017-7-6 20:28:01 |显示全部楼层
女淘日记 发表于 2017-7-6 15:32
解析记录里面新增一条记录,专门给搜索引擎回源呢

我昨晚还专门设置了一个A记录的解析给百度,也没用。

然后刚才试了用回阿里云CDN跟不用CDN(直接源站) 百度都可以成功抓取。

所以现在我觉得肯定是你们腾讯云CDN的问题!!!
回复

使用道具 举报

21

主题

10

好友

1万

积分

腾讯云论坛管理组

Rank: 20Rank: 20

云币
20519
威望
15132
发表于 2017-7-11 15:30:12 |显示全部楼层
提示: 该帖被管理员或版主屏蔽
签名被屏蔽
回复

使用道具 举报

1

主题

0

好友

290

积分

小白[LV1]

Rank: 1

云币
1150
威望
290
发表于 2017-7-23 23:54:09 |显示全部楼层
CanMeng 发表于 2017-7-11 15:30
建议关掉SSL再试试

神建议...
我的网站一直使用SSL(四年了)
回复

使用道具 举报

16

主题

0

好友

1333

积分

攻城师[LV3]

Rank: 3Rank: 3Rank: 3

云币
3079
威望
1333
发表于 2017-7-24 01:43:08 |显示全部楼层
建议楼主按照截图中的提示更新IP和Robots
另外,变更IP,百度方面需要在24小时后才能记住新IP,在此之前,请不要对原IP上网站进行关闭操作
回复

使用道具 举报

1

主题

0

好友

175

积分

小白[LV1]

Rank: 1

云币
595
威望
175
发表于 2018-2-28 00:25:18 |显示全部楼层
楼主最后解决了吗?我也是一样,一直403都不知道该怎么设置了
用户能正常访问,别的模拟蜘蛛也能抓取,就百度蜘蛛抓取不了,源站没有做任何拦截
回复

使用道具 举报

0

主题

0

好友

60

积分

小白[LV1]

Rank: 1

云币
158
威望
60
发表于 2018-6-23 18:37:30 |显示全部楼层
也是遇到这个问题了,楼主解决 了吗。我都关掉cdn了,百度都抓取不到。5天没给我 索引新数据了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册
您需要登录后才可以发帖 QQ登录

联系我们|腾讯云平台|积分商城|腾讯云官方论坛    

GMT+8, 2018-9-19 19:58 , Processed in 1.216581 second(s), 37 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部