南京网站制作谈谈快照收录了七牛存储的链接怎么办
现在网站使用CDN存储的比较多,其中七牛云存储使用人群也很高,七牛云存储可以实现绑定一个cdn域名然后整体镜像一个网站,虽然这样非常方便网站在调用时候的调取,但是也存在一个问题,百度会收录cdn的这个域名,导致cdn链接和网站是一样的内容,对SEO不友好。因为搜索引擎可能会认为这是2个相同的网站,从而分担权重。遇到这种情况怎么处理呢?
在对象存储的根目录放置一个robot.txt文件,内容如下:
User-agent: *
Disallow: /
这将禁止所有搜索引擎访问cdn链接的任何部分,如果你的网站的图片等需要收录,可以采用下面的内容,就是允许搜索引擎收录图片和上传目录里面的内容,禁止收录其他内容。
User-agent: *
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.png$
Allow: /uploads/*
Disallow: /