51.com的robots.txt有错吗?

[复制链接]
查看: 5260|回复: 35

1584

主题

1万

帖子

5万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
58701
发表于 2016-2-19 15:12:43 | 显示全部楼层 |阅读模式
愁闷二:robots.txt写法遵守规矩,引擎也赐与遵守!那么就是眼镜蛇以上文┞仿的剖断缺点!不是51的robots.txt缺点!


什么是robots.txt文件?


                                                               

引擎经由过程一种法度榜样robot(又称spider),主动拜访互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中声明该网站中不想被robot拜访的部分,如许,该网站的部分或全部内容就可以不被引擎收录了,或者指定引擎只收录指定的内容。


因为刚写了51是因为二级玉米泛滥和站点垃圾造成被封,去站长站看见“眼镜蛇”写的是因为51的robots.txt的原因。

我细心看了51的robots.txt而最后要驳反“眼镜蛇”的断定和定论!


每个站点都必须要有robots.txt吗?


不必定,看情况


那么robots.txt是针对任何引擎吗?


不必定,引擎的概念是什么先搞明白!至少他有蜘蛛,并且遵守robots.txt语法。像百度,google,yahoo都遵守
第一结不雅为


官方的robots.txt


robots.txt放在哪里?


根目次下,就是经由过程 http://www.abc.com/robots.txt等浏览拜访到的!


robots.txt怎么写?


请萌芽:http://www.robotstxt.org/


因为眼镜蛇说百度杀了51是因为51的robots.txt


“51.com消掉原因是公司想借机炒作?”


(接洽到五一国庆阁下百度大年夜范围检查并封杀作弊网站,开端让业界认为51.com是百度处罚的网站之一,
经由过程某同伙提示到51.com的robots.txt文件,让大年夜家明白了百度网站只收录一页的原因,
并不是引擎工资所至,而是51.com自身原因。 )


愁闷一:五一成“国庆”了!



分析辩驳:


因为51的主页都在home下或者这个二级玉米下,那么就这个来说!



1:http://www.51.com/robots.txt 18行


Disallow: /home/ (假设只针对百度,因为google 没把51怎么着,而之后分析则套用google的一些现象比较百度,除非他们不是一样性质的遵守robots.txt的引擎!)


百度给出的定义:


http://www.baidu.com/search/robots.html


那么就是说袈溱http://www.51.com/home/index.htm/index.html/index.shtml不克不及被收录,因为home目次下无主页!


那是不是如今该可以返回到http://www.51.com/了呢?这个做法给引擎造成若干麻烦?造成若干垃收受接收录?
http://www.51.com/home/index.htm   404缺点
却在之前百度收录了我的http://home.51.com/home.php?user=piaoge999或者http://piaoge999.51.com呢?
http://www.51.com/home/index.html  404缺点
http://www.51.com/home/index.shtml 404缺点
http://www.51.com/home/index.php   404缺点
http://www.51.com/home/            404缺点


肯定HOME下无默认首页文件,一般都是404页,如许多引擎会很不友爱的,那么当然细心点的┞肪点都邑杜绝被引擎视为逝世连接。
51的错法就是"Disallow:/help/"则许可robot拜访/help.html,而不克不及拜访/help/index.html


剖断:Disallow: /home/ 对于百度精确!


因为有:User-agent: *  (针对所有)


查看:site:51.com/home  ,site:51.com/home/ ,site:www.51.com/home , site:www.51.com/home/
在google都有收录,而不是樊篱了home下任何,而只是home下的默认首页!


今朝看不见百度的现象,根据User-agent: *  (针对所有)解释百度当时也是如许!(80%一样)


再查:site:home.51.com


51 博客网迎接您home.51.com/ - 类似网页


似乎home.51.com/下有首页,似乎home面前目今也有首页!


我们点以前则跳转到http://www.51.com/,因为今朝引擎都可以辨认和收录url转发而非跳转!


随便查下home.51.com/的┞肪点拜访应用情况!


比如:第二结不雅


献给我最爱的00


home.51.com/home.php?user=nicolelove - 5k - 弥补材料 - 网页快照 - 类似网页


而你应用“http://nicolelove.51.com ”也拜访的是此“home.51.com/home.php?user=nicolelove”


也可以 :http://www.51.com/home/Index.php?user=nicolelove  (home下的任何其他文件可以收录和拜访)


点肯定急速返回到“http://www.51.com/”如许的做法稍微比404缺点返回友爱了一些,可是假如我今天申请了,明天51删除我了,
也可以:http://51.com/home/Index.php?user=nicolelove 拜访而到http://www.51.com/home/Index.php?user=nicolelove


也可以:http://www.51.com/home.php?user=aiyoweiyaaaa到http://home.51.com/home.php?user=aiyoweiyaaaa


严格按照URL嗣魅这个可以说是多URL或者路径重叠,或者纷乱,只是一些没告诉那些站长,只告诉站长
“http://nicolelove.51.com ”就是你的主页url


弥补:


<*** LANGUAGE=&quot;Java***&quot;>
<!--
var t = addAccessRec();
if (isLoginF == 'y' && isLoginHide != 'y') {
if (isAddAccess == 'y' && t[0] == true) {
  var URL = &quot;addAccessCount.php?user=nicolelove&visituser=&time=1178309340&quot;;

  addAccess(URL);  // 增长访客记录
}
}
if (isAddCount == 'y' && t[1] == true) {
var URL = &quot;addClickCount.php?user=nicolelove&time=1178309340&quot;;
addAccess(URL);  // 增长点击数
}
function addAccess(URL)
{
var oXMLHttp = new InitAjax();
oXMLHttp.open(&quot;GET&quot;,URL,true); //异步
oXMLHttp.setRequestHeader('charset','GBK');
oXMLHttp.Send(null);
在http://www.yookee.org/dispbbs_17_313_1.htm&ldquo;引擎优化优化之&ldquo;不要随便马虎应用泛解析&rdquo; 特别拿51来分析了的!


}
LoadXMLHTTP(&quot;/home/addMyVisitors.php?who=nicolelove&quot;);
//-->
</***>


&quot;Disallow:/help/&quot;则许可robot拜访/help.html,而不克不及拜访/help/index.html


看下最后第三段代码!


引擎在更多时是不许可如许的现象的。二级玉米和自力玉米都可以认为不合域下的┞肪点和网页!


比如:http://piaoge999.51.com 这个是不存在申请的url站站点,那么你输入回车后就会提示:该用户不存在


提示URL为:http://home.51.com/home.php?user=piaoge999


降低了若干百度的技巧靠得住性的讽刺?


只是没这个写的具体,而这个文┞仿飘哥则做了70%的分析列举解释。要解释的是51被封是接洽到潦攀滥用泛解析!


而辩驳&ldquo;眼镜蛇&rdquo;的是针对他说51的robots.txt的问题造成被封!而51的robots.txt写法相符和遵守!


飘哥到今天还没应用过robots.txt,只是之前帮一个同伙大年夜google拒绝收录而找汗青记录发明他的玉米曾经存在robots.txt
内容写法是禁止收录此站。告诉之则给google写信赐与了收录。因为那玉米停了一段时光,google则照样按照当时robots.txt赐与封闭!



此文停止,51的robots.txt有错吗?51的robots.txt是针对百度的吗?百度是根据51的robots.txt把他杀了的吗?
回复

使用道具 举报

1584

主题

1万

帖子

5万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
58701
 楼主| 发表于 2016-6-30 01:53:05 | 显示全部楼层
顶顶多好
回复 支持 反对

使用道具 举报

1943

主题

1万

帖子

5万

积分

网站编辑

Rank: 8Rank: 8

积分
58422
发表于 2016-6-30 01:42:52 | 显示全部楼层
难得一见的好帖
回复 支持 反对

使用道具 举报

0

主题

1万

帖子

4万

积分

论坛元老

Rank: 8Rank: 8

积分
44163
发表于 2016-6-30 02:08:00 | 显示全部楼层
很好哦
回复 支持 反对

使用道具 举报

1933

主题

1万

帖子

5万

积分

网站编辑

Rank: 8Rank: 8

积分
58764
发表于 2016-6-30 02:17:07 | 显示全部楼层
不错不错
回复 支持 反对

使用道具 举报

0

主题

1万

帖子

4万

积分

论坛元老

Rank: 8Rank: 8

积分
44163
发表于 2016-6-30 02:02:16 | 显示全部楼层
LZ真是人才
回复 支持 反对

使用道具 举报

0

主题

1万

帖子

3万

积分

论坛元老

Rank: 8Rank: 8

积分
31847
发表于 2016-9-3 13:42:57 | 显示全部楼层
我们公司做工业设计,要做网站,之前合作的网络公司后来人也找不到了,刚好帝国网络公司小李打电话过来,湖南的小姑娘挺实在,看了很多他们公司做的案例,包括他们公司的视频,就把网站给他们做了。点个赞,专业,服务也好!
回复 支持 反对

使用道具 举报

1943

主题

1万

帖子

5万

积分

网站编辑

Rank: 8Rank: 8

积分
58422
发表于 2016-9-3 14:09:36 | 显示全部楼层
帝国网络公司挺大的 我在他们公司做了整合营销 感觉还不错 效果蛮好 服务也很好啊 每周都有那个SEO报告和整合营销报告 作为外包公司 这点做得还比较细致了 给一个赞吧 支持下好公司
回复 支持 反对

使用道具 举报

0

主题

1万

帖子

3万

积分

论坛元老

Rank: 8Rank: 8

积分
31847
发表于 2016-9-3 14:10:52 | 显示全部楼层
我们公司的项目就是在帝国网络公司做的,一家很负责的公司,一些问题都会考虑的很好。很尊重我们这些客户的意见。
回复 支持 反对

使用道具 举报

1933

主题

1万

帖子

5万

积分

网站编辑

Rank: 8Rank: 8

积分
58764
发表于 2016-9-3 13:34:27 | 显示全部楼层
与深圳帝国网络合作了快一年的时间,将我公司网络推广的业务交给了他们,我们是做快速消费品食品行业的,开发意向度高的新客户是我们的生命线之一,他们给我做的关键词“深圳糖果批发”、“果冻采购哪家好”像这样的都排在了百度首页,3个月时间,果然和合同上的时间一致。每天都能保证有意向的询盘,去年12月份一个意向客户订单12万。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

精彩推荐

网站优化如何利用META标签提升网站关键词排

2017-07-04 陕西

为什么为了更好的SEO优化而在网站上拼命写

2018-02-27 泰安

如何做好网站的站内优化以及网站建设的SEO

2018-02-27 淄博

网站如何用三个方法做到让用户和搜索引擎都

2018-02-27 青岛

为何现在较少的网站优化站外这一个非常重要

2018-02-27 菏泽

网站优化做不好怎么办?SEO服务分析网站优化

2017-06-23 海南

归纳总结网站推广中seo优化为何离不开多元

2018-02-27 日照

美丽说的SEOseo多牛

2016-06-07 四平

让SEO服务更专业

  • 帝国网络服务有限公司
  • 客服电话:400-050-4004
  • 深圳市南山区西丽硅谷
    大学城创业园C区117

精彩SEO教程,快速SEO查询

关注我们

Copyright 江苏SEO优化  Powered by©帝国网络优化公司  技术支持: 江苏SEO优化服务公司