利用robots文件做seo优化 让蜘蛛更好的抓取网站

[复制链接]
查看: 1100|回复: 10

1933

主题

1万

帖子

5万

积分

网站编辑

Rank: 8Rank: 8

积分
58764
发表于 2016-5-30 14:08:24 | 显示全部楼层 |阅读模式
排名里给网站优化家共享下我的robots.txt文件


1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。


2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效蛋俣乳况。


User-agent:*   是用来置顶百度些搜索引擎蜘蛛可以抓取的,优化般默认设置


4、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过网站优化,目录最长不超过250关键词字符。


上图我给的优化关键词例子中,disallow语句seo问题,原因是把英文低景号写成了中文低景号。


seofuwu595301511051.png


Disallow:/category/*/page/ 分类目录下面翻页后的链接,比如,进入校赚网分类目录 "推广运营经验"目录后,在翻页优化次,就成了 stcash.com/category/tuiguangyunying/page/2形式了


当然直接输入网站根目录加上robtots.txt文件也可以


Disallow:/?s=* Disallow:/*/?s=*  搜索结果页面和分类目录搜索结果页面,排名里没必要再次抓取。


Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/   排名三关键词目录是系统目录,优化般都是屏蔽蜘蛛抓取


Disallow:/*/trackback  trackback的链接


Disallow:/feed Disallow:/*/feed Disallow:/comments/feed  订阅链接


Disallow:/?p=*   文排名短链接,会自动301跳转到长连接


例如,朱海涛博客之前就被逝琶过短连接


seofuwu595301511052.png


sitemap地址指令,主流是txt和xml格式。在排名里分享优化段张戈所写txt格式的simemap文件。



Disallow:/*/comment-page-*   Disallow:/*?replytocom*  排名两关键词我在之前文排名seo过说明,来自于评论链接,很容易造成重复逝琶。


Sitemap: http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.stcash.com/sitemap.xml


Disallow: /*/comment-page-*


在robots.txt文件的最后还可以制定sitemap文件 Sitemap:http://***.com/sitemap.txt


3、Robots工具暂不支持https站点。










User-agent: *






0) {     foreach($mypages as $page) {     echo get_page_link($page->ID);     echo "\n";     } } ?>



百度robots文件使用说:


0){ foreach ($terms as $term) {     echo get_term_link($term, $term->slug);     echo "\n";     } } ?>



Disallow: /*/feed


$tag ) {                $link = get_term_link( intval($tag->term_id), "post_tag" );                if ( is_wp_error( $link ) ) {                   return false;                   $tags[ $key ]->link = $link;                }                   echo $link;                   echo "\n";     } ?>


seofuwu595301511053.png


robots文件存在于网站根目录,是用来告诉百度蜘蛛百度些应该抓取,百度些不应该抓取。正确使用robots文件seo助于做好seo优化,robots文件的核心词汇就是allow和disallow用法。百度官网是认可排名关键词文件的,在百度站长平台上也seorobots排名关键词栏目,点击进入,就可以看到网站网站robots文件是否编写正确了。


将上述代码保存到txt文件,上传到根目录,并且在robots.txt文件中指定即可


Disallow:/wp-admin/


Disallow: /*?replytocom*


Disallow: /wp-content/


Disallow: /wp-includes/


Disallow: /category/*/page/


Disallow: /*/trackback


Disallow: /feed


Disallow: /comments/feed


Disallow: /?s=*


Disallow: /*/?s=*\


Disallow: /attachment/


Disallow: /tag/*/page/


来源:校赚网朱海涛 原创文排名如转载,请注明本文链接: http://www.wangzhanyouhua.net www.100ip.net www.seofuwu.cn 网站优化.stcash.com/5564
回复

使用道具 举报

1584

主题

1万

帖子

5万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
58617
发表于 2016-8-23 20:20:32 | 显示全部楼层
现在找个会优化的真心难,还好找到了帝国网络
回复 支持 反对

使用道具 举报

1584

主题

1万

帖子

5万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
58617
发表于 2016-8-23 19:40:57 | 显示全部楼层
服务很不错的一个公司,从签约到服务期间服务一直很好,准备续签了,特别表扬一下给我做竞价服务的小张,她帮我优化以后,效果确实很明显,赞!
回复 支持 反对

使用道具 举报

1584

主题

1万

帖子

5万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
58617
发表于 2016-8-23 20:02:40 | 显示全部楼层
网站做得挺漂亮的!公司服务态度也不错!我会介绍我身边的朋友以及客户也和他们合作的!感谢!
回复 支持 反对

使用道具 举报

0

主题

7633

帖子

2万

积分

论坛元老

Rank: 8Rank: 8

积分
22902
发表于 2016-8-23 20:27:22 | 显示全部楼层
帝国网络公司挺大的 我在他们公司做了整合营销 感觉还不错 效果蛮好 服务也很好啊 每周都有那个SEO报告和整合营销报告 作为外包公司 这点做得还比较细致了 给一个赞吧 支持下好公司
回复 支持 反对

使用道具 举报

0

主题

7633

帖子

2万

积分

论坛元老

Rank: 8Rank: 8

积分
22902
发表于 2016-8-23 20:29:02 | 显示全部楼层
帝国网络公司挺好 怎么说呢?最起码比很多公司好,无论是专业程度和服务态度,怎么说专业呢?做一个网站匹配人马很齐全,从策划,设计,程序,测试都由不同人来负责,很多网路公司恐怕都做不到,作为一个老客户,真心支持帝国网络!
回复 支持 反对

使用道具 举报

1943

主题

1万

帖子

5万

积分

网站编辑

Rank: 8Rank: 8

积分
58422
发表于 2016-9-27 13:00:26 | 显示全部楼层
很不错的一家公司,服务态度很好,比较亲切,很快的解决了我的问题,帝国网络很赞
回复 支持 反对

使用道具 举报

0

主题

1万

帖子

3万

积分

论坛元老

Rank: 8Rank: 8

积分
31847
发表于 2016-9-27 12:09:02 | 显示全部楼层
服务很不错的一个公司,从签约到服务期间服务一直很好,准备续签了,特别表扬一下给我做竞价服务的小张,她帮我优化以后,效果确实很明显,赞!
回复 支持 反对

使用道具 举报

0

主题

7116

帖子

2万

积分

论坛元老

Rank: 8Rank: 8

积分
21349
发表于 2016-9-27 12:40:23 | 显示全部楼层
刚和他们合作不久,服务态度非常好,seo、网络推广技术也很专业 ,选择了一家专业的整合营销公司,支持帝国网络,点个赞!
回复 支持 反对

使用道具 举报

0

主题

1万

帖子

3万

积分

论坛元老

Rank: 8Rank: 8

积分
31847
发表于 2016-9-27 12:11:41 | 显示全部楼层
帝国网络公司挺好 怎么说呢?最起码比很多公司好,无论是专业程度和服务态度,怎么说专业呢?做一个网站匹配人马很齐全,从策划,设计,程序,测试都由不同人来负责,很多网路公司恐怕都做不到,作为一个老客户,真心支持帝国网络!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

精彩推荐

网站优化如何利用META标签提升网站关键词排

2017-07-04 陕西

网站如何用三个方法做到让用户和搜索引擎都

2018-02-27 青岛

如何做好网站的站内优化以及网站建设的SEO

2018-02-27 淄博

为什么为了更好的SEO优化而在网站上拼命写

2018-02-27 泰安

为何现在较少的网站优化站外这一个非常重要

2018-02-27 菏泽

网站优化做不好怎么办?SEO服务分析网站优化

2017-06-23 海南

归纳总结网站推广中seo优化为何离不开多元

2018-02-27 日照

美丽说的SEOseo多牛

2016-06-07 四平

让SEO服务更专业

  • 帝国网络服务有限公司
  • 客服电话:400-050-4004
  • 深圳市南山区西丽硅谷
    大学城创业园C区117

精彩SEO教程,快速SEO查询

关注我们

Copyright 三亚SEO优化  Powered by©帝国网络优化公司  技术支持:三亚SEO优化服务公司