互联网竞争关系下的爬虫协议研究
关键词 行业惯例 竞争关系 一般条款 爬虫协议
作者简介：高祖瑞，武汉大学法学院经济法2015级研究生，研究方向：竞争法与知识产权法。
中图分类号：D922.29 文献标识码：A DOI：10.19387/j.cnki.1009-0592.2018.03.038
互联网行业是当代社会经济规模发展最为迅速的产业之一，竞争法律制度的构建对于规范和促进互联网产业的发展具有重要的意义。对于正处于飞速发展的互联网行业来讲，传统意义上的竞争法对于新型的竞争关系的规制已经显出自己的局限和不适。在技术更加复杂，法律尚未全面细致规定的行业背景下，竞争者采取爬虫协议的行为往往会涉及到不正当竞争行为和垄断行为。此外，知识产权的私有性与市场的自由竞争在爬虫协议的适用中也存在相关的价值冲突。那么，爬虫协议的行为到底如何界定？ 行业惯例能否为爬虫协议提供价值冲突时的解决之道？如何确定在新型竞争关系下适用爬虫协议的合理性标准？在此背景下，认真对待爬虫协议行为背后的价值理念和运作逻辑，并深入发掘互联网行业的竞争关系，无疑具有重要的意义。一、爬虫协议背景下的互联网竞争
互联网市场是典型的创新型市场。当前互联网市场下竞争主体日益增多，市场竞争愈演愈烈，市场结构在知识化浪潮的席卷下正逐步向更为“高精尖”的方向发展。同时，互联网行业也正经历着从自由竞争时代向垄断竞争时代的转折，在某些领域已经出现了寡头垄断，基于商业模式模仿的同质化竞争助长了不正当竞争行为和滥用市场支配地位行为，损害了市场竞争秩序，破坏了市场竞争。 然而，由于互联网市场与传统市场有着更为显著的差别，在互联网竞争中出现了新的特征。
（一）法律规则的滞后性与互联网经济的创新性
互联网经济是速度型经济，借助于信息的快速传输，经济活动的节奏大大加快，产品与技术更新周期缩短，创新速度加快。 这也使得互联网行业的竞争手段层出不穷，竞争内容复杂多变。但是，法律作为规范，其内容又是抽象的、概括的、定型的，制定出来之后有一定的稳定性。 法律对于不断变化的社会生活的涵蓋性和适应性不可避免地存在一定限度。这就使得国家制定的法律难以规定互联网竞争中的具体行为，因此就需要法律一定的一般条款对互联网竞争进行一定的兜底保护。所以，我们可以发现在互联网竞争中，行业惯例发挥着更加活跃的作用，法律往往在具体个案中对所适用的行业惯例加以确认。
（二）竞争行为的模糊性与技术手段的多样性
在反垄断案件中，对互联网行业中的相关市场难以给出一个清晰的市场边界。同样，互联网行业的竞争行为也难以给出一个清楚的界定。另外，互联网行业中的竞争和传统市场中的价格竞争相比，也更具有隐蔽性和复杂性。这使得各种保护手段层出不穷，保护的方式也更加多样。互联网行业中的限制交易、拒绝交易、竞价排名、点击欺诈等行为都比比传统市场中要更难认定。而与之相关的经营者和消费者所受到的损失也是并不明显或现阶段难以衡量的。所以，互联网行业本身的诸多行业惯例也充当了保护措施的技术手段。那么，对于这些竞争行为和技术手段，法律都需要在具体个案中加以认定，并为整个互联网行业监管提供参考意见。
（三）网站内容的安全性和网络信息的流动性
在互联网行业中，用户的访问点击是衡量一个门户网站是否成功的重要标志。一方面，网站所有者上传自己独创、归纳、收集、整合的信息资源来吸引用户的访问点击并以此来扩大自己的市场。另外一方面，由于互联网内的信息资源是自由流通的，其它相关网站很容易对其内容进行复制并提供链接，也可能导致网站系统难以承受大量的用户人群造成严重后果。在网络领域，公民自由获取信息的利益与作者对作品广泛传播的利益在某些情况下会形成统一，但与作品传播者有偿传播的利益却背道而驰。 所以出于基于网站安全考虑所采取的技术措施使得网站的所有者决定了网站内容信息的流动程度，在一定程度上是需要进行合理考量，来平衡作品传播者与作者、公众及搜索引擎商的利益冲突。
这些互联网竞争中的新常态使得法院往往依据行业惯例或者商业道德来判断行为的合理性。在百度诉奇虎360一案中，争议的焦点就在于奇虎公司违反爬虫协议的行为是否违反法律法规的相关规定。由于本案的行为明显不属于《反不正当竞争法》所规定的各类具体不正当竞争行为，所以要使得《反不正当竞争法》在本案中得以适用，只能根据其一般条款来进行考量，判断奇虎公司违反爬虫协议的抓取行为是否违反公认的商业道德，进而被认定为不正当竞争行为。那么，我们首先需要对爬虫协议本身具有较为清晰的认识，并对其法律性质进行认定和了解。二、爬虫协议的法律认定
爬虫协议具体是指互联网站的所有者根据该协议可以设置一个禁止其它搜索引擎对本网站信息抓取的一个指令。目前为止，在认定爬虫行为的法律效力上还存在着一些争议，在不同国家的案件中也有着不同的判决。在eBay案 中，法院是以网站可能遭受的超负荷损害的危险为依据责令禁止搜索。在Field诉Google一案 中，法院根据原告明知爬虫协议可以有效控制访问为依据推定原告进行了默示许可，但这种推定并不是法院本身赋予了爬虫协议法律效力，而只是在该案中作为证明默示许可的一种证据。更为重要的是，在比利时Copiepress、SAJ、Assucopie三大机构诉谷歌一案 ，法院以版权的排他性保护为依据认为爬虫协议不代表默示许可。根据对这三个案件进行的梳理，笔者认为在爬虫协议的法律适用中应当包含以下几个方面：
一是爬虫协议构成网络环境下版权人可以采取有效控制访问的技术措施，或者是对搜索引擎的告知行为。 由于该协议不是一个强制性标准，也不具有强制执行力，所以违反爬虫协议而强行提供被拒绝网页内容的行为只能在商业道德的范畴内进行评价。
二是爬虫协议本身不具有法律效力，但是法院可以将其作为一种证据来认定相关的行为。在双方都明知的情况下，网站内容提供者未设置爬虫协议的行为可能会被推定为默示许可，搜索引擎商违反爬虫协议的行为可能会被认定为恶意行为。
三是门户网站对于爬虫协议的设置应当合理的标准进行，重点应该放在网站的流量平衡和系统压力之上。因为爬虫抓取本身并不会给网站带来危害，反而用户对检索到网站内容越多，也将会为网站带来更多的用户。因此，在对适度的搜索引擎商开放以及更全面地被搜索引擎检索存在着平衡。
四是具有市场支配地位的互联网信息提供者设置爬虫协议在一定程度上不利于互联网信息的自由流动，也可能会导致其它依赖信息提供的竞争者难以进入相关市场。所以不合理的爬虫协议在一定程度上也会构成垄断行为。三、爬虫协议对竞争关系的影响
（一）爬虫协议在不正当竞争行为中的认定
在民商事关系中，“法无明文禁止即允许”是私法领域内的一条重要的原则。而在百度诉奇虎360一案中，原告主张被告的不正当竞争行为正是依据《反不正当竞争法》第2条第1款中关于商业道德的规定。所以在缺乏法律对具体行为规定下，爬虫协议能否通过法律对于商业道德的解释来适用反不正当竞争法应该是我们讨论的重点。
通常，不正当竞争行为是指以违背诚实信用和公平竞争商业惯例的手段从事市场交易的行为。《保护工业产权巴黎公约》第10条第2款规定，凡在工商业活动中违反诚实的习惯做法的竞争行为，构成不正当竞争行为。在对该条款的解释中，在认定某一行为是否构成不正当竞争行为，不限于在请求被保护的成员国所存在的诚实的习惯做法，而且也必须考虑国际贸易中形成的诚实的习惯的做法。 在这一条款和其司法解释中，认为一个国家公认的行业惯例构成该国所习惯的商业道德。当然，这种行业惯例所适用为商业道德的前提在于其是在从事市场竞争所必须遵守的最近的行为规范。当然，如果仅仅是以行业惯例为理由，判断具体行为是否违反了《不正当竞争法》也并不合理，法律对商业道德的认定也应当有所限制。根据最高人民法院在审理“海带配额”一案中指出反不正当竞争法意义上的诚实信用更多的是根据特定商业领域和个案情形来判断是否属于公认的商业道德。
根据以上资料，我们可以发现不能笼统地将行业惯例视为商业道德，因为市场上存在很多并不“良好”的行业规则。2005年欧盟《不正当商业行为指令》规定的就是需要考虑“良好的商业惯例。 同样，巴黎公约和世界知識产权组织的《反不正当竞争示范法》也将不正当竞争界定为违反“诚实”惯例的行为。所以，笔者认为要使得行业惯例与公认的商业道德相契合，应当包含以下几个方面：
1. 行业惯例应当首先符合商业道德的标准，属于特定行业领域普遍认知和接受的标准，具有一般性和公认性。当然，这种一般和公认的程度应当以该行业从业人员的普遍注意力为标准。
2. 行业惯例并不是认定不正当竞争行为的决定性标准，最终应该还是最后落实到反不正当竞争法上进行判断。正如同德国联邦最高法院在处理FSA诉Kodex一案中指出：“违反行业自律规则可以作为认定不正当竞争行为的证据，但不具有决定意义，而应该是作为法律的反不正当竞争法来判断是否构成不正当行为” 。
3.判断是否属于一个良好的行业惯例应当从其处理不同利益诉求的冲突中入手。反不正当竞争法保护的是竞争者、消费者以及社会公益，竞争行为正当性的一个重要的标准就是行为本身是否符合反不正当竞争法所保护的利益。社会公共利益原则是竞争法的一项重要原则，要求参与竞争活动的个人、法人和其他组织不得违反社会公共利益。在立法目的上，公共利益原则意味着竞争法不仅仅处理竞争者之间的关系，维护竞争者的正当权益，还应该考虑广泛的利益关系，特别是保护消费者的利益。 所以，在确定行业惯例是否具有正当性的问题上，判断行业惯例是否恰当的处理好竞争主体间的利益平衡是最重要的标准。
（二）爬虫协议在垄断行为中的认定
相关市场的界定是反垄断法执行的前提条件，并且直接影响到案件的最终结果。在反垄断法中，判断一个具体行为是否构成垄断行为应当首先判断其是否具有市场支配地位。因此，对于经营者滥用市场支配地位行为的规制，应当首先明确经营者竞争的市场范围，进行相关市场的界定。
根据《反垄断法》第12条和国务院反垄断委员会2009年发布的《关于相关市场界定的指南》的规定，“相关市场是指经营者在一定时期内就特定商品或者服务（以下统称商品）进行竞争的商品范围和地域范围”。互联网产业根据其行业特点大致可以分为两种类型：一种是互联网技术发展所产生的新兴行业，例如搜索引擎、即时通讯等；另一种就是基于互联网技术所拓展销售渠道的传统商品，例如电子商务。 本文所研究的对象爬虫协议主要应用于搜索引擎的领域之中，属于互联网科技发展所带来的信息市场。由于，互联网经济具有较强的网络效应 ，而网络效应易导致正反馈的发生。当用户对某类网站受欢迎的程度超过了一定程度，将会形成一定的粘着效应，使得该网站的浏览人群进一步扩大并独占市场。这使得一旦该网站进行排他性的设置，禁止相关搜索引擎提供链接访问，将可能迅速的减少使用该搜索引擎的用户，从而不利于市场的竞争。
根据《反垄断法》第17条第2款的规定，“本法所称市场支配地位，是指经营者在相关市场内具有能够控制商品价格、数量或者其他交易条件，或者能够阻碍、影响其他经营者进入相关市场能力的市场地位”。在互联网市场中，大型的门户网站往往占据了大量的信息资讯，并依托客户端等产品集聚了大量的用户群体，导致在一定程度上影响了搜索引擎市场的准入。同时，这些企业也往往自身研发搜索引擎产品并投入使用，所以不能简简单单把互联网服务商和搜索引擎商的相关市场给简单割裂开来。在《反垄断法》第17条中规定的几类滥用市场支配行为中，“拒绝交易”与爬虫协议的适用中密切相关，因此笔者重点讨论这一行为。
拒绝交易又称抵制行为，即在没有正当理由的情况下拒绝出售商品或提供服务。 根据合同自由的原则，处于市场经济环境下的企业当然有权挑选与自己进行交易的对象。但是，具有市场支配地位的企业由于在一定程度上可以影响相关市场内商品的价格、数量等其它交易条件，使得它的决定将会对相关市场内的竞争状态产生至关重要的作用。所以，法律赋予了具有市场支配地位的企业更为特殊的责任。在实践中，具有市场支配地位的企业如果凭借自己垄断经营的地位在未经消费者同意并且擅自中断自己服务的情况下，将会损害其它经营者的利益和市场竞争秩序，而且支配企业也可能将支配地位扩展到另一市场，巩固和加强自己的垄断地位。
一般而言，只有当市场主体滥用合同自由原则对竞争造成的损害超过合同自由本身受到限制的损害的程度时，法律才会对合同自由原则加以一定的限制。在判断这一程度时，通常用“合理原则”来考察拒绝交易行为，即只有当拒绝交易造成的损害超过对市场的有利影响，反垄断法才会对此加以限制。 在爬虫协议的相关案例中，一些具有市场支配地位的企业在爬虫协议中拒绝相关搜索引擎的抓取，例如百度这一类网站内容数量和提供的总体服务可能超过我国所占比例的15%，如果百度拒绝某一搜索引擎进行访问，意味着相当于中国互联网内容的15%为搜索盲区。如果百度拒绝访问的这些内容在短期内无法寻找到替代性的商品，无疑会对市场竞争造成严重的打击。同时，百度设置各个环节的robot文件明确排除360搜索，意味着百度明显在打击竞争对手，消灭竞争对手。
其次，在衡量拒绝理由的合理性时，除了需要分析支配企业的情况，也应当判断被许可方自身的情况，对于后者的认定更应该从企业本身的信誉和业绩入手。同样在该案中，百度禁止360的抓取数量相较于百度每天访问量无疑也是很小的，不会对其服务器本身带来巨大的影响和故障。而且这些被禁止的内容同样也是在互联网上公开发表的内容，其它任何搜索引擎都可以公开的访问，不涉及任何保密或隐私的信息。所以，360对百度网站访问抓取并不会对网站造成严重的影响，还可以为其带来客观的访问量。四、结语
互联网行业的新常态以及新型的竞争对我国竞争法的适用提出了新的挑战，在法律对具体行为正式作出回应之前，行业惯例充当了一定的作用，并依托法律的一般条款进行认定。当然，行业惯例可以与法律一样作为平衡不同利益诉求的工具，但也只能够作为一种参考性的标准，在具体的判决中，还是应当引入到法律中，根据立法目的认定行业惯例是否为一个良好的行业惯例。此外，一个开放、自由、流通的信息网络需要信息交流的便捷和畅通，一个创新、高速、专业的互联网经济也更需要依托对科技的投入和知识产权的保护。所以，在互联网新型竞争关系下，合理平衡各方利益的行业惯例才可以被称为良好的行业惯例。
注释：
中华人民共和国工业和信息化部发布的《我国互联网市场竞争现状与问题分析》.http：//www.miit.gov.cn/n11293472/n11293832/n15214847/n15218234/15475341.html.
王先林主编.中国反垄断法实施热点问题研究.法律出版社.2011.334，324.
张文显主编.法理学.法律出版社.2007.300.
范长军.行业惯例与不正当竞争.法学家.2015（5）.
eBay， Inc.v.Biddcr's Ed}；c，Inc.，100 F.Supp.2d 1058（N.D.Ca1.2000）.
张金平.有关爬虫协议的国外案例评析.电子知識产权.2012（12）.
此案一审判决书英文版.http：//www.groklaw.nct/articlcbasic.php？story=20070726 152837334.
杨华权、曲三强.论爬虫协议的法律性质.法律适用.2013（4）.
博登浩森著.段瑞林、汤宗舜译.保护工业产权巴黎公约指南（附英文译本）.中国人民大学出版社.2003.97.
张平.违反爬虫协议能否适用反不正当竞争法一般条款.人民法院报.2013年6月5日，第7版.
范长军.行业惯例与不正当竞争行为.法学家.2015（5）.86.
德国联邦最高法院.工业产权与著作权保护杂志.2011年合刊.431.
种明钊主编.竞争法学.法律出版社.2008.19.
网络效应是指消费者使用某产品的效用依赖于适用同类或兼容产品的其他消费者数量
种明钊主编.竞争法.法律出版社.2008.287.
杨华权.论爬虫协议对互联网竞争关系的影响.知识产权.2014（1）.
作者简介：高祖瑞，武汉大学法学院经济法2015级研究生，研究方向：竞争法与知识产权法。
中图分类号：D922.29 文献标识码：A DOI：10.19387/j.cnki.1009-0592.2018.03.038
互联网行业是当代社会经济规模发展最为迅速的产业之一，竞争法律制度的构建对于规范和促进互联网产业的发展具有重要的意义。对于正处于飞速发展的互联网行业来讲，传统意义上的竞争法对于新型的竞争关系的规制已经显出自己的局限和不适。在技术更加复杂，法律尚未全面细致规定的行业背景下，竞争者采取爬虫协议的行为往往会涉及到不正当竞争行为和垄断行为。此外，知识产权的私有性与市场的自由竞争在爬虫协议的适用中也存在相关的价值冲突。那么，爬虫协议的行为到底如何界定？ 行业惯例能否为爬虫协议提供价值冲突时的解决之道？如何确定在新型竞争关系下适用爬虫协议的合理性标准？在此背景下，认真对待爬虫协议行为背后的价值理念和运作逻辑，并深入发掘互联网行业的竞争关系，无疑具有重要的意义。一、爬虫协议背景下的互联网竞争
互联网市场是典型的创新型市场。当前互联网市场下竞争主体日益增多，市场竞争愈演愈烈，市场结构在知识化浪潮的席卷下正逐步向更为“高精尖”的方向发展。同时，互联网行业也正经历着从自由竞争时代向垄断竞争时代的转折，在某些领域已经出现了寡头垄断，基于商业模式模仿的同质化竞争助长了不正当竞争行为和滥用市场支配地位行为，损害了市场竞争秩序，破坏了市场竞争。 然而，由于互联网市场与传统市场有着更为显著的差别，在互联网竞争中出现了新的特征。
（一）法律规则的滞后性与互联网经济的创新性
互联网经济是速度型经济，借助于信息的快速传输，经济活动的节奏大大加快，产品与技术更新周期缩短，创新速度加快。 这也使得互联网行业的竞争手段层出不穷，竞争内容复杂多变。但是，法律作为规范，其内容又是抽象的、概括的、定型的，制定出来之后有一定的稳定性。 法律对于不断变化的社会生活的涵蓋性和适应性不可避免地存在一定限度。这就使得国家制定的法律难以规定互联网竞争中的具体行为，因此就需要法律一定的一般条款对互联网竞争进行一定的兜底保护。所以，我们可以发现在互联网竞争中，行业惯例发挥着更加活跃的作用，法律往往在具体个案中对所适用的行业惯例加以确认。
（二）竞争行为的模糊性与技术手段的多样性
在反垄断案件中，对互联网行业中的相关市场难以给出一个清晰的市场边界。同样，互联网行业的竞争行为也难以给出一个清楚的界定。另外，互联网行业中的竞争和传统市场中的价格竞争相比，也更具有隐蔽性和复杂性。这使得各种保护手段层出不穷，保护的方式也更加多样。互联网行业中的限制交易、拒绝交易、竞价排名、点击欺诈等行为都比比传统市场中要更难认定。而与之相关的经营者和消费者所受到的损失也是并不明显或现阶段难以衡量的。所以，互联网行业本身的诸多行业惯例也充当了保护措施的技术手段。那么，对于这些竞争行为和技术手段，法律都需要在具体个案中加以认定，并为整个互联网行业监管提供参考意见。
（三）网站内容的安全性和网络信息的流动性
在互联网行业中，用户的访问点击是衡量一个门户网站是否成功的重要标志。一方面，网站所有者上传自己独创、归纳、收集、整合的信息资源来吸引用户的访问点击并以此来扩大自己的市场。另外一方面，由于互联网内的信息资源是自由流通的，其它相关网站很容易对其内容进行复制并提供链接，也可能导致网站系统难以承受大量的用户人群造成严重后果。在网络领域，公民自由获取信息的利益与作者对作品广泛传播的利益在某些情况下会形成统一，但与作品传播者有偿传播的利益却背道而驰。 所以出于基于网站安全考虑所采取的技术措施使得网站的所有者决定了网站内容信息的流动程度，在一定程度上是需要进行合理考量，来平衡作品传播者与作者、公众及搜索引擎商的利益冲突。
这些互联网竞争中的新常态使得法院往往依据行业惯例或者商业道德来判断行为的合理性。在百度诉奇虎360一案中，争议的焦点就在于奇虎公司违反爬虫协议的行为是否违反法律法规的相关规定。由于本案的行为明显不属于《反不正当竞争法》所规定的各类具体不正当竞争行为，所以要使得《反不正当竞争法》在本案中得以适用，只能根据其一般条款来进行考量，判断奇虎公司违反爬虫协议的抓取行为是否违反公认的商业道德，进而被认定为不正当竞争行为。那么，我们首先需要对爬虫协议本身具有较为清晰的认识，并对其法律性质进行认定和了解。二、爬虫协议的法律认定
爬虫协议具体是指互联网站的所有者根据该协议可以设置一个禁止其它搜索引擎对本网站信息抓取的一个指令。目前为止，在认定爬虫行为的法律效力上还存在着一些争议，在不同国家的案件中也有着不同的判决。在eBay案 中，法院是以网站可能遭受的超负荷损害的危险为依据责令禁止搜索。在Field诉Google一案 中，法院根据原告明知爬虫协议可以有效控制访问为依据推定原告进行了默示许可，但这种推定并不是法院本身赋予了爬虫协议法律效力，而只是在该案中作为证明默示许可的一种证据。更为重要的是，在比利时Copiepress、SAJ、Assucopie三大机构诉谷歌一案 ，法院以版权的排他性保护为依据认为爬虫协议不代表默示许可。根据对这三个案件进行的梳理，笔者认为在爬虫协议的法律适用中应当包含以下几个方面：
一是爬虫协议构成网络环境下版权人可以采取有效控制访问的技术措施，或者是对搜索引擎的告知行为。 由于该协议不是一个强制性标准，也不具有强制执行力，所以违反爬虫协议而强行提供被拒绝网页内容的行为只能在商业道德的范畴内进行评价。
二是爬虫协议本身不具有法律效力，但是法院可以将其作为一种证据来认定相关的行为。在双方都明知的情况下，网站内容提供者未设置爬虫协议的行为可能会被推定为默示许可，搜索引擎商违反爬虫协议的行为可能会被认定为恶意行为。
三是门户网站对于爬虫协议的设置应当合理的标准进行，重点应该放在网站的流量平衡和系统压力之上。因为爬虫抓取本身并不会给网站带来危害，反而用户对检索到网站内容越多，也将会为网站带来更多的用户。因此，在对适度的搜索引擎商开放以及更全面地被搜索引擎检索存在着平衡。
四是具有市场支配地位的互联网信息提供者设置爬虫协议在一定程度上不利于互联网信息的自由流动，也可能会导致其它依赖信息提供的竞争者难以进入相关市场。所以不合理的爬虫协议在一定程度上也会构成垄断行为。三、爬虫协议对竞争关系的影响
（一）爬虫协议在不正当竞争行为中的认定
在民商事关系中，“法无明文禁止即允许”是私法领域内的一条重要的原则。而在百度诉奇虎360一案中，原告主张被告的不正当竞争行为正是依据《反不正当竞争法》第2条第1款中关于商业道德的规定。所以在缺乏法律对具体行为规定下，爬虫协议能否通过法律对于商业道德的解释来适用反不正当竞争法应该是我们讨论的重点。
通常，不正当竞争行为是指以违背诚实信用和公平竞争商业惯例的手段从事市场交易的行为。《保护工业产权巴黎公约》第10条第2款规定，凡在工商业活动中违反诚实的习惯做法的竞争行为，构成不正当竞争行为。在对该条款的解释中，在认定某一行为是否构成不正当竞争行为，不限于在请求被保护的成员国所存在的诚实的习惯做法，而且也必须考虑国际贸易中形成的诚实的习惯的做法。 在这一条款和其司法解释中，认为一个国家公认的行业惯例构成该国所习惯的商业道德。当然，这种行业惯例所适用为商业道德的前提在于其是在从事市场竞争所必须遵守的最近的行为规范。当然，如果仅仅是以行业惯例为理由，判断具体行为是否违反了《不正当竞争法》也并不合理，法律对商业道德的认定也应当有所限制。根据最高人民法院在审理“海带配额”一案中指出反不正当竞争法意义上的诚实信用更多的是根据特定商业领域和个案情形来判断是否属于公认的商业道德。
根据以上资料，我们可以发现不能笼统地将行业惯例视为商业道德，因为市场上存在很多并不“良好”的行业规则。2005年欧盟《不正当商业行为指令》规定的就是需要考虑“良好的商业惯例。 同样，巴黎公约和世界知識产权组织的《反不正当竞争示范法》也将不正当竞争界定为违反“诚实”惯例的行为。所以，笔者认为要使得行业惯例与公认的商业道德相契合，应当包含以下几个方面：
1. 行业惯例应当首先符合商业道德的标准，属于特定行业领域普遍认知和接受的标准，具有一般性和公认性。当然，这种一般和公认的程度应当以该行业从业人员的普遍注意力为标准。
2. 行业惯例并不是认定不正当竞争行为的决定性标准，最终应该还是最后落实到反不正当竞争法上进行判断。正如同德国联邦最高法院在处理FSA诉Kodex一案中指出：“违反行业自律规则可以作为认定不正当竞争行为的证据，但不具有决定意义，而应该是作为法律的反不正当竞争法来判断是否构成不正当行为” 。
3.判断是否属于一个良好的行业惯例应当从其处理不同利益诉求的冲突中入手。反不正当竞争法保护的是竞争者、消费者以及社会公益，竞争行为正当性的一个重要的标准就是行为本身是否符合反不正当竞争法所保护的利益。社会公共利益原则是竞争法的一项重要原则，要求参与竞争活动的个人、法人和其他组织不得违反社会公共利益。在立法目的上，公共利益原则意味着竞争法不仅仅处理竞争者之间的关系，维护竞争者的正当权益，还应该考虑广泛的利益关系，特别是保护消费者的利益。 所以，在确定行业惯例是否具有正当性的问题上，判断行业惯例是否恰当的处理好竞争主体间的利益平衡是最重要的标准。
（二）爬虫协议在垄断行为中的认定
相关市场的界定是反垄断法执行的前提条件，并且直接影响到案件的最终结果。在反垄断法中，判断一个具体行为是否构成垄断行为应当首先判断其是否具有市场支配地位。因此，对于经营者滥用市场支配地位行为的规制，应当首先明确经营者竞争的市场范围，进行相关市场的界定。
根据《反垄断法》第12条和国务院反垄断委员会2009年发布的《关于相关市场界定的指南》的规定，“相关市场是指经营者在一定时期内就特定商品或者服务（以下统称商品）进行竞争的商品范围和地域范围”。互联网产业根据其行业特点大致可以分为两种类型：一种是互联网技术发展所产生的新兴行业，例如搜索引擎、即时通讯等；另一种就是基于互联网技术所拓展销售渠道的传统商品，例如电子商务。 本文所研究的对象爬虫协议主要应用于搜索引擎的领域之中，属于互联网科技发展所带来的信息市场。由于，互联网经济具有较强的网络效应 ，而网络效应易导致正反馈的发生。当用户对某类网站受欢迎的程度超过了一定程度，将会形成一定的粘着效应，使得该网站的浏览人群进一步扩大并独占市场。这使得一旦该网站进行排他性的设置，禁止相关搜索引擎提供链接访问，将可能迅速的减少使用该搜索引擎的用户，从而不利于市场的竞争。
根据《反垄断法》第17条第2款的规定，“本法所称市场支配地位，是指经营者在相关市场内具有能够控制商品价格、数量或者其他交易条件，或者能够阻碍、影响其他经营者进入相关市场能力的市场地位”。在互联网市场中，大型的门户网站往往占据了大量的信息资讯，并依托客户端等产品集聚了大量的用户群体，导致在一定程度上影响了搜索引擎市场的准入。同时，这些企业也往往自身研发搜索引擎产品并投入使用，所以不能简简单单把互联网服务商和搜索引擎商的相关市场给简单割裂开来。在《反垄断法》第17条中规定的几类滥用市场支配行为中，“拒绝交易”与爬虫协议的适用中密切相关，因此笔者重点讨论这一行为。
拒绝交易又称抵制行为，即在没有正当理由的情况下拒绝出售商品或提供服务。 根据合同自由的原则，处于市场经济环境下的企业当然有权挑选与自己进行交易的对象。但是，具有市场支配地位的企业由于在一定程度上可以影响相关市场内商品的价格、数量等其它交易条件，使得它的决定将会对相关市场内的竞争状态产生至关重要的作用。所以，法律赋予了具有市场支配地位的企业更为特殊的责任。在实践中，具有市场支配地位的企业如果凭借自己垄断经营的地位在未经消费者同意并且擅自中断自己服务的情况下，将会损害其它经营者的利益和市场竞争秩序，而且支配企业也可能将支配地位扩展到另一市场，巩固和加强自己的垄断地位。
一般而言，只有当市场主体滥用合同自由原则对竞争造成的损害超过合同自由本身受到限制的损害的程度时，法律才会对合同自由原则加以一定的限制。在判断这一程度时，通常用“合理原则”来考察拒绝交易行为，即只有当拒绝交易造成的损害超过对市场的有利影响，反垄断法才会对此加以限制。 在爬虫协议的相关案例中，一些具有市场支配地位的企业在爬虫协议中拒绝相关搜索引擎的抓取，例如百度这一类网站内容数量和提供的总体服务可能超过我国所占比例的15%，如果百度拒绝某一搜索引擎进行访问，意味着相当于中国互联网内容的15%为搜索盲区。如果百度拒绝访问的这些内容在短期内无法寻找到替代性的商品，无疑会对市场竞争造成严重的打击。同时，百度设置各个环节的robot文件明确排除360搜索，意味着百度明显在打击竞争对手，消灭竞争对手。
其次，在衡量拒绝理由的合理性时，除了需要分析支配企业的情况，也应当判断被许可方自身的情况，对于后者的认定更应该从企业本身的信誉和业绩入手。同样在该案中，百度禁止360的抓取数量相较于百度每天访问量无疑也是很小的，不会对其服务器本身带来巨大的影响和故障。而且这些被禁止的内容同样也是在互联网上公开发表的内容，其它任何搜索引擎都可以公开的访问，不涉及任何保密或隐私的信息。所以，360对百度网站访问抓取并不会对网站造成严重的影响，还可以为其带来客观的访问量。四、结语
互联网行业的新常态以及新型的竞争对我国竞争法的适用提出了新的挑战，在法律对具体行为正式作出回应之前，行业惯例充当了一定的作用，并依托法律的一般条款进行认定。当然，行业惯例可以与法律一样作为平衡不同利益诉求的工具，但也只能够作为一种参考性的标准，在具体的判决中，还是应当引入到法律中，根据立法目的认定行业惯例是否为一个良好的行业惯例。此外，一个开放、自由、流通的信息网络需要信息交流的便捷和畅通，一个创新、高速、专业的互联网经济也更需要依托对科技的投入和知识产权的保护。所以，在互联网新型竞争关系下，合理平衡各方利益的行业惯例才可以被称为良好的行业惯例。
注释：
中华人民共和国工业和信息化部发布的《我国互联网市场竞争现状与问题分析》.http：//www.miit.gov.cn/n11293472/n11293832/n15214847/n15218234/15475341.html.
王先林主编.中国反垄断法实施热点问题研究.法律出版社.2011.334，324.
张文显主编.法理学.法律出版社.2007.300.
范长军.行业惯例与不正当竞争.法学家.2015（5）.
eBay， Inc.v.Biddcr's Ed}；c，Inc.，100 F.Supp.2d 1058（N.D.Ca1.2000）.
张金平.有关爬虫协议的国外案例评析.电子知識产权.2012（12）.
此案一审判决书英文版.http：//www.groklaw.nct/articlcbasic.php？story=20070726 152837334.
杨华权、曲三强.论爬虫协议的法律性质.法律适用.2013（4）.
博登浩森著.段瑞林、汤宗舜译.保护工业产权巴黎公约指南（附英文译本）.中国人民大学出版社.2003.97.
张平.违反爬虫协议能否适用反不正当竞争法一般条款.人民法院报.2013年6月5日，第7版.
范长军.行业惯例与不正当竞争行为.法学家.2015（5）.86.
德国联邦最高法院.工业产权与著作权保护杂志.2011年合刊.431.
种明钊主编.竞争法学.法律出版社.2008.19.
网络效应是指消费者使用某产品的效用依赖于适用同类或兼容产品的其他消费者数量
种明钊主编.竞争法.法律出版社.2008.287.
杨华权.论爬虫协议对互联网竞争关系的影响.知识产权.2014（1）.
