第二十三章-薄利多销才是互联网(2/8)
郭鹏飞就给解释了一下。
这其实跟搜索引擎的爬🐜⛝虫技术一样。比如百度和微点合作，屏蔽了所有同行搜索引擎，反对别的搜索引擎抓取百度知道、百度百科、微点百科、微点知道等自家生态内容。
这对别的搜索引擎就是致命打击。
但这里有一个问题。
爬虫协议是一个君子协议。
百度和微点说：“同行们，我🐂☪🂉把你们加黑名单了，不许来爬取我们的内容了。”然后，同行们就遵守约定，就不爬取了。
这是一个承诺屏蔽，而不是技术屏蔽。
也就是说，就算加黑名单了，也可以利用技术🎵🕜绕开协议，强行🌭🂒爬取。
那些搜索引擎都是正规公司正规网站，都会遵守君子协议。国内正规企业不遵守的案🜢例，也就是360爬取百度百科的🙦🌬内容了。
盗版网站才不管这些。
这是非法网站。
这伙人连法律都不遵守，会遵守君子协议？
直接绕开协议，强行爬取。就可以很容易🗛🜒🁩地把正版网站上的🐦🂊付费内容，🙕爬取到盗版网站中来。
现在的问🕦题是，网站的技术不够，不能利用技术反爬虫。奢🐦🂊望加入黑名单遵守君子协定是🂇🌬不可能的。
可是，紫微星有！
这其实跟搜索引擎的爬🐜⛝虫技术一样。比如百度和微点合作，屏蔽了所有同行搜索引擎，反对别的搜索引擎抓取百度知道、百度百科、微点百科、微点知道等自家生态内容。
这对别的搜索引擎就是致命打击。
但这里有一个问题。
爬虫协议是一个君子协议。
百度和微点说：“同行们，我🐂☪🂉把你们加黑名单了，不许来爬取我们的内容了。”然后，同行们就遵守约定，就不爬取了。
这是一个承诺屏蔽，而不是技术屏蔽。
也就是说，就算加黑名单了，也可以利用技术🎵🕜绕开协议，强行🌭🂒爬取。
那些搜索引擎都是正规公司正规网站，都会遵守君子协议。国内正规企业不遵守的案🜢例，也就是360爬取百度百科的🙦🌬内容了。
盗版网站才不管这些。
这是非法网站。
这伙人连法律都不遵守，会遵守君子协议？
直接绕开协议，强行爬取。就可以很容易🗛🜒🁩地把正版网站上的🐦🂊付费内容，🙕爬取到盗版网站中来。
现在的问🕦题是，网站的技术不够，不能利用技术反爬虫。奢🐦🂊望加入黑名单遵守君子协定是🂇🌬不可能的。
可是，紫微星有！