也就是说，就算加黑名单了，也可以利用技术绕开协议，强行爬取。

        那些搜索引擎都是正规公司正规网站，都会遵守君子协议。国内正规企业不遵守的案例，也就是360爬取百度百科的内容了。

        盗版网站才不管这些。

        这是非法网站。

        这伙人连法律都不遵守，会遵守君子协议？

        直接绕开协议，强行爬取。就可以很容易地把正版网站上的付费内容，爬取到盗版网站中来。

        现在的问题是，小说网站的技术不够，不能利用技术反爬虫。奢望加入黑名单遵守君子协定是不可能的。

        可是，紫微星有！

        郭鹏飞自信满满的说：“这都是小意思，如果想技术性的反爬虫，咱们这边搞个技术小组，一周就能解决。问题是，有没有这个必要。”

        张一明皱皱眉头，“现在的情况有点复杂。头条文学的小说内容，除了在自家网站上，也会在今日头条的小说频道里出现。这没问题，都是紫微星的集团渠道。可问题是，第三方渠道怎么办？咱们已经运作好了，要把头条文学的小说推广到搜狐读书频道、企鹅读书频道和网易读书频道。”

        郭鹏飞点了点头，“问题就在这，第三方平台不可控。”

        内容未完，下一页继续阅读