让你眼前一亮长见识的反爬虫策略

大家好,我是你们的章鱼猫。

今天要给大家介绍一个非常牛逼的爬虫和反爬虫的策略,看完觉得让我眼前一亮,同时不得不感叹着都是咋想出来的。小编本人因为之前从事过爬虫和反爬虫相关的工作,所以对这一行也多少有些了解。各个互联网公司其实都少不了有这样的一支团队,尤其是针对竞对,能够及时的了解竞对的情况能够及时的做出相应的调整。而今天推荐的,多少还是有点让小编眼前一亮的,他就是斗鱼关注人数爬取 ── 通过字体来反爬虫。

有人肯定会问,字体怎么用来做反爬虫呀?

我们来看看作者是怎么解释的。

什么是字体反爬?也就是通过自定义字体来自定义字符与渲染图形的映射。比如,字符 1 实际渲染的是 9,那么如果 HTML 中的数字是 111,实际显示就是 999。

在这种技术下,传统的通过解析 HTML 文档获取数据的方式就失效了,因为获取到的数据并不是真实数据。

想明白了是怎么回事了么?如果没有,可能你需要再仔细琢磨一下了。

作者的大概思路是:结合 OCR 来反向解析字体和实际数字的真实映射关系,从而爬取到想要的内容。详细步骤如下:

image-20200802230619104

作者非常的细心通过博客记录了整个心路历程:https://cjting.me/2020/07/01/douyu-crawler-and-font-anti-crawling/ ,简直就像是看到了高手在过招。

更多项目代码详情请查看如下链接。同时欢迎大家留言讨论你都见过哪些牛逼的爬虫或者反爬虫策略?

开源项目地址:https://github.com/cj1128/douyu-crawler-demo


更多精彩请扫码关注如下公众号。

Written on August 2, 2020