都说金三银四,最近打算换工作的苏大强(蹭热点式化名)在各大招聘平台挂上了自己的简历。谁知道刚过两天就接到了十八个骚扰电话,其中只有两个来自猎头。
在接起第十八个贷款推广骚扰电话后,苏大强崩溃了,谁!又是谁TM泄露了我的信息,没钱不贷款还不起还不行吗!
你有没有想过,数据泄露可能源于那份简历。
贴条巧达
先说一起新闻。不久前网上有爆料称简历大数据公司北京巧达科技被查封,全员被抓,随后有部分员工被放出。
3月24日,三言财经也实地走访了巧达位于中关村办公室,发现大门现已被封条封住,办公室内空无一人。该封条由中钢国际广场保安部张贴,时间为2019年3月14日。
于是有人好奇,这家公司做了啥突然被封?
根据公开信息,巧达科技号称拥有中国最大的简历数据库,其主要数据来源是“乔大招”。乔大招旗下则拥有“爱伙伴”、“简历时光机”等在内10多款招聘相关产品。
“乔大招”可以做到通过一款工具汇总多家招聘网站账号信息,企业客户可以统一发布职位、收取简历;其次,该工具可以抓取简历的修改历史,可以查看到对应简历被查阅次数、修改记录等信息;不仅如此,还可以将简历上传至平台,供其他企业、猎头使用。
爱伙伴是一款提供“员工离职预测”的工具软件,该软件可以检测到员工投递简历、员工简历更新情况以及员工简历被查看次数等信息。企业用户购买爱伙伴后,即可查看其收集汇总的简历数据,依此判断公司员工的离职倾向。
简单说,这个一款给老板打小报告的软件,哪个员工有离职的想法都可能被提前知道。
截至2015年6月30日,在乔大招的数据库中,以人为计算,收入自然人的简历超过1.6亿人。以版本来计算,简历超过18亿个版本,超过25亿行为轨迹。说不准你精心准备的简历就在其中!
这些数据都被这家公司用于牟利,甚至涉及违规收集个人信息。封条一帖,巧达凉凉。
不过,一家“巧达”倒下了,还有其他“巧达”站起来,打着智能招聘SaaS系统的简历公司披着伪善外衣,暗地做着吸血勾当。
智能招聘SaaS系统
想要窃取招聘网站的简历数据有什么招数?
其中,爬虫技术运用最为广泛,因为不需要网站有任何漏洞,只需要模拟正常用户访问操作,就可以抓取。
瑞数信息CSO马蔚彦告诉雷锋网,一般黑产会通过脚本、自动化框架、手机等工具去访问招聘网站平台,通过分析招聘网站的接口,这些工具可以自动的进行搜索关键字输入、翻页,对招聘网站内容进行抓取,然后通过脚本程序,将抓取到的原始数据进行格式化处理,转换成可阅读的简历。后期爬虫还可以同过定时机制,来进行简历数据的定时获取更新。
这种爬虫技术与爬各大网站低价机票本质是一个套路,不同点在于:机票是全公开的,谁都可以看。但部分简历数据需要登录或者付费后查看的,这时候就需要爬虫组织囤积大量账号进行简历抓取。
这些账号从何而来?于是打着智能招聘SaaS系统的简历公司出现了,声称该SaaS产品可以“帮助一个HR管理多个平台上发布的职位和收到的简历”,只需要登录一个平台就能管理所有渠道的简历信息。
购买该产品后,HR手中各大招聘平台的付费账号都被简历公司所掌握。
(注:目前很多招聘网站的商业模式都包括付费下载简历进行收费,花几万元可以下载几千份简历,可以查看该招聘网站的无限量个人简历。)
雷锋网编辑询问了某做爬虫技术的好友,对方称,通过爬虫技术抓简历一般要解决四个问题:
而一套卖给HR的智能招聘SaaS系统就能解决前三个问题,把非法的变成合法的,破解账户变成买卖服务。这操作,这脑洞,编辑叹为观止。
有了账号,之后的操作就更简单了。利用HR的账号托管,SaaS方可以去爬取各大招聘平台的简历信息,并做到实时翻新。
马蔚彦表示这种实时可以分为实时和准实时。
这时候,你的简历还只是你的吗?
挂钩黑产
潘多拉魔盒未打开时一片平静,放在黑盒中的简历数据也是一样。
你的简历上都有什么信息?生日、电话、地址、身份证信息、工作经历……这些详细得不能再详细得数据被分销出去,可能卖给大数据分析公司,卖给猎头,卖给贷款公司、卖给诈骗组织,这些都是黑产中的某一环节。
而信息裸奔的你可能接到N个骚扰电话却还不知道问题出自简历。
即使没有这些打着智能招聘SaaS名义的公司,你的简历就安全吗?
不一定,邦盛科技产品总监焦林俊向雷锋网透露,某国内top级别的招聘平台曾表示,有些大商户(付费大企业)利用在招聘平台的账号密码,登录后台通过爬虫刷新数据,爬取简历。
之后将爬取下来的简历放进自己的数据库,在合适时机将这些简历数据出售给需要的机构,相当于二道贩子。
至于是哪些公司,各位可以自由猜测。
反爬颇难
招聘公司面对各种爬虫技术是否有反爬技术呢?
焦林俊也表示,招聘网站确有采取一些反爬虫技术,比如前端进行加密,后端加入了大数据分析,机器学习等技术。但对大商户爬取数据的行为招聘网站也有些头疼,迫于营收压力,他们不会采取直接拦截的措施。而且先通过后台数据分析谁爬取了数据,再针对不同对象采取相应的反爬措施。
目前来说,爬虫技术仍处于灰色地带,对于利用爬虫技术获取公开数据这一行为的正误,在认知上也各有不同。目前更多的还是在道德层面,而非法律,比如:遵循robots,尽量放慢爬取速度,从而减少对提供数据查询网站的压力,不要造成拒绝服务,不要公开爬虫程序源码,不要分享爬虫数据等等。
(注:robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。)
但这些在马蔚彦看来,缺乏法律保障的约束力非常弱。
随着涉及个人、企业的数据资源越来越多,提供这些数据的平台、系统也越来越多,非常需要通过建立正确的爬虫观念、提升反爬技术手段、建立合理的爬虫相关法律规定等都多方面的综合努力,才能更好地提供对于恶意爬虫的防御,保护企业和客户数据资源。
对于终端用户来说,除了接到手软的骚扰电话,似乎是完全无感知的。
焦林俊表示,用户应该避免在不安全的招聘网站发布简历,遇到打电话称自己是猎头需要提供本人完整信息的说法也不要轻信。而对于招聘网站,应该从业务方面进行规范,搭建自己反爬虫平台,利用前沿的反爬虫技术,如大数据分析,根据访问行为提取特征,通过设备指纹,人机识别,环境检测等技术识别出人还是机器。这样即可以去掉验证码等降低用户体验的操作,也避免了用户有价值的信息被爬取。
类型:办公商务 大小:23.75 MB
下载类型:系统工具 大小:101.57M
下载类型:办公商务 大小:101.57M
下载