标题: 【深度解析】自然搜索作弊稽查体系标准 [打印本页]

作者: 老单    时间: 2015-7-16 10:12
标题: 【深度解析】自然搜索作弊稽查体系标准

   大家好,我是老单,最近有点忙,虽然由于团队的内部事务太多,现在已经很少写文章了,但是每天还是有很多人从全国各地赶来,向我讨教搜索玩法,首先很感谢大家对我的厚爱,其实老单并不是小二,只是一个搜索引擎研究的爱好者。


  大多数时候根本用不到悟性,成功只是做了自己该做的事情!

       记得第一次参加全省数学奥林匹克竞赛的时候,自我感觉我是所有选手中最笨的那个,老师说我很木讷,也就是比较呆,后来我夺得了第二名,其实我也感觉很诧异,一直以来我都感觉自己是个笨鸟,笨鸟就要先飞,所以什么事情都比别人多用心一点,但是结果往往因为态度端正了一点,努力多了一点,结局就好那么一点点,直到最后我才发现,我只是做了自己该做的事,但是每次做的过程中都感觉自己很多事情都没有完善,所以很多地方都不满意,或许是对自己的要求太高,极度变态的完美主义作祟罢了。


    好了,今天想跟大家分享的主题是反作弊模型的工作原理和判定顺序,了解规则不是为了作弊,是为了更好的让引擎服务于你,而不是制约你!

                                         (注意转帖请着名出处,讲课的时候也请不要读我的帖子)

注意:这是一篇比较烧脑的技术型文章,之前发表过,看不懂的人太多,所以这次比较白话一点

一丶 机审的两大系统:

   为了节省人力,淘宝的稽查系统大部分工作由电脑完成,就是机审。

   主判系统和旁判系统,

   主判系统:每月不定期大规模排查2-3次,所以每次偶尔我们会听到又有一批刷单的商家被抓了,比如5月20号那次,很多商家都收到了虚假交易炒作的站内信,其实这个就是当时主判系统排查的过程中对考核标准做了调整,导致大规模误判。此次事件也同样正式了主判系统的威力,当多维度不达标,根本不通过人工审核,系统直接判定。

   旁判系统:是常规型排查,我们可以把主判看做不定期大规模突击检查,旁判看做小规模定期检查,一般来讲,旁判系统有两个主要职责,一个是找出多维度排查中数据异常的单品,另一个是对单维度数据异常的宝贝进行重点监控。何为单维度数据异常和多维度数据异常,下面会重点讲解。

   二丶机审的判定顺序

理论上而言,淘宝的每一笔完结订单都会被动接受一次完成的机审流程,注意是完成订单,如果你刷单未付款,或者付款未发货,或者发货未确定,都不算一次完整交易,所以,当你评价没产生的时候,是不会被判定刷单的,而且即使评价产生,你的订单没超过索引数据库的维度范围,也不会被机审判定。

机审的判定顺序为:

判断点击过滤(pmcots) >判断交易(ctu)>检索订单数据(数据检索>结果判定

简单的说,就是先根据电脑本身的物理信息判断是否刷流量或者刷单,再根据各个维度,判断订单是否在正常范围下去判定是否有刷单嫌疑。

三丶判定标准

我们重点介绍下机审的各个判定标准:

CTU(支付宝智能实时风险监控系统)

pmcots系统(防恶意点击系统)

    特征索引数据库

    数据检索系统

CTU:该系统是支付宝风险管理的一个核心系统,能通过数据分析丶数据挖掘进行规则自学习,自动更新完善风险监控策略。CTU系统基于用户行为来判断风险等级,集风险分析丶预警丶控制为一体。并配备风险稽核专家小组进行风险稽查及处置。这个系统可以实现7*24小时全天候风险监控,监控内容包括:账户风险监控丶交易风险监控丶反洗钱监控丶反盗卡监控丶反套现监控丶商户违规监控。

  其中与我们最相关的就是账户风险控制和违规控制了,大家一定会问,怎么去规避这个系统呢?账户风险是购买ID,不可控因素过多,透露一点不要去加载他的主要可执行控件EXE,系统通过EXE获取你的底层信息那时轻而易举,什么是EXE?如果你在大量炒作过程经历了这个CTU,数据那是绝对有问题的。有朋友会说不安装控件有办法支付宝付款吗?答案是有的,只加载DLL吧。

pmcots系统:防恶意点击系统,目前也主要用于直通车的防作弊稽查体系,主要考核的是流量环节,其中包网络技术识别有:

1丶IP防止作弊。

2丶Netclean防止作弊,当你访问过一个页面时,Netclean会记录,当你下一次访问该页面时,会提交一个相同COOKIES参数,可以判断重复的参数。这个就是为什么刷单要清理缓存的原因了。

3丶点击率,这个大家也懂,重要是点击数据被收入了特征索引库。而且很多刷单并非出现在小号问题,而是出现在流量问题,比如说点击率过高,流量来源集中在某个关键词,这个特种索引数据库会根据这些问题找到数据异常。

4丶来源统计,在生意参谋的交易分析,商品分析,单品分析中就可以找到,系统会根据流量来源和流量构成做对比分析。

6丶唯一参数,这个需要调用很多参数,例如大家知道的MAC,硬盘序列号,浏览器版本,系统UI等。有一些唯一参数在WEB上很难做到获取,不是技术实现不了,因为这样太危险了,HTTP的协议权限要求太高,会造成整个PC数据暴露在外,就是有些朋友说的浏览个淘宝网页就能把我的系统安装时间,浏览器版本号什么读取出来?其实不是,是调用了系统的数据,如前面的CTU,知道关联什么了吧?

7丶点击时间时间顺差,打开一个页面,二次点击是否为瞬间?因为每个页面都由印象转变为关注,再转变成点击行动,当你打开一个前端页面,一定时间参数内立即关闭,也可以判断为无效点击。没错,淘宝就是根据这个特征识别是否为机器人或者故意点击的。至于菜鸟卖家,怎么检验?这个我们可以才量子记录浏览深度和直通车过滤里面检验数据。也就是大家互刷为什么要深度浏览这样了。这个大家都做淘宝大家都懂。

8丶鼠标值,显示屏幕上的每个点都具有一个坐标值,当你在某个点按下鼠标时,都会有一个坐标值,当采用机器人点击时,为同一个鼠标值,可以只记一次点击。每次点击都会产生鼠标的KEYUP 和KEYDOWN的行为,如果未能捕获到这个值,可能是模拟数据提交。又有菜鸟卖家会问?啥?机器人点淘宝,不会吧??为避免误解,科普一下,我们把系统或者软件也可以比喻成机器人。例如大家知道的刷信誉软件。

特征索引数据库:收集到的信息进行整理丶分类丶索引以产生索引库。按照一定方式有序编排起来,以供检索的数据库。我们可以叫做此系统是不断收集和更新数据的学习型病毒积累系统,里面包含了大量数据,经过大量订单交易订单步骤轨迹数据的收集,分析比对,集合信息,就像我们日常配货一样先把货集合好,建立多个特征信息库。就是我们经常听到的数据纬度,里面有多少纬度就是商业机密,然后交给下面说的检索系统调用此数据库的数据纬度。我们每生成一个订单,就会生成各种数据进入这个系统供检索和分析。


数据检索系:引数据库或存储中查找和选取所需数据的过程。淘宝有千千万万个订单,每一个订单号都需要经过这个系统分析比对,其中调用了哪些数据我们估计在运营或者炒作过程中也得出了一些经验,没错,罪魁祸首就是他读取了你能想到的一些信息,我在这里举几个例子开发模型,大家可以举一反三:

1丶淘宝静默转化数据纬度比对

旺旺在线聊天:如系统设定无聊天为w ,手机旺旺为WW,旺信为WWW,网页旺旺为WWWW 检索系统则调用特征索引数据库数据分析交易数据的其中一个纬度比对:


例女装类目交易订单中此纬度正常百分比【特征索引数据库数据】:

WW>15%

www>0.15%

wwww>2%


淘宝商品ID123456  交易订单1丶2丶3丶4丶5-100个订单【我们知道销量数100个订单中】ww<15% 纬度异常,判定降权。反之亦然。   


2丶购买旺旺信誉度纬度比对

设置购买旺旺信誉度0=w 1心=ww 2心=www。。。。如此类推

纬度判定指标为


订单中此纬度正常百分比【特征索引数据库数据】:

w<60%

ww<40%

www<30

淘宝商品ID123456  交易订单1丶2丶3丶4丶5-100个订单【我们知道销量数100个订单中】ww>60% 纬度异常,判定降权。反之亦然。


以上纬度为虚拟数据,别对号入座,是为举例说明,大家经过各种降权苦逼后应该都知道很多纬度,这个我们可以后期在探讨再分享。

四丶人工审核

   前面讲的都是机审原则,当系统找出大量异常数据和异常订单都,对很多难以直接判断的订单进行人工排查,也就是最终判断:判定为单维度异常和多维度异常。

  单一纬度异常:就是判定疑似虚假交易,可申诉,申诉后进入人工判定(淘宝为了节省人力,你不申诉就不人工了,默认系统判定)。

   多个纬度异常:就是虚假交易,还是为了节省人力资源,自动关闭申诉接口。就是大家听到客服说的不允许申诉了。如果你恶意申诉,后果严重哦。

   一般被判定为降权,收到系统的后台提醒订时,一般会有4次机会,两次订单申诉,两次订单清洗,但是如果大家没有使用订单申诉,系统自动默认放弃,就只剩下两次清洗的权限。

五丶常见问题

1丶为什么通过支付宝返款的订单会被系统判定为虚假交易?

   通过支付宝账户关联判定,支付宝系统在安全方面的银行交易系统利用SSH框架做的https+数字证书,这个只记录硬件和加密数据传输,不存在账户关联,至少系统不会去检测,但是进入人工审核后,刷单返款,用其他支付宝返款之类,都会进入到稽查分为之列。

2丶为什么虚假快递单号会被判定为虚假交易?

淘宝其实有两个快递公司接口系统,一个是客户端物流显示系统,就是我们看到的前端物流信息,如果进入人工判定,还有一个是物流公司开放给淘宝的一个内部API接口,此物流信息和物流网点的内部系统显示的物流信息一致,比客户端的更及时,更详细。这个系统虽然把物流系统作了一个纬度判定,但是因为在技术上的原因,并不能以匹配物流指标的字符串是否相符合为系统自检测判定指标,因为访问量大,需要匹配的字符串太多,数据运算压力大。但是重复的物流单号和时间匹配是有存在的,淘宝今年更新了前端拦截技术,把重复使用过的物流单号拦截在前端提示,可是由于数据库的更新和传输延迟,有一定比例的拦截失败,到了物流判定,一般是人工检测是否恶意使用虚假单号了。

  关于申诉,订单申诉的都是随机抽取,可能其中只有一个订单进入了判定异常,也可能这100单全是刷单,但是只抽取了其中的5个订单,大家不要纠结为什么是这5个。


3丶为什么很多人说刷一个新单品,很快就降权了,而同样方式刷的一个热卖单品,却不会降权

   这就是热卖单品ID没有超过判定纬度的警戒值,没达到百分比,所以没进入判定。而新品交易订单量小,流量转化比一下子飙升,异常百分比一下就体现出来了。系统如果判定成立,是宁可杀错一千,不放一个。系统没人情的哦,因此,有些导致错误判定就有了申诉接口,如果这样,误判订单有点多,有意无意申诉的也有点多,而处理的人手不够多,所以系统只对那些违规严重的进行处理,也是很多小二警告,刷单不能太明显,太严重

4丶为什么今年刷单不能做了?

  因为对方登录的ID前面导致的多订单降权无法申诉(多原因),因此硬件信息被系统提名为重点检测,也就是小黑号,在搜索引擎中,有几个概念叫做广度优先搜索,深度优先搜索,先进后出搜索,其实判定索引就更新了这个技术,因此这个PC和此旺旺小号ID生成的任意信息(包括COOKIE,客户端和控件获取的其他信息)都将优先进入判定分析,系统自动把此订单维度指标上升百分比(重点分析)。而且今年的小号打击力度很大,职业刷手的小号中1000个就有800个被封掉了,主要是根据索引数据库抓爬小号信息,另外200个即使没被抓也会被重点监控,就是系统会提升订单监控百分比值。



作者: 无伤风雅.    时间: 2015-7-16 10:16
我只看看不说话。。。
作者: 与君情长    时间: 2015-7-16 12:43
我回帖楼主给加积分吗?
作者: 难免任性    时间: 2015-7-17 17:19
楼主内心很强大!
作者: 嚣张跋扈    时间: 2015-7-20 10:20
以后就跟楼主混了!
作者: 心盗i    时间: 2015-7-20 10:52
大神就是大神,这么经典!
作者: 想你的心事    时间: 2015-7-21 19:20
什么狗屁帖子啊,楼主的语文是苍老师教的吗?
作者: 怪时光匆忙    时间: 2015-7-26 12:14
信楼主,得永生!
作者: 心冷致命°    时间: 2015-7-26 22:11
投楼主一票,不用谢哦!
作者: 夹谷楚云    时间: 2015-7-28 09:34
太高深了,理解力不够用了!
作者: 麻韫玉    时间: 2015-7-31 04:44
楼主是一个神奇的青年!
作者: 不算拥有    时间: 2015-8-4 07:51
宇宙第一贴诞生了!
作者: 节操榨汁机∑    时间: 2015-8-10 12:03
世界末日我都挺过去了,看到楼主我才知道为什么上帝留我到现在!
作者: 赐你新生    时间: 2015-8-13 22:57
不错哦,楼主这是要火的节奏啊!
作者: 嘚啵嘚啵    时间: 2015-8-16 18:02
支持一下!
作者: 弃我者是瞎眼者i    时间: 2015-8-24 11:17
我和我的小伙伴都惊呆了!
作者: 宛寄柔    时间: 2015-8-26 14:18
吹牛的人越来越多了!
作者: 贺天元    时间: 2015-8-28 23:45
信楼主,得永生!
作者: 我不够好    时间: 2015-8-29 06:33
楼主很有经验啊!
作者: 拜青枫    时间: 2015-8-29 11:36
这么版块的帖子越来越有深度了!
作者: 树辰沛    时间: 2015-9-1 18:39
很经典,收藏了!
作者: 怀宛白    时间: 2015-9-3 23:18
信楼主,得永生!
作者: 盛以冬    时间: 2015-9-3 23:54
楼上是GG还是MM啊?
作者: 云烟忆蓝    时间: 2015-9-6 10:32
感谢楼主的推荐!
作者: 西瓜牛魔王    时间: 2015-9-8 01:26
有钱、有房、有车,人人都想!
作者: 青春易逝    时间: 2015-9-9 04:32
东方不败还是灭绝师太啊?
作者: 怀浩丽    时间: 2015-9-11 10:01
楼主说的我也略懂!
作者: 策马走天涯    时间: 2015-9-21 16:31
楼主很有激情啊!
作者: 虚假成瘾    时间: 2015-9-23 05:17
缺乏激情了!
作者: 波凡雁    时间: 2015-9-23 18:27
一口气看完了,我要下去回味回味了!
作者: 闵哲妍    时间: 2015-9-25 11:05
记得吃药!
作者: 茂觅翠    时间: 2015-10-18 01:41
希望论坛越办越好!
作者: 开启人生路    时间: 2015-10-23 06:01
楼上的忘记吃药了!
作者: 奋斗呐    时间: 2015-10-30 20:51
不是惊喜,是惊吓!
作者: 尘埃之里    时间: 2015-11-2 08:16
很多天不上线,一上线就看到这么给力的帖子!
作者: 吾半芹    时间: 2015-11-2 09:35
楼主好聪明啊!
作者: 我命由我不由天    时间: 2015-11-4 06:45
希望论坛越办越好!
作者: 森林如心    时间: 2015-11-9 12:40
怪事年年有,今年特别多!
作者: 相伴到老    时间: 2015-11-15 04:56
对牛弹琴的人越来越多了!
作者: 大胆的往前走    时间: 2015-11-21 04:29
写得实在太好了,我唯一能做的就是默默顶贴!
作者: 爱过那张脸    时间: 2015-11-22 13:00
白富美?高富帅?
作者: 灵魂傀儡    时间: 2015-11-24 20:02
回帖也有有水平的!
作者: 伦兴运    时间: 2015-12-10 12:19
十分赞同楼主!
作者: 一个人也能坚强i    时间: 2015-12-26 19:57
不灌水就活不下去了啊!
作者: 可梦秋    时间: 2016-1-4 18:06
收藏了,怕楼主删了!
作者: 靖俊弼    时间: 2016-1-15 19:47
互相分享,共同进步!
作者: 期待┌;崛起`灬.    时间: 2016-1-18 19:28
论坛的帖子越来越有深度了!
作者: 濯曼蔓    时间: 2016-1-19 08:45
视死如归的架势啊!
作者: 想一次白头到老    时间: 2016-1-30 01:14
顶!顶!顶!
作者: 嗯哼嗯哼蹦擦擦    时间: 2016-2-2 21:02
精华帖的节奏啊!
作者: 原梵清翎    时间: 2016-2-4 13:05
小弟默默的路过贵宝地~~~
作者: 淳于向雪    时间: 2016-2-10 05:06
看了这么多帖子,第一次看到这么经典的!
作者: BudGype    时间: 2016-2-14 22:51
兰州烧饼,鉴定完毕!
作者: 佘平卉    时间: 2016-2-17 18:42
楼主的文笔不错!
作者: 笑我痴情    时间: 2016-2-17 19:27
大神好强大!
作者: 旧情犹深    时间: 2016-2-18 21:51
我对楼主的敬仰犹如滔滔江水绵延不绝!
作者: CarrieRed    时间: 2016-2-19 01:26
收藏了,改天让朋友看看!
作者: gaohuili93    时间: 2016-2-19 05:01
有品位!
作者: 太阳还暖    时间: 2016-2-21 01:21
我只看看不说话。。。
作者: 寂寞先生    时间: 2016-2-21 13:28
记得吃药!
作者: RusselOr    时间: 2016-2-22 06:55
楼上的能详细介绍一下么?
作者: 笑我痴情    时间: 2016-2-24 23:29
今天是个特别的日子,值得纪念!
作者: CarrollTarf    时间: 2016-2-27 18:59
不错,受用了!
作者: 漂流    时间: 2016-2-28 03:06
有钱、有房、有车,人人都想!
作者: 路过我    时间: 2016-3-1 07:23
你觉得该怎么做呢?
作者: anxiaohu    时间: 2016-3-1 09:18
楼上的很有激情啊!
作者: 星星的月亮    时间: 2016-3-1 10:38
好帖子!
作者: GropeN    时间: 2016-3-3 09:38
支持一下!
作者: 何况外人    时间: 2016-3-3 21:56
顶一下,收藏了!
作者: 王展    时间: 2016-3-4 13:56
楼主很有激情啊!
作者: 猫的小巷    时间: 2016-3-4 19:34
对牛弹琴的人越来越多了!
作者: GropeN    时间: 2016-3-5 16:19
论坛的人气越来越旺了!
作者: HubertSob    时间: 2016-3-5 21:35
我和我的小伙伴都惊呆了!
作者: 列酒相伴    时间: 2016-3-5 22:53
楼主很有艺术范!
作者: 翩2尺x12    时间: 2016-3-6 02:41
投楼主一票,不用谢哦!
作者: 王展    时间: 2016-3-6 18:24
终于看完了,很不错!
作者: 没你我一样狠好    时间: 2016-3-8 04:48
很多天不上线,一上线就看到这么给力的帖子!
作者: 太空漫游    时间: 2016-3-8 14:33
不错的帖子,值得收藏!
作者: 忒爱闹    时间: 2016-3-8 22:02
宇宙第一贴诞生了!
作者: 我想笑    时间: 2016-3-9 21:20
雷锋做好事不留名,都写在帖子里!
作者: 枪毙走狗    时间: 2016-3-10 16:46
怪事年年有,今年特别多!
作者: 8888    时间: 2016-3-11 21:41
林子大了,什么鸟都有了啊!
作者: 脑子待机了    时间: 2016-3-11 21:46
大神就是大神,这么经典!
作者: 念情你    时间: 2016-3-12 11:32
强,我和我的小伙伴们都惊呆了!
作者: 你的我的大家的    时间: 2016-3-13 21:29
灌水不是我的目的!
作者: 青柠少年    时间: 2016-3-13 23:00
好好学习楼主的帖子!
作者: AlfredoRug    时间: 2016-3-14 05:29
这么经典的话只有楼主能想到!
作者: CarrollTarf    时间: 2016-3-14 08:30
论坛的人气越来越旺了!
作者: 你的我的大家的    时间: 2016-3-15 08:40
楼上长在线啊?
作者: 风中的雪    时间: 2016-3-15 19:07
楼主练了葵花宝典吧?
作者: CarrieRed    时间: 2016-3-16 00:22
祖国尚未统一,我却天天灌水,好内疚!
作者: 昝香桃    时间: 2016-3-16 00:23
态度决定一切,不错!
作者: 赚钱啦    时间: 2016-3-17 00:50
有用,必须顶顶。。。哈哈哈
作者: 念情你    时间: 2016-3-17 15:20
楼上的这是啥态度呢?
作者: 欢者自欢^    时间: 2016-3-17 15:35
支持一下,下面的保持队形!
作者: 美丽的世界    时间: 2016-3-18 05:10
兰州烧饼,鉴定完毕!
作者: 花凌若别离    时间: 2016-3-18 05:12
兰州烧饼,鉴定完毕!
作者: 你的我的大家的    时间: 2016-3-18 07:52
楼主练了葵花宝典吧?
作者: 太空漫游    时间: 2016-3-19 03:38
楼主会死的很有节奏的!
作者: 己慧秀    时间: 2016-3-21 16:39
论坛人气好旺!




欢迎光临 (http://shuaxinyunagehao.com/) Powered by Discuz! X3.2