电商运营必备

电商大亨

 找回密码
 立即注册
查看: 26215|回复: 256
打印 上一主题 下一主题

[刷法相关] 比较难懂:淘宝稽核系统之虚假交易统计假设检验原理

  [复制链接]
跳转到指定楼层
楼主
发表于 2015-5-13 11:17:11 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
     前言:看不懂本文的刷单大神一定是伪大神,看得懂得也未必是真刷单大神

    淘宝每天百万级甚至千万级的交易量,不可能靠人工一单一单来排查,肯定是借助系统来排查的,系统就是一套程序,这套程序就是虚假交易判定的数学模型的计算机语言表示。数学模型讲究的是科学合理,要使用这套模型必定模型还得具备可操性。统计学和计量学必定是其借助的数学原理和工具。

      一笔交易不是真实交易就是虚假交易,那么淘宝是如何来判定该笔交易是不是虚假交易呢?为了便于理解淘宝反虚假交易系统的工作原理,我们先介绍一下统计假设检验的基本原理。

      假设检验运用了小概率原理。小概率原理可以归纳为两个方面,一是可以认为小概率事件在一次观察中是不可能出现的;二是如果在一次观察中出现了小概率事件,那么,合理的想法是否定原有事件是小概率的说法。

      所以,在统计学中,假设检验的思想可以这样来描述:一个来自总体的随机样本,如果根据样本计算的某个(或某些)统计量表面在原假设成立的条件下几乎是不可能发生的,就拒绝或否定这个原假设,接受它对立面的一备择假设。反之,如果在原假设成立的条件下,根据样本计算的统计量发生的可能性不是很小的话,那么就不拒绝原假设。

       所以,统计检验得出的结论是一个多大可能的结论,不表示这个结论是百分百的正确或错误。

      一个统计假设检验需要四个步骤:

      第一步:建立假设,确定显着性水平(检验水准)

      第二步:选择合适的检验方法,计算统计量

      第三步:确定拒绝域(或者P值)

      第四步:做出统计结论

      淘宝的反虚假交易系统,就是这四个步骤的程序语言及其施行。

      某个买家在工作单位浏览了很多宝贝,并看中了某个宝贝并收藏了网网址,回到家中后,直接秒拍,那么这笔订单从交易数据来看的话,就是秒拍单,很有可能被淘宝判定为虚假交易,那么,这个判定就是弃真;虽然淘宝的反虚假交易系统越来越厉害,但是还是有很多虚假的交易没有被系统判定出来,这些判定就是纳伪。

      必须注意,在统计学中,弃真和纳伪是相对原假设而言的。假设一般包括两部分:原假设(零假设)和备择假设。进行统计检验时预先建立的假设,称为原假设。如果一个统计检验的结果拒绝原假设(不支持原假设),而实际上真实的情况属于原假设,那么这种以真当假(弃真)的错误,称第一类错误。反之,如果检验的结果支持原假设,而实际上真实情况属于备择假设,那么这种把假当真(纳伪)的错误,称第二类错误。

      如果淘宝反虚假交易系统的“原假设:此笔交易为真实交易。备择假设:此交易为虚假交易。”,那么真实交易被误判为虚假交易,这个就叫弃真;反之,虚假交易没有被判定为虚假交易,这个就叫纳伪。如果淘宝反虚假交易系统的“原假设:此笔交易为虚假交易。备择假设:此交易为真实交易。”,那么虚假交易被误当成真实交易,这个就叫弃真;反之,真实交易被当成虚假交易,这个就叫纳伪。

      当我们做出接受原假设结论时,有两种可能。一种是真实状况确如原假设所示的那样,从而判断正确,另一种是真实状况并非如原假设所示的那样,但接受了原假设,因此犯了纳伪的错误。同样,当我们做出拒绝元假设结论时,也有两种可能。一种是真实状况确非原假设所示,因此作出拒绝的判断是正确的;另一种是真实状况就是原假设所示,但被拒绝了,因此犯了弃真的错误。

      假设检验不是用纯数学的反证法,而是概率的反证法(小概率原理)。因由此产生的何种结论,都会伴随着判错的可能性。

      显着性水平是在进行假设检验时事先确定一个可以允许的作为判断界限的小概率标准。如果根据原假设所计算的概率小于这个标准,就拒绝原假设,大于这个标准就不拒绝原假设。这样显着性水平把概率分布分为两个区间:拒绝域和接受域。常用的标准有0.10丶0.05丶0.01。

      从数学上来看,原假设和备折假设的地位是相等的。但是原假设和备折假设在假设检验中所承担的作用是不对称的。因为当拒绝原假设接受备折假设时,所犯第一类错误(弃真)的可能很小;而当接受原假设时,所犯第二类错误(纳伪)的可能很大。接受原假设不代表证明原假设。

      那么淘宝反虚假交易系统的原假设是“此笔交易是真实交易”还是“此笔交易是虚假交易”呢?可以百分百确定淘宝反虚假交易系统的原假设是“此笔交易是真实交易”。有以下三大理由:

      第一个理由,原假设是受到保护的假设,没有充分依据是否定不了的。或者说没有充分根据是不会接受备折假设的。正因为如此,通常把常规丶已存在的现象写为受到保护的原假设,而要把研究的看法或猜想写成备折假设。虽然淘宝的虚假交易的绝对量很大,但是相对于整个淘宝的交易量,虚假交易所占的比例还是远低于真实交易所占的比例。根据小概率原则,原假设为“此笔交易是真实交易”更有可能。

      第二个理由,假设原假设为“此笔交易是虚假交易”,根据上面的介绍,可知当接受原假设时,所犯第二类错误(纳伪)的可能很大,即真实交易被验证是虚假交易的可能性很大,就会造成大量的真实交易被误判定为虚假交易,这样的话,虽然可以最大限度的打击虚假交易,但是同时也损害了很多商家的合法利益,也给负责处理虚假交易的小二带来更多不必要的工作压力。以损害一帮人的合法权益去打击另一帮的不法分子,卖家不答应,淘宝也不会这么弱智。

      第三个理由,从实证角度出发,有虚假交易或被淘宝反虚假交易系统查获的卖家就可以发现,被系统定为虚假交易的订单,很少有(有的甚至没有)真实订单被误判的,反而有大量的虚假交易没有被系统检验出,所以淘宝反虚假交易系统的原假设是“此笔交易是真实交易”。

      淘宝反虚假交易系统的假设已经确定了,即

      原假设:此笔交易是真实交易。备折假设:此笔交易是虚假交易。

      原假设已经确定,统计结论如何就取决于显着性水平和统计量。那么,淘宝反虚假交易系统的假设检验的显着性水平是多少?统计量函数又是什么呢?

      前面说过,显着性水平常用的标准有0.10丶0.05丶0.01。那么,淘宝反虚假交易系统的假设检验的显着性水平是取固定值,还是会和某些指标关联是变化值呢?这个就取决于统计量函数的具体表达式。很遗憾,因为没有充分的证据无法回答这个问题(不知道的咱也不会装知道),但是无论是哪种,都不会影响到我们对具体指标在大方向关系的判断。

      淘宝反虚假交易系统可以通过显着性水平的高低来控制打击虚假交易的力度。当显着性水平减小时,由于拒绝域的减小,真实交易被误判成虚假交易的可能减小,虚假交易被误认为是真实交易的可能提高,这样跟有利于虚假交易的卖家,这个也意味着一旦交易要是被检验为虚假交易,这个检验结论的可靠性更强,申诉也就更难通过;反之亦然。

      当显着性水平减小时,由于拒绝域的减小,弃真的错误会减小,但由此而来的是接受域增大了,因而纳伪的概率要增大;反之亦然。因此在样本容量固定情况下,要同时减少两类错误的可能性,是不可能的。要解决两类错误的可能性,一般采用增加样本容量的办法来解决。

      淘宝反虚假交易系统增加样本容量的办法包含两个含义:其一,观察其更多的交易特征指标,例如卖家信誉丶宝贝的转化率丶宝贝的支付宝支付率丶该笔交易的访问时间丶访问深度丶访问长度丶买家旺旺是否正常等等;其二,对于宝贝丶店铺,通过观察其更多的交易订单,这就是单品降权为什么要累计5笔虚假交易以上才会启动。所以,淘宝反虚假交易系统的样本构成三种类型:单笔交易丶单个宝贝丶整店交易。每个类型构成统计量函数的特征指标在地位上是不一样的。

评分

参与人数 1亨币 +10 收起 理由
admin + 10 谢谢分享,刷信誉哪个好有您更精彩!!

查看全部评分

回复

使用道具 举报

沙发
发表于 2015-5-13 11:18:18 | 只看该作者
看帖、回帖、拿分、走人
回复 支持 反对

使用道具 评分 举报

板凳
发表于 2015-5-13 11:21:12 | 只看该作者
楼主是一个神奇的青年!
回复 支持 反对

使用道具 评分 举报

地板
发表于 2015-5-13 11:22:12 | 只看该作者
每天顶顶贴,一身轻松啊!
回复 支持 反对

使用道具 评分 举报

5#
发表于 2015-5-13 11:53:19 | 只看该作者
这一年啥事没干,光研究楼主的帖子了!
回复 支持 反对

使用道具 评分 举报

6#
发表于 2015-5-13 13:00:21 | 只看该作者
我就搞不明白了,看帖回帖能死人么,居然只有我这么认真的在回帖!
回复 支持 反对

使用道具 评分 举报

7#
发表于 2015-5-13 13:35:04 | 只看该作者
精华帖的节奏啊!
回复 支持 反对

使用道具 评分 举报

8#
发表于 2015-5-15 20:11:33 | 只看该作者
楼主真好!呵呵。。
回复 支持 反对

使用道具 评分 举报

9#
发表于 2015-5-17 18:13:28 | 只看该作者
不是惊喜,是惊吓!
回复 支持 反对

使用道具 评分 举报

10#
发表于 2015-5-21 10:52:53 | 只看该作者
雷锋做好事不留名,都写在帖子里!
回复 支持 反对

使用道具 评分 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
联系客服
本站3群:
482954213

小黑屋|Archiver|手机版| ( ICP10004957-4

GMT+8, 2025-6-12 19:10 , Processed in 0.916072 second(s), 27 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表