比较难懂：淘宝稽核系统之虚假交易统计假设检验原理 -

标题: 比较难懂：淘宝稽核系统之虚假交易统计假设检验原理 [打印本页]

作者: batfox 时间: 2015-5-13 11:17
标题: 比较难懂：淘宝稽核系统之虚假交易统计假设检验原理
前言：看不懂本文的刷单大神一定是伪大神，看得懂得也未必是真刷单大神

淘宝每天百万级甚至千万级的交易量，不可能靠人工一单一单来排查，肯定是借助系统来排查的，系统就是一套程序，这套程序就是虚假交易判定的数学模型的计算机语言表示。数学模型讲究的是科学合理，要使用这套模型必定模型还得具备可操性。统计学和计量学必定是其借助的数学原理和工具。

一笔交易不是真实交易就是虚假交易，那么淘宝是如何来判定该笔交易是不是虚假交易呢？为了便于理解淘宝反虚假交易系统的工作原理，我们先介绍一下统计假设检验的基本原理。

   假设检验运用了小概率原理。小概率原理可以归纳为两个方面，一是可以认为小概率事件在一次观察中是不可能出现的；二是如果在一次观察中出现了小概率事件，那么，合理的想法是否定原有事件是小概率的说法。

   所以，在统计学中，假设检验的思想可以这样来描述：一个来自总体的随机样本，如果根据样本计算的某个（或某些）统计量表面在原假设成立的条件下几乎是不可能发生的，就拒绝或否定这个原假设，接受它对立面的一备择假设。反之，如果在原假设成立的条件下，根据样本计算的统计量发生的可能性不是很小的话，那么就不拒绝原假设。

   所以，统计检验得出的结论是一个多大可能的结论，不表示这个结论是百分百的正确或错误。

   一个统计假设检验需要四个步骤：

   第一步：建立假设，确定显着性水平（检验水准）

   第二步：选择合适的检验方法，计算统计量

   第三步：确定拒绝域（或者P值）

   第四步：做出统计结论

   淘宝的反虚假交易系统，就是这四个步骤的程序语言及其施行。

   某个买家在工作单位浏览了很多宝贝，并看中了某个宝贝并收藏了网网址，回到家中后，直接秒拍，那么这笔订单从交易数据来看的话，就是秒拍单，很有可能被淘宝判定为虚假交易，那么，这个判定就是弃真；虽然淘宝的反虚假交易系统越来越厉害，但是还是有很多虚假的交易没有被系统判定出来，这些判定就是纳伪。

   必须注意，在统计学中，弃真和纳伪是相对原假设而言的。假设一般包括两部分：原假设（零假设）和备择假设。进行统计检验时预先建立的假设，称为原假设。如果一个统计检验的结果拒绝原假设（不支持原假设），而实际上真实的情况属于原假设，那么这种以真当假（弃真）的错误，称第一类错误。反之，如果检验的结果支持原假设，而实际上真实情况属于备择假设，那么这种把假当真（纳伪）的错误，称第二类错误。

   如果淘宝反虚假交易系统的“原假设：此笔交易为真实交易。备择假设：此交易为虚假交易。”，那么真实交易被误判为虚假交易，这个就叫弃真；反之，虚假交易没有被判定为虚假交易，这个就叫纳伪。如果淘宝反虚假交易系统的“原假设：此笔交易为虚假交易。备择假设：此交易为真实交易。”，那么虚假交易被误当成真实交易，这个就叫弃真；反之，真实交易被当成虚假交易，这个就叫纳伪。

   当我们做出接受原假设结论时，有两种可能。一种是真实状况确如原假设所示的那样，从而判断正确，另一种是真实状况并非如原假设所示的那样，但接受了原假设，因此犯了纳伪的错误。同样，当我们做出拒绝元假设结论时，也有两种可能。一种是真实状况确非原假设所示，因此作出拒绝的判断是正确的；另一种是真实状况就是原假设所示，但被拒绝了，因此犯了弃真的错误。

   假设检验不是用纯数学的反证法，而是概率的反证法（小概率原理）。因由此产生的何种结论，都会伴随着判错的可能性。

   显着性水平是在进行假设检验时事先确定一个可以允许的作为判断界限的小概率标准。如果根据原假设所计算的概率小于这个标准，就拒绝原假设，大于这个标准就不拒绝原假设。这样显着性水平把概率分布分为两个区间：拒绝域和接受域。常用的标准有0.10丶0.05丶0.01。

   从数学上来看，原假设和备折假设的地位是相等的。但是原假设和备折假设在假设检验中所承担的作用是不对称的。因为当拒绝原假设接受备折假设时，所犯第一类错误（弃真）的可能很小；而当接受原假设时，所犯第二类错误（纳伪）的可能很大。接受原假设不代表证明原假设。

   那么淘宝反虚假交易系统的原假设是“此笔交易是真实交易”还是“此笔交易是虚假交易”呢？可以百分百确定淘宝反虚假交易系统的原假设是“此笔交易是真实交易”。有以下三大理由：

   第一个理由，原假设是受到保护的假设，没有充分依据是否定不了的。或者说没有充分根据是不会接受备折假设的。正因为如此，通常把常规丶已存在的现象写为受到保护的原假设，而要把研究的看法或猜想写成备折假设。虽然淘宝的虚假交易的绝对量很大，但是相对于整个淘宝的交易量，虚假交易所占的比例还是远低于真实交易所占的比例。根据小概率原则，原假设为“此笔交易是真实交易”更有可能。

   第二个理由，假设原假设为“此笔交易是虚假交易”，根据上面的介绍，可知当接受原假设时，所犯第二类错误（纳伪）的可能很大，即真实交易被验证是虚假交易的可能性很大，就会造成大量的真实交易被误判定为虚假交易，这样的话，虽然可以最大限度的打击虚假交易，但是同时也损害了很多商家的合法利益，也给负责处理虚假交易的小二带来更多不必要的工作压力。以损害一帮人的合法权益去打击另一帮的不法分子，卖家不答应，淘宝也不会这么弱智。

   第三个理由，从实证角度出发，有虚假交易或被淘宝反虚假交易系统查获的卖家就可以发现，被系统定为虚假交易的订单，很少有（有的甚至没有）真实订单被误判的，反而有大量的虚假交易没有被系统检验出，所以淘宝反虚假交易系统的原假设是“此笔交易是真实交易”。

   淘宝反虚假交易系统的假设已经确定了，即

   原假设：此笔交易是真实交易。备折假设：此笔交易是虚假交易。

   原假设已经确定，统计结论如何就取决于显着性水平和统计量。那么，淘宝反虚假交易系统的假设检验的显着性水平是多少？统计量函数又是什么呢？

   前面说过，显着性水平常用的标准有0.10丶0.05丶0.01。那么，淘宝反虚假交易系统的假设检验的显着性水平是取固定值，还是会和某些指标关联是变化值呢？这个就取决于统计量函数的具体表达式。很遗憾，因为没有充分的证据无法回答这个问题（不知道的咱也不会装知道），但是无论是哪种，都不会影响到我们对具体指标在大方向关系的判断。

   淘宝反虚假交易系统可以通过显着性水平的高低来控制打击虚假交易的力度。当显着性水平减小时，由于拒绝域的减小，真实交易被误判成虚假交易的可能减小，虚假交易被误认为是真实交易的可能提高，这样跟有利于虚假交易的卖家，这个也意味着一旦交易要是被检验为虚假交易，这个检验结论的可靠性更强，申诉也就更难通过；反之亦然。

   当显着性水平减小时，由于拒绝域的减小，弃真的错误会减小，但由此而来的是接受域增大了，因而纳伪的概率要增大；反之亦然。因此在样本容量固定情况下，要同时减少两类错误的可能性，是不可能的。要解决两类错误的可能性，一般采用增加样本容量的办法来解决。

   淘宝反虚假交易系统增加样本容量的办法包含两个含义：其一，观察其更多的交易特征指标，例如卖家信誉丶宝贝的转化率丶宝贝的支付宝支付率丶该笔交易的访问时间丶访问深度丶访问长度丶买家旺旺是否正常等等；其二，对于宝贝丶店铺，通过观察其更多的交易订单，这就是单品降权为什么要累计5笔虚假交易以上才会启动。所以，淘宝反虚假交易系统的样本构成三种类型：单笔交易丶单个宝贝丶整店交易。每个类型构成统计量函数的特征指标在地位上是不一样的。

作者: 你来我就爱 时间: 2015-5-13 11:18
看帖、回帖、拿分、走人

作者: 心被击中 时间: 2015-5-13 11:21
楼主是一个神奇的青年！

作者: 痛定思痛。 时间: 2015-5-13 11:22
每天顶顶贴，一身轻松啊！

作者: 邓怡悦 时间: 2015-5-13 11:53
这一年啥事没干，光研究楼主的帖子了！

作者: 烈酒满喉 时间: 2015-5-13 13:00
我就搞不明白了，看帖回帖能死人么，居然只有我这么认真的在回帖！

作者: 容我张狂〆 时间: 2015-5-13 13:35
精华帖的节奏啊！

作者: 只考清华 时间: 2015-5-15 20:11
楼主真好！呵呵。。

作者: 化蛹为碟 时间: 2015-5-17 18:13
不是惊喜，是惊吓！

作者: 少年与猫 时间: 2015-5-21 10:52
雷锋做好事不留名，都写在帖子里！

作者: 胡逼扯扯的 时间: 2015-5-28 18:07
楼主人气很旺！

作者: 嚣张跋扈 时间: 2015-5-29 10:27
这么经典的话只有楼主能想到！

作者: ぎ仅有ぃ依恋 时间: 2015-5-31 10:12
我对楼主的敬仰犹如滔滔江水绵延不绝！

作者: 泪染倾城 时间: 2015-6-3 21:34
收藏了，很不错的内容！

作者: 濮真 时间: 2015-6-7 20:02
看了这么多帖子，第一次看看到这么有内涵的！

作者: 谎言干掉了誓言 时间: 2015-6-16 22:21
楼主的帖子提神醒脑啊！

作者: 臆想症重度病人 时间: 2015-6-18 11:57
好帖子！

作者: 猴子派来的逗逼 时间: 2015-7-3 22:18
刚分手，心情不好！

作者: 阙雪萍 时间: 2015-7-5 12:15
听楼主一席话，省我十本书！

作者: 哪吒么么哒i 时间: 2015-7-9 19:28
有内涵！

作者: 不算拥有 时间: 2015-7-14 09:50
看帖、回帖、拿分、走人

作者: 我想陪你很久i 时间: 2015-7-15 10:51
兰州烧饼，鉴定完毕！

作者: 愈舒云 时间: 2015-7-16 14:23
论坛的人气越来越旺了！

作者: 布馨兰 时间: 2015-7-19 16:02
态度决定一切，不错！

作者: 丑人多作怪 时间: 2015-7-30 17:07
灌水不是我的目的！

作者: 楠木青城 时间: 2015-8-6 12:50
楼主英明！

作者: 是我唯一 时间: 2015-8-9 10:09
小弟默默的路过贵宝地~~~

作者: 云烟忆蓝 时间: 2015-8-15 17:27
好好学习楼主的帖子！

作者: 翟俊雅 时间: 2015-8-22 20:40
吹牛的人越来越多了！

作者: 骆艳娇 时间: 2015-9-2 04:01
什么狗屁帖子啊，楼主的语文是苍老师教的吗？

作者: 计曼彤 时间: 2015-9-2 10:39
楼主的帖子实在是写得太好了。文笔流畅，修辞得体！

作者: 没钱任性. 时间: 2015-9-2 17:16
楼上的说的很好！

作者: 介娅芳 时间: 2015-9-2 18:34
顶一下，收藏了！

作者: 承诺 时间: 2015-9-6 19:09
希望论坛越办越好！

作者: 黎俨雅 时间: 2015-9-14 02:29
今天怎么了，什么人都出来了！

作者: 淦玉龙 时间: 2015-9-21 13:08
楼主是一个典型的文艺青年啊!

作者: 墨羽倾炫 时间: 2015-10-29 16:46
楼主今年多大了？

作者: 毅力坚强帝 时间: 2015-11-3 12:09
刚分手，心情不好！

作者: 叶鹏运 时间: 2015-12-1 14:56
楼主是男的还是女的？

作者: 徒步旅行的猫丶 时间: 2015-12-9 12:14
好好学习楼主的帖子！

作者: 汪寄蓝 时间: 2015-12-11 11:57
很经典，收藏了！

作者: 选择孤独 时间: 2015-12-13 13:24
楼主很有经验啊！

作者: 局外人i 时间: 2015-12-23 02:49
楼主说的我也略懂！

作者: 僧晋鹏 时间: 2015-12-30 13:57
有内涵！

作者: 邗安梦 时间: 2016-1-2 23:45
兰州烧饼，鉴定完毕！

作者: 亲密缠绵 时间: 2016-1-30 11:58
这么经典的话只有楼主能想到！

作者: 暴慧云 时间: 2016-1-30 12:01
态度决定一切，不错！

作者: 听说你还记得我 时间: 2016-1-30 12:02
不错，受用了！

作者: 催微不带悲伤 时间: 2016-1-30 12:02
有品位！

作者: 龚芮静 时间: 2016-2-3 00:17
楼主好聪明啊！

作者: 沿途与你 时间: 2016-2-3 09:53
每次看到楼主的帖子都有惊吓！

作者: 计曼彤 时间: 2016-2-3 09:54
管它三七二十一！

作者: 奕献玉 时间: 2016-2-9 15:56
今天过得很不爽！

作者: 校欣跃 时间: 2016-2-11 06:34
楼主的文笔不错！

作者: 凉薄少年空城寂 时间: 2016-2-11 21:18
缺乏激情了！

作者: 拥你是梦 时间: 2016-2-16 15:29
楼上的忘记吃药了！

作者: gaohuili93 时间: 2016-2-17 18:50
大神好强大！

作者: 西瓜哥哥 时间: 2016-2-18 22:19
论坛人气好旺！

作者: 明天的故事 时间: 2016-2-19 09:42
楼主英明！

作者: BelindaVob 时间: 2016-2-20 21:26
信楼主，考试不挂科！

作者: TamaraPync 时间: 2016-2-21 13:24
最近回了很多帖子，都没人理我！

作者: 星星的月亮 时间: 2016-2-25 18:03
我只看看不说话。。。

作者: Kathrynlon 时间: 2016-2-26 06:33
楼主的文笔不错！

作者: 承雅爱 时间: 2016-2-26 15:01
灌水不是我的目的！

作者: 我会发光 时间: 2016-2-29 00:04
十分赞同楼主！

作者: 一点陪衬 时间: 2016-2-29 02:29
楼主是一个神奇的青年！

作者: GropeN 时间: 2016-2-29 06:14
看了这么多帖子，第一次看到这么高质量内容！

作者: 太爱到违规 时间: 2016-2-29 12:56
写得实在太好了，我唯一能做的就是默默顶贴！

作者: 海边风景 时间: 2016-2-29 18:10
看了这么多帖子，第一次看到这么有深度了！

作者: Kathrynlon 时间: 2016-3-2 21:50
楼主练了葵花宝典吧？

作者: 低头、泪倾城 时间: 2016-3-3 00:08
论坛人气好旺！

作者: gaohuili93 时间: 2016-3-3 00:40
一口气看完了，我要下去回味回味了！

作者: 顾此不失彼 时间: 2016-3-3 00:42
楼主你想太多了！

作者: 树辰沛 时间: 2016-3-3 15:20
楼主看起来很有学问！

作者: 最佳损友 时间: 2016-3-3 21:40
好东西，学习学习！

作者: 她不配 时间: 2016-3-3 21:50
顶顶更健康！

作者: 别无他心 时间: 2016-3-3 22:35
看了这么多帖子，第一次看到这么经典的！

作者: 1悠嘻小强W 时间: 2016-3-4 17:28
这一年啥事没干，光研究楼主的帖子了！

作者: AlfredoRug 时间: 2016-3-4 22:48
好无聊啊！

作者: 花凌若别离 时间: 2016-3-7 07:16
对我很有帮助！谢谢分享！

作者: Amandalevy 时间: 2016-3-7 19:17
大神就是大神，这么经典！

作者: 玉合乐 时间: 2016-3-7 19:27
很给力！

作者: 孤畔老人 时间: 2016-3-8 17:41
这个帖子会火的，鉴定完毕！

作者: Kneesyreify 时间: 2016-3-8 18:57
今天怎么了，什么人都出来了！

作者: 追梦少年 时间: 2016-3-8 20:24
我回帖楼主给加积分吗？

作者: 顾此不失彼 时间: 2016-3-9 04:30
楼主，你妈妈喊你回家吃药！

作者: 么木兰 时间: 2016-3-9 16:22
你觉得该怎么做呢？

作者: 念情你 时间: 2016-3-11 21:55
很给力！

作者: anxiaohu 时间: 2016-3-12 09:27
我只看看不说话。。。

作者: 8888 时间: 2016-3-14 11:57
楼上的很有激情啊！

作者: 韦晓瑶 时间: 2016-3-14 11:58
大神好强大！

作者: 逆光少年 时间: 2016-3-15 11:59
祖国尚未统一，我却天天灌水，好内疚！

作者: CarrieRed 时间: 2016-3-15 16:22
楼主内心很强大！

作者: anxiaohu 时间: 2016-3-16 00:30
看在楼主的面子上，认真回帖！

作者: 风中的雪 时间: 2016-3-16 04:04
看帖不回帖的人就是耍流氓，我回复了！

作者: 联通123 时间: 2016-3-16 04:40
强，我和我的小伙伴们都惊呆了！

作者: 帖安荷 时间: 2016-3-16 07:07
楼主是好人！

作者: 青柠少年 时间: 2016-3-16 07:49
帖子很有深度！

作者: 1悠嘻小强W 时间: 2016-3-16 18:31
看了这么多帖子，第一次看到这么经典的！

作者: 花凌若别离 时间: 2016-3-16 21:28
信楼主，考试不挂科！

欢迎光临 (http://shuaxinyunagehao.com/)