导语：一个有批判思维的经理会觉得把啤酒和尿布摆放得越远越好，这样一来，顾客拿了啤酒就要在商场里穿过别的货架去拿尿布，这个过程中可能又看到别的感兴趣的但没准备买的东西

知识点·数据挖掘 (Data Mining)

我们正处在一个信息大爆炸的年代，主要表现在大量信息的产生并以数字化的方式被记录下来。之所以会有信息大爆炸，一个主要的原因是信息技术的成本大幅下降并且迅速广泛普及。

10年前，一台个人电脑的硬盘大概也就是1GB大小，今天硬盘的大小都用几百GB甚至TB（1TB=1024GB）来衡量了，而价钱基本上没有变化。正是信息技术的普及造就了信息大爆炸的年代。

信息多了，是好事儿，也是坏事儿。好事儿呢，是因为信息可以帮助人们更好地决策；坏事儿呢，是因为信息太多了，如何找到有用的信息又变成了一件难题。

简而言之，数据挖掘就是从存放在数据库中的大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的过程。

这个定义说出了数据挖掘的四个基本特征：　一是有效；二是新颖；三是有用；四是可理解。

这四个基本特征缺少一个就不是严格意义上的数据挖掘。“有效”是指数据挖掘过程所使用的方法是正确的，无论用统计抽样、假设检验，还是人工智能、模式识别和机器学习等方法，都要是正确地使用。

“新颖”是指数据挖掘结果是意想不到的、事先不知道的，如果是已经知道的，还费那么大的力气去挖掘什么呢。

“有用”是指数据挖掘结果可以用来指导公司决策，否则，费了九牛二虎之力挖掘出来的东西岂不都是垃圾。

“可理解”是指数据挖掘结果能够用常识或理论解释，如果解释不了，那么这个结果很可能是碰巧得来的。

这次碰巧得到了，不知道下次还能不能碰上，这样的结果使用价值也不大。

数据挖掘的应用之一就是关联规则，通过对大量数据的分析，找到两个或几个总是同时发生的事件。

对于关联规则，有一个关于沃尔玛的传说，之所以说是传说，是因为这个故事在商学院MBA课堂上广泛流传，谁也不知道源头在哪里，到底是不是真的。

有一个学期，我有几个学生非常较真，做了大量的搜索工作，最后也无法确定这个故事的源头和真相，这故事后来就成了一个谜，反倒更增加了它的吸引力。

沃尔玛拥有世界上最大的数据仓库系统，为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的历史购物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。

沃尔玛数据仓库集中了其各门店的详细原始交易数据，在这些原始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分析和挖掘，发现了一个很有意思的现象：　婴儿尿布和啤酒有很高的相关度，即跟尿布一起购买最多的商品竟然是啤酒！

不要忘记我们前面说的四个基本特征。有效？没问题，沃尔玛的数据存储和分析肯定都是正确有效的。

新颖？当然！在这之前，谁会想到啤酒和尿布会是一起购买最多的商品呢？那么，这个发现有用么？

当然有用，这个发现可以帮助沃尔玛商场合理摆放商品。一个从众思维的经理会利用这个发现把啤酒和尿布摆放到一起，方便顾客购买，这是中规中矩。

但是，一个有批判思维的经理会觉得把啤酒和尿布摆放得越远越好，这样一来，顾客拿了啤酒就要在商场里穿过别的货架去拿尿布，这个过程中可能又看到别的感兴趣的但没准备买的东西，也装入购物车，增加了商场的额外收入。

最难的应该是最后一个特征，这个现象可不可以解释？它是不是一个纯粹的巧合？在把这个故事讲了几十遍以后，我的学生们基本上有两个解释。

一个是有了孩子以后，丈夫出去泡酒吧的机会少了，只好自己买啤酒在家自酌自饮。另一个是丈夫工作了一天回家还要照顾孩子，很累，有一些抑郁，于是需要一些酒精的麻醉，借酒浇愁。

应该说，这两个解释都基本可信。所以，这个发现符合四个基本特征，是一个典型的数据发掘的应用例子。

数据挖掘还有一个有趣的例子，也是关于沃尔玛的，但这个是真的，不是传说。

沃尔玛想知道在自然灾害来临前，比如飓风、龙卷风等，顾客都买什么东西。也就是说，想通过数据发掘找到和自然灾害预报相关的顾客购物习惯。

通过对其各门店的详细原始交易数据的挖掘，沃尔玛确实发现了一种商品顾客买得相当多，而沃尔玛以前却不知道。

通常，人们会猜是电池、水、面包、胶带等，但是，这些商品和自然灾害的相关性还用数据挖掘吗？根本不用！

人人都知道自然灾害来临前要买这些东西，所以他们不构成新颖的特征。沃尔玛发现一种新颖的商品——高糖压缩饼干。

仔细一想，这个也好理解，如果自然灾害真的很严重，把人在地下室困上几个星期的话，面包早就坏了，而高糖压缩饼干，别说几个星期，就是几个月甚至几年，都没问题，并且高糖压缩饼干体积小、易携带。

那么，沃尔玛如何利用这条数据挖掘结果呢？很容易，每次有自然灾害预报的时候（比如飓风要来了），它就要保证店面里有充足的高糖压缩饼干供应，不要脱销。