老师，你作弊了！数据分析的经典案例
师者，传道、受业、解惑也。
作弊也？这不为人师婊了吗，这让晚辈情何以堪！
读标题进来的看官，您先别急，本文讲的不是中国的老师，是漂亮国芝加哥公立学校的教师。
芝加哥公立学校每年有四十多万名学生，它是一个庞大的系统。该系统在1996年实行新政策，当官的要让陈旧、腐败的系统“卷”起来，新政策又称“卷政”，因为它要求学校业绩与学生考卷成绩挂钩。对不合格的学校要关、停、整、改，员工可被解雇或重新分配，学生升级必须在Iowa的标准化多项选择考试中达标。
芝加哥市贫困人口多而且是“多非白”，学风差，熊孩子在校生产第二代，“事了拂衣去”，考试作㢢欢。然而，“卷政”带来了一个根本性的变化——它刺激了教师去作弊，因为教师的评估和收入直接与考卷关联。如果学生在考试中表现不佳，老师可能无法升职加薪。如果整个学校的考试表现不佳，联邦可能会拒绝提供资金。“卷政”的真经可以用九个字概括：卷不中，卷不动，卷不多。每个“卷”的含意你懂的。
老师作弊
在有些老师看来，“卷政”猛于虎也，那些“多非白”本来就生活在水深火热之中，他们是扶不起的阿斗，教书本来就为混口饭吃，可当官的却“卷”了老子的奶酪。重赏之下，必有勇夫。伯乐也搏了，个别生猛的老师直接把考试答案写在黑板上，当然他们被“卷”成了渣。然而，有些人却可能在答卷上作文章，做得很微妙，很subtle。
人们对老师作弊的怀疑浮出水面，学校需要一种方法来把“勇夫”卷出水面来。魔高一尺，道高一丈，官方有尚方宝剑——考卷数据。有了数据就可以分析，更何况旁边就有举世闻名的芝加哥大学经济系，他们的分析水平是诺奖级的，分析考试作弊是小Case。芝加哥公开了考生数据库，它包含从1993年到2000年期间，每年级每个班学生的考试答卷，这里有近亿份学生答案，几十万份答卷。
以下是两个班学生做相同的六年级数学测试的答案。这是标准化多项选择考试，每一行共44题，学生答案以字符串表示，0表示没答。
您如果自认拥有超级大脑，要不要耍一耍，卷一卷，查一查有无作弊。友情提示：有一个是作弊的。
甲班
乙班
咋一看，每个班的答卷像似达芬奇密码，数据量大，无逻辑可言，找作弊证据有点大海捞针。
数据分析
要寻找证据，我们可以找反常现象，比如说短时间内平时的差生成绩有很明显的提高；按出题目的顺序通常是前易后难，如果简单题错，而难题对，这亦反常。常识还告诉我们作弊的答案往往是互抄的，所以雷同。答案如果出现了雷同或某种规律性，这规律就是那要捞的“针”。
从数学的角度看，如果把每一个答题想象成数学中的一个空间维度，那么每行学生的答案是多维空间的一个点，例如，上面的答卷有44题，每一行是这44维空间上的一点；如果答案雷同， 那么许多点在某些维度距离为零，这就有点反常了，可能有”妖“，或许那里有要捞的“针”。
当然上面讲的有点抽象，简单地说就是寻找哪些点在一些维度上距离为零。求解这类问题用算法语言来描述就是：对每班的答卷求每两行答案字符列的最大相同子序列。码农都知道这是计算复杂度为平方级别的普通算法。
下图是计算甲班“最大相同子序列”的结果，答案雷同之处用红色标出，这就是老师作弊的实锤。从收到答卷到送至读卷机有几十分钟的空隙，作弊的老师在这短时间内进行了涂改。事实上观察红字后面的0，可以让“实锤”敲得更响。
甲班 (答案雷同之处用红色标出)
九十年代没有大数据分析，查作弊这活还有一点累。如今，对于上百万个考生也只需几秒钟就可以查出作弊与否。当然，如果在不连续的答案上涂改，排列组合多，计算量就非同小可；可是，老师在短时间内也不能保证如此精准操作。
上面只是一个小于50维的几何计算题，现在风头正盛的ChatGPT是建立在几千亿维度上的语言模型。当你问ChatGPT时，它要吐出的下一个字符是在这超大规模维度空间中计算出最近的几个点，大数据时代是个大力出奇迹的时代。
后面我会用ChatGPT来查考卷有没有作弊，……。
大数据分析已经触及到我们生活的每个角落。例如，华尔街用它”炼金”。要”炼金”，就需要“矿工”，而且是大量的、优秀的。“矿工”们把各类类问题转化成数学模型，进行数据整理、挖掘，提炼出有用的数据，用算法找出赚钱的机会。
后面的故事
本文讲的是一个真实的故事，故事发生在二十年前，解决上述问题的不是普通“矿工”，他是芝加哥大学经济系的教授，Steven Levitt。本文选自他的《鬼畜经济学》，笔者在算法的评述上添油加醋。
后来的芝加哥公立学校CEO是邓肯 （Arne Duncan），他的“锅”是把新自由主义噩梦带到芝加哥贫困的、“多非白”的公立学校。他追随奥巴马，并于2008年担任美国教育部长。而Levitt，作为芝加哥大学终身教授，就在邓肯的身边。
海宁 2023年05月19日
