炼数成金 门户 商业智能 R语言 查看内容

美国大选倒计时:R语言和蒙特卡洛算法预测希拉里赢面高达89%

2016-11-7 09:54| 发布者: 炼数成金_小数| 查看: 24292| 评论: 1|原作者: Greg|来自: 新智元
摘要: 总统大选不到一周,自己来预测一下竞选结果还是很有挺有趣的。虽然关于选举,有的是博客和网站的预测,但确切告诉你他们究竟用了什么模型,或者告诉你怎么做这个预测的却寥寥无几。但是,我接下来就会这么做!在本文 ...
工具 模型 数据分析 商业智能 ETL 方法
总统大选不到一周,自己来预测一下竞选结果还是很有挺有趣的。虽然关于选举,有的是博客和网站的预测,但确切告诉你他们究竟用了什么模型,或者告诉你怎么做这个预测的却寥寥无几。但是,我接下来就会这么做!

在本文中,我将以州为单位拆分竞选数据,向你展示如何使用投票结果模拟和预测哪位候选人可能会胜出。

我打算用统计编程语言 R 来实现这一切。R 能让你快速高效地分析数据。要是你不关心 R 也没有问,跳过代码部分,只看文字也行。

第一步:采集数据
预测大选我们需要的数据来源:

选举人团(electoral college)
近期投票数据

你可以在很多地方找到上述相关信息。我用谷歌搜索快速查询了一下,在 Github 找到了一份很好的 SCV 文件。接下来就开始啦~
好,我们已经弄清楚选举人团,接下来就是投票数据了!同样,要找到投票数据,地方也有很多,我选择的是 electionprojection.com。除了名字押韵,这个网站结构简单,便于分析数据。我从这个网站上抓去了每个州的数据,得到了一份漂亮的表单。
好,我们已经弄清楚选举人团,接下来就是投票数据了!同样,要找到投票数据,地方也有很多,我选择的是  electionprojection.com。除了名字押韵,这个网站结构简单,便于分析数据。我从这个网站上抓去了每个州的数据,得到了一份漂亮的表单。

你可以在这里看见全面的代码(code snippet),但重要的是我使用的是 XML 包里的 readHTML Taable 函数。对于抓取网页上的表格来说,这种方法再好不过。例如,抓取佛罗里达州的投票数据方法如下:
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%
你首先注意到的是,有些州比其他州投票更加频繁。这并没有什么好奇怪的。你要知道像阿拉巴马州(3 次)这种投票积累对 Trump 有利,但影响非常小。相比之下,竞争激烈的佛罗里达州(27 次)或宾夕法尼亚州(21 次),这里的新信息才会对我们的预测造成巨大的影响。
第二步:决定每个投票的影响
第二步:决定每个投票的影响
关键的一点是我们需要为每次投票设置权重。一般而言,时间靠前的投票相比之下价值会不那么高。我们将用使用一种非常简单但却十分有效的方法来实现这一点。

我们给每次投票都分配一直指数衰减权重(exponentially decaying weights)。听上去很厉害的样子,实际做起来很简单。总之就是,时间离大选越近的投票,在预测中占的权重就越高。你可以把权重衰减看成这个样子:
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%

由上可知,当到了倒数第 7 次时,那次投票基本上就可以忽略不计了。权重衰减真正起的作用的是个平滑函数(smoothing function),考虑的数据。当然,要实现这一点方法很多,这次采用的只是最简单快速高效的一种而已。

第三步:模拟选举
好戏开始了。我们接下来要模拟我们自己的选举。我不是要搞时间穿越,只是利用随机性罢了。

我使用的是最简单的蒙特卡洛模拟生成合成的竞选数据。再次声明,我用的这个方法十分简单。预测大选结果较大的未知数,就是这些投票结果实际上有多准确。要是有了较精确的投票数据,大选那天我们只需要坐在家里看书就行了。但好在上哪儿也找不着这种数据(可以说是一种幸运吧)!

因此,我们要做的是将找到的投票数据结果随机化,生成“what if”结果。
这算不上是科学,但却为我们描绘出一幅饱含可能性的绚丽结果。
这算不上是科学,但却为我们描绘出一幅饱含可能性的绚丽结果。

下面,从模拟选举 1 开始吧。

我们将首先按州来拆分数据。这显然是重要的,因为美国的选举不是由每个公民投票决定的,而是由每个州的结果决定的。
一旦我们获得了州级的数据,我们将对每个州的投票加上权重,然后对每个州的候选人的总加权投票进行求和。最后,我们将对每个候选人投票使用随机变量以创建蒙特卡洛模拟。
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%
一旦我们获得了州级的数据,我们将对每个州的投票加上权重,然后对每个州的候选人的总加权投票进行求和。最后,我们将对每个候选人投票使用随机变量以创建蒙特卡洛模拟。

使用一个平均值为 1、方差为 0.15 的正态分布来改变每个候选人的投票总数。当然,还有更好的方法来做到这一点(特别是当你有投票错误数据的报告时,但不幸的是我没有),但我想保持简单。

我们将每个候选人的总数乘以这个数字,然后重新计算每个候选人在该州接收的加权的民众投票的百分比。虽然只是在模拟,但我们还是做得跟真的一样,为每一方都使用官方代表颜色。分割出单个模拟的结果,你可以看到都是谁赢得了哪些州。

第四步:把上述步骤重复 10000 次
模拟一次选举是很酷,然而并没有什么用。更酷的是把这个模拟重复 1000 乃至 1 万次。重复 1 万次增加了罕见事件浮现的可能性——例如,加里·约翰逊赢得了大选。
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%
让我们看看模拟 1 万次的结果:

希拉里赢:89&
希拉里大获全胜(高出对方 400 票及以上):0.11%
特朗普大获全胜:0%

当然,我们还可以继续下去,不过这样已经让你有一个直观的了解了。

还可以查看输出分布,从而更好地了解发生了什么。例如接受的 # 票数,你会看到以下分布:
由上图可知,我们非常确定约翰逊将有 0 个选票(我很遗憾,加里)。再来看特朗普和希拉里。这是一个很好的方法来可视化灵敏度分析。你可以看到每个候选人获得的理论上的较低、较高和可能的选举人票数。
由上图可知,我们非常确定约翰逊将有 0 个选票(我很遗憾,加里)。再来看特朗普和希拉里。这是一个很好的方法来可视化灵敏度分析。你可以看到每个候选人获得的理论上的较低、较高和可能的选举人票数。
好啦,接下来答案揭晓!谁会胜出?毫无意外,我们的模型预测希拉里将获胜,还不止一点点。不过,将这个结果与其他一些预测对比,结果也很有趣:
好啦,接下来答案揭晓!谁会胜出?毫无意外,我们的模型预测希拉里将获胜,还不止一点点。不过,将这个结果与其他一些预测对比,结果也很有趣:
这是平均或者说最有可能的情况,但我们的模拟结果怎么说呢?模拟认为,希拉里有 89% 几率赢(但是注意,我从上周第一次写这篇文章时希拉里的几率可是 95%,有所降低)。
这是平均或者说最有可能的情况,但我们的模拟结果怎么说呢?模拟认为,希拉里有 89% 几率赢(但是注意,我从上周第一次写这篇文章时希拉里的几率可是 95%,有所降低)。

每个州的情况
对我来说最有趣的是,美国总统大选是根据每个州的结果来评判的。如果看一个候选人赢得模拟特定状态时间的百分比,我们得到这样的结果:
美国大选倒计时:R 语言和蒙特卡洛算法预测希拉里赢面高达89%
想要了解更多,代码在这里:https://gist.github.com/glamp/223ee1b5665b8ab8d90fc2786f4b6b44

看到这些模式浮现出来十分有趣。这也没什么令人震惊的。本质上,在美国(和几乎在任何地方)政治都是分区域性的。

按照地图将情况分成子区域可以把事情看得更清晰:
最后几句

最后几句
模拟到这里就结束了!让我们拭目以待几天后的结果——当然,预测什么的总是有趣。如果你也对模拟、投票或就是对分析有兴趣,可以查看以下更多资料:

The code behind this post
NY Times Forecasts
The Polls of the Future Are Reproducible and Open Source
A User’s Guide To FiveThirtyEight’s 2016 General Election Forecast
FiveThirtyEight Election Forecast

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋
发表评论

最新评论

引用 wangyi_sh_cn 2016-11-10 16:29
结果相反。。
查看全部评论(1)

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

  GMT+8, 2017-12-12 21:53 , Processed in 0.197742 second(s), 24 queries .