奥索观察金融机构的核心竞争力就是作出正确的投资决策。因此它们想尽一切办法寻求数据优势，仰赖从数据挖掘中找到投资机会，也因此，它们会为最有价值的数据支付巨额款项。这种充满着商业潜力的机会形式也令金融领域的大数据规模呈现出明显的增长态势。

"很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联网的时候，大数据时代又来了。"马云卸任演讲中有这样一句话，让我们对所处世界的变化感到一种极富真实感的措手不及。

许多动不动就提到大数据的企业们似乎是有什么神奇光环，轻轻松松就赢得了人们的芳心，但深究下来却半天说不出个所以然。

大数据究竟是"阳春白雪"般的存在？亦或是早就在生活里无孔不入？以及，它能为金融领域的从业者，为交易者做到些什么？

一、大数据从来不是你的陌生人

大数据的应用其实已与我们并肩同行多年。笔者作为早期的90后，在深入研究这个课题前，对大数据、超级计算机、人工智能的印象来源于教科书上所普及的战胜了国际象棋大师的"深蓝".

如果你恰巧对影视作品有所兴趣，那么或许也会记得《贝克街亡灵》和《人工智能》这两部影片。

这些事件的发生，距离现在都已经有了二十年之久。如今，大数据已经是整个新兴技术发展的中坚力量。指纹解锁、面容ID识别、音乐软件的歌曲推荐、邮件营销、物流运输……它远比我们想象的普遍。

根据福布斯杂志的研究，全球每天将创建2.5泽字节（1泽字节大约等于1万亿GB）的数据。智能硬件和设备的普及，与出行、消费、娱乐、支付等相关的数据呈爆发式增长趋势。

这些数据从多个维度刻画了经济主体的行为特征，从中可以挖掘出许多额外的信息和关联逻辑。

（各个行业利用大数据价值的难易度以及发展潜力）

二、它为什么具有价值

数据本身犹如瀚海，我们作为个体的每时每刻的每个行为，都可以产生相关数据。这也呼应了它本身的特征："无法用现有的软件工具提取、存储、搜索、共享、分析和处理"、"海量"、"复杂"、"集合"等。

2010年《Science》上刊登了一篇文章指出，虽然人们的出行的模式有很大不同，但我们大多数人同样是可以预测的。这意味着我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性，即93%的人类行为可预测。

这个结论当然不仅局限于出行，其延展性可以说是无限的。随着计算机的处理能力的日益强大，你能获得的数据量越大，你能挖掘到的价值就越多。

实验的不断反复、大数据的日渐积累让人类发现规律，预测未来不再是科幻电影里的读心术。

（各种Data之间的关系图）

从商业价值和应用来说，大数据挖掘可以从以下四个方面帮助到我们：

细分客户群体，定制精准化服务；

模拟现实环境，发掘新需求并提高回报率；

增进内部联系，提高管理和产业流程效率；

降低运营成本，发现隐藏盲点开展创新。

回归到奥索科技投身的金融科技领域，我们今天来谈谈大数据在金融方面应用。

三、全球大数据在金融领域的应用现状

让我们先从一个事实开始：

一位高盛的高管对外透露，他们每年从第三方来源购买数据的支出约为4亿美元，包括一些投资银行家用来评估公司和行业的数据，以及更复杂的数据集。财报中，数据采购金额被记录在一项名为"通讯和技术费用"的项目中。2017年这一项目花费甚至高达8.97亿美元。

如此庞大的支出让人禁不住产生疑惑，这是为什么？

金融机构的核心竞争力就是作出正确的投资决策。因此它们想尽一切办法寻求数据优势，仰赖从数据挖掘中找到投资机会，也因此，它们会为最有价值的数据支付巨额款项。

这种充满着商业潜力的机会形势也令金融领域的大数据规模呈现出明显的增长态势。

1、地区观察

美国：作为在金融领域应用大数据较早的几个国家之一。初步估算，截至2017年底，美国金融大数据行业市场规模已经达到了69亿美元左右，2010-2017年的年均复合增长率高达56.51%.

欧洲：大数据的应用也走在世界前列，预计2017年底，欧洲金融大数据市场规模已增长至35亿美元。

市场中多数的大数据公司都以研究数据的存储和分析为主要，较少涉及交易领域，这一块的市场规模的比重亟待提高。

日本：作为亚洲的先驱者，在将大数据与金融行业结合的路程上仍是任重道远。2017年这一规模扩展至3.09亿美元。

NEC、日立制作所、富士通、NTTDATA这几家企业为大数据领域的主要巨头公司。

印度：随着印度IT服务公司对大数据分析需求快速增长以及云计算领域新时代数字项目的发展，IT行业对大数据专业人士的需求将持续上涨。

2017年，印度的金融大数据行业市场规模在4.22亿美元左右（2010-2017年的年均复合增长率在61.08%左右）。

2、名企观察

ZestFinance——Google的前任 CIO Douglas Merrill创立的金融数据分析服务提供商

使用机器学习算法和大数据为放款者提供承保模式，旨在为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。

公司使用分析模型对每位信贷申请人的上万条原始信息数据进行分析，只需几秒时间便可以得出超过十万个行为指标。目前违约率比行业平均水平低 60%左右。

FIC——风险管理先驱者，为三分之二的世界 100 强银行提供服务

通过大数据分析为银行和信用卡发卡机构、保险、医疗保健、政府和零售行业提供服务。它把借款人过去的信用历史资料与数据库中的全体借款人的信用习惯相比较，检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。

四、金融领域的大数据实际应用

摩根在关于金融服务领域大数据和机器学习的一篇报告中明确地阐述了这两者的未来之路：

机器学习将对未来市场运作至关重要。无论是分析师、投资组合经理、交易员还是更高职位的人士都必须对机器学习技术熟练掌握，否则就将遭遇淘汰。

传统数据源（季度收益、GDP）的相关性不断降低，因为大数据的利用能够让人们提前预测，从而在发布前就完成交易。

以高频交易为例，人类就已经被排除在外了。而未来机器所拥有的快速分析新闻消息和推文、处理收益报表、挖掘网站、瞬时操作等能力完全可以逐渐渗透到更多中期交易里。

然而实现这一切仍有一个大前提，那就是在实施机器学习策略（或者说使用人工智能）前，我们必须从海量数据中进行分析并得出有效的交易策略和机会。

实际上，大数据很少能直接呈现出干净有效的内容以供机器学习算法，因此需要专门的团队进行预处理才能达到人工智能帮助交易的出色目标。