想进知名牛气的大数据公司，你需要懂这些......

从谷歌、亚马逊、Facebook、LinkedIn，到阿里、百度、腾讯，都因其拥有大量的用户注册和运营信息，成为

天然的大数据公司。而像IBM、Oracle、EMC、惠普这类大型技术公司纷纷投身大数据，通过整合大数据的信息

和应用，给其他公司提供“硬件软件 数据”的整体解决方案。那么这些公司都是如何挖掘海量数据背后的价

值的呢？想成为这些公司的大数据人才，最需要掌握哪些技术？

一、 天然大数据公司挖掘价值的典型案例

01）亚马逊的“信息公司

如果全球哪家公司从大数据发掘出了最大价值，截至目前，答案可能非亚马逊莫属。亚马逊也要处理海量数据，

这些交易数据的直接价值更大。作为一家“信息公司”，亚马逊不仅从每个用户的购买行为中获得信息，还将每

个用户在其网站上的所有行为都记录下来：页面停留时间、用户是否查看评论、每个搜索的关键词、浏览的商品

等等。这种对数据价值的高度敏感和重视，以及强大的挖掘能力，使得亚马逊早已远远超出了它的传统运营方式。

亚马逊CTO Werner Vogels在CeBIT上关于大数据的演讲，向与会者描述了亚马逊在大数据时代的商业蓝图。长期

以来，亚马逊一直通过大数据分析，尝试定位客户和和获取客户反馈。“在此过程中，你会发现数据越大，结果

越好。为什么有的企业在商业上不断犯错?那是因为他们没有足够的数据对运营和决策提供支持，”Vogels

说，“一旦进入大数据的世界，企业的手中将握有无限可能。”从支撑新兴技术企业的基础设施到消费内容

的移动备，亚马逊的触角已触及到更为广阔的领域。

亚马逊推荐：亚马逊的各个业务环节都离不开“数据驱动”的身影。在亚马逊上买过东西的朋友可能对它的推荐功

能都很熟悉，“买过X商品的人，也同时买过Y商品”的推荐功能看上去很简单，却非常有效，同时这些精准推荐结

果的得出过程也非常复杂。

亚马逊预测：用户需求预测是通过历史数据来预测用户未来的需求。对于书、手机、家电这些东西——亚马逊内部

叫硬需求的产品，你可以认为是“标品”——预测是比较准的，甚至可以预测到相关产品属性的需求。但是对于服装

这样软需求产品，亚马逊干了十多年都没有办法预测得很好，因为这类东西受到的干扰因素太多了，比如：用户的对

颜色款式的喜好，穿上去合不合身，爱人朋友喜不喜欢…… 这类东西太易变，买得人多反而会卖不好，所以需要更

为复杂的预测模型。

亚马逊测试：你会认为亚马逊网站上的某段页面文字只是碰巧出现的吗?其实，亚马逊会在网站上持续不断地测试新

的设计方案，从而找出转化率最高的方案。整个网站的布局、字体大小、颜色、按钮以及其他所有的设计，其实都是

在多次审慎测试后的最优结果。

亚马逊记录：亚马逊的移动应用让用户有一个流畅的无处不在的体验的同时，也通过收集手机上的数据深入地了解

了每个用户的喜好信息;更值得一提的是Kindle Fire，内嵌的Silk浏览器可以将用户的行为数据一一记录下来。

以数据为导向的方法并不仅限于以上领域，亚马逊的企业文化就是冷冰冰的数据导向型文化。对于亚马逊来说，大数

据意味着大销售量。数据显示出什么是有效的、什么是无效的，新的商业投资项目必须要有数据的支撑。对数据的长

期专注让亚马逊能够以更低的售价提供更好的服务。

2）谷歌的意图

如果说有一家科技公司准确定义了“大数据”概念的话，那一定是谷歌。根据搜索研究公司comScore的数据，仅2012

年3月一个月的时间，谷歌处理的搜索词条数量就高达122亿条。谷歌的体量和规模，使它拥有比其他大多数企业更多

的应用大数据的途径。

谷歌搜索引擎本身的设计，就旨在让它能够无缝链接成千上万的服务器。如果出现更多的处理或存储需要，抑或某台

服务器崩溃，谷歌的工程师们只要再添加更多的服务器就能轻松搞定。将所有这些数据集合在一起所带来的结果是：

企业不仅从最好的技术中获益，同样还可以从最好的信息中获益。下面选择谷歌公司的其中三个亮点。

谷歌意图：谷歌不仅存储了搜索结果中出现的网络连接，还会储存用户搜索关键词的行为，它能够精准地记录下人们

进行搜索行为的时间、内容和方式，坐拥人们在谷歌网站进行搜索及经过其网络时所产生的大量机器数据。这些数据

能够让谷歌优化广告排序，并将搜索流量转化为盈利模式。谷歌不仅能追踪人们的搜索行为，而且还能够预测出搜索

者下一步将要做什么。用户所输入的每一个搜索请求，都会让谷歌知道他在寻找什么，所有人类行为都会在互联网上

留下痕迹路径，谷歌占领了一个绝佳的点位来捕捉和分析该路径。换言之，谷歌能在你意识到自己要找什么之前预

测出你的意图。这种抓取、存储并对海量人机数据进行分析，然后据此进行预测的能力，就是数据驱动的产品。

谷歌分析：谷歌在搜索之外还有更多获取数据的途径。企业安装“谷歌分析”之类的产品来追踪访问者在其站点的足

迹，而谷歌也可获得这些数据。网站还使用“谷歌广告联盟”，将来自谷歌广告客户网的广告展示在其站点，因此，

谷歌不仅可以洞察自己网站上广告的展示效果，同样还可以对其他广告发布站点的展示效果，同样还可以对其他广告

发布站点的展示效果一览无余。

谷歌趋势：既然搜索本身是网民的“意图数据库”，当然可以根据某一专题搜索量的涨跌，预测下一步的走势。谷

歌趋势可以预测旅游、地产、汽车的销售。此类预测最著名的就是谷歌流感趋势，跟踪全球范围的流感等病疫传播，

依据网民搜索，分析全球范围内流感等病疫的传播状况。

3）eBay的分析平台

早在2006年，eBay就成立了大数据分析平台。为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对

顾客的行为进行跟踪分析。eBay分析平台高级总监Oliver Ratzesberger说：“在这个平台上，可以将结构化数据和

非结构化数据结合在一起，通过分析促进eBay的业务创新和利润增长。”

eBay行为分析：在早期，eBay网页上的每一个功能的更改，通常由对该功能非常了解的产品经理决定，判断的依据

主要是产品经理的个人经验。而通过对用户行为数据的分析，网页上任何功能的修改都交由用户去决定。“每当有

一个不错的创意或者点子，我们都会在网站上选定一定范围的用户进行测试。通过对这些用户的行为分析，

来看这个创意是否带来了预期的效果。”

eBay广告分析：更显著的变化反映在广告费上。eBay对互联网广告的投入一直很大，通过购买一些网页搜索的关键

字，将潜在客户引入eBay网站。为了对这些关键字广告的投入产出进行衡量，eBay建立了一个完全封闭式的优化系统。

通过这个系统，可以精确的计算出每一个关键字为eBay带来的投资回报。通过对广告投放的优化，自2007年以来，eBay

产品销售的广告费降低了99%，顶级卖家占总投资额的百分比却上升了至32%。

4)中国移动的数据化运营

通过大数据分析，中国移动能够对企业运营的全业务进行针对性的监控、预警、跟踪。大数据系统可以在第一时间

自动捕捉市场变化，再以最快捷的方式推送给指定负责人，使他在最短时间内获知市场行情。

客户流失预警：一个客户使用最新款的诺基亚手机，每月准时缴费、平均一年致电客服3次，使用WEP和彩信业务。如果按照传统的数据分析，可能这是一位

客户满意度非常高、流失概率非常低的客户。事实上，当搜集了包括微博、社交网络等新型来源的客户数据之后，这位客户的真实情况可能是这样的：客户在

国外购买的这款手机，手机中的部分功能在国内无法使用，在某个固定地点手机经常断线，彩信无法使用——他的使用体验极差，正在面临流失风险。这就是

中国移动一个大数据分析的应用场景。通过全面获取业务信息，可能颠覆常规分析思路下做出的结论，打破传统数据源的边界，注重社交媒体等新型数据来源

，通过各种渠道获取尽可能多的客户反馈信息，并从这些数据中挖掘更多的价值。

数据增值应用：对运营商来说，数据分析在政府服务市场上前景巨大。运营商也可以在交通、应对突发灾害、维稳等工作中使大数据技术发挥更大的作用。

运营商处在一个数据交换中心的地位，在掌握用户行为方面具有先天的优势。作为信息技术的又一次变革，大数据的出现正在给技术进步和社会发展带来全

新的方向，而谁掌握了这一方向，谁就可能成功。对于运营商来说，在数据处理分析上，需要转型的不仅是技巧和法律问题，更需要转变思维方式，以商业

化角度思考大数据营销。

5)Twitter中的兴趣和情绪

Twitter兴趣聚类：通过过滤用户归属地、发推位置和相关关键词，Twitter建立了一系列定制化的客户数据流。比如，通过过滤电影片名、位置和情绪标签，你可以知道洛杉矶、纽约和伦敦等城市最受欢迎的电影是哪些。而根据用户发布的个人行为描述，你甚至能搜索到那些在加拿大滑雪的日本游客。

从这个视角看，Twitter的兴趣图谱的效率优于Facebook的社交图谱。Twitter的用户数据所能产生的潜在价值同样令人惊叹。在社交媒体网站正在收集越来越多的数据的形势下，它们或许能找到更好的方式来利用这些数据盈利，并使其取代广告成为自身提高收入的主要方式。这些社交网站真正的价值可能在于数据本身。相信在不久的将来，如果寻找到既能充分利用用户数据，又可合理规避对用户隐私的威胁，社交数据所蕴藏的巨大能量将会彻底被开启。

Twitter情绪分析：Twitter自己并不经营每一款数据产品，但它把数据授权给了像DataSift这样的数据服务公司，很多公司利用Twitter社交数据，做出了各种让人吃惊的应用，从社交监测到医疗应用，甚至可以去追踪流感疫情爆发，社交媒体监测平台DataSift还创造了一款金融数据产品。

华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入;如果大家的焦虑情绪上升，那就抛售。一些媒体公司会把观众收视率数据打包到产品里，再转卖给频道制作人和内容创造者。

精确的数据一旦与社交媒体数据相结合，对未来的预测会非常准。

6)阿里小贷和聚石塔

虽然阿里系的余额宝如日中天，但其实阿里小贷才真正体现出了大数据的价值。早在2010年阿里就已经建立了“淘宝小贷”，通过对贷款客户下游订单、上游供应商、经营信用等全方位的评估，就可以在没有见面情况下，给客户放款，这当然是对阿里平台上大数据的挖掘。数据来源于“聚石塔”——一个大型的数据分享平台，它通过共享阿里巴巴旗下各个子公司的数据资源来创造商业价值。这款产品就是大数据团队把淘宝交易流程各个环节的数据整合互联，然后基于商业理解对信息进行分类储存和分析加工，并与决策行为连接起来所产生的效果。

二、海量大数据价值背后是极大的大数据人才缺口

站在互联网“风口”上的大数据，正面临着人才短缺的问题。2017年9月12日，TalkingData CEO助理、腾云大学执行校长杨慧在接受记者采访时表示，目前国内市场缺口已经高达几十万，到2025年，这一数字还会增加至200万，“尤其是数据科学和数据分析方面的人才”。 巨大缺口在市场上表现为数据人才薪酬的大幅提升和企业间的互相挖人。

有专业人士分析，数据人才的稀缺主要有两方面的原因，一是互联网在垂直细分领域，如互联网金融、O2O等，竞争日益劲烈，需要大量的数据分析人才来应对；二是随着硬件成本降低，分布式计算技术的发展，大数据相关的理论和技术也在发生着重大突破，而掌握最新大数据技术的人才还不多。杨慧表示，优秀的数据人才是连接业务和技术的桥梁，也是为数据驱动型企业的发动机。

数据人才的培养在过去已经有多方面介入，如高校、工程师社群、市场短期培训机构海归人才等，但各有短板。值得注意的是，除了国内，国际上同样也面临着数据人才缺乏的问题。麦肯锡一个调查显示，到2018年，整个北美地区有150万的数据分析和数据科学相关人才的缺口，包括大数据、金融、传统零售超市等领域。“他们面临的这些问题和我们的来源是一样的，即只有基础知识是培养不了好的数据人才的，还必须与行业的情景结合起来”。

三、大数据和心理学融合已成为未来趋势

从上面天然的大数据公司通过大数据技术挖掘价值可以看出，大数据技术一定要和用户的行为心理结合到一起，和行业的情景结合起来才能创造出更多的商业可能性。随着时代发展，数据的计算和分析能力相信会成为大家普遍应该具备的技能，在这种情况下，如何结合具体的应用场景来使用好大数据，从而更好的理解用户，就显得至关重要。

中国科学院“百人计划”、博士研究生导师、中科院心理所大数据心理学专业课程研修班的总策划和授课师资朱廷劭老师也强调说：大数据的本质是数据分析和挖掘，大数据只是技术的集合，是达到某种目的的工具。打个比喻来说，大数据就像是底盘，上面可以放各种各样的需求。那如何根据这些需求（致力要解决的服务或问题）通过大数据技术来实现，和大数据技术结合，这是最重要的也是比较难以做到的。

很多人会为了学大数据而学大数据，比较盲目，但对具体能拿来做什么并不是很清晰。市面上的很多大数据培训更多的仅仅是从技术领域开设的课程，但如何和具体领域结合，然后将此分析结果应用到各种场景中，他们未必能做到。在中科院心理所大数据心理学专业的课程设置中，授课老师会通过具体的案例让学习者看到大数据和心理学的结合点，以及是如何结合的，从而为大数据技术与其他应用领域的结合提供参考框架。