吉宁博士观点
随着技术的发展，大数据应用在给企业带来了更多机会的同时，也带来更复杂的挑战。比如，技术的发展已经让工程师可以制造出沙粒大小的无线传感器，造价也越来越低。这意味着企业收集数据的范围越来越广，可以利用任何终端产品来收集数据。结合大规模并行处理能力，传感器收集数据的能力从容量、复杂度、速度和多样性等方面，比以前超出了2-5个数量级。这对企业处理、利用数据的能力形成了挑战。甚至，行业竞争格局也随之发生了变化。
大数据的演进经历了web 1.0时代和web 2.0时代。1.0时代人类通过数据了解知识；web2.0时代，各种由数据衍生的应用影响了我们的生活和社交；如今，web3.0时代——利用传感器收集数据的时代已经来临。Web3.0时代的数据量级和复杂性都远超前两个时代，数据分析也衍生出前所未有的一些难题。比如过去单一维度的数据分析已经无法应付多维度的数据结构；各种数据信息因为处理不当沦为数据垃圾；企业在新趋势新变化面前反应迟缓，难以应对突如其来的挑战。那么，在数据3.0时代，企业应该如何面对这些新的挑战，培养哪些新的能力呢？
大数据混聚时代来临
技术发展令数据来源变得丰富而复杂。通用电气公司在涡轮发动机、火车机车、喷气飞机的引擎和医疗成像设备中置入传感器，通过分析传感器产生的数据流来提前预测设备故障，控制保养和维修周期。数据还可以来自办公场所，一家美国公司让办公室员工佩戴传感器，搜集员工日常工作中的非正式互动数据，分析后重新设计了办公环境，提高工作绩效。
企业还通过GPS定位搜集物流运输数据；通过智能设备获得平台数据等。此外，企业还拥有越来越多的外部数据，比如社交媒体、外部传感器、天气等。
随着企业不断地将内外部数据源，以及社交媒体、传感器、辛迪加数据等等实现了结合，让人类进入了大数据的混聚时代（Data Mash-ups），这种结合令数据价值大增，但也会导致传统的单一平台分析方法失效。
“传统手段的失效让企业面临诸多新技术需求。”Teradata天睿公司大中华区解决方案高级总监李向前对《哈佛商业评论》中文版说，“这需要企业搭建统一数据架构（Unified Data Architecture，UDA）来应对数据的开发、分析和管理。”
过去的单一分析平台多集中于分析因果，比如依据对消费时间的数理统计，观察消费行为、预测消费动向的时间序列分析。而在统一数据架构内，就可以更好地实现数据探索。其中包括文本分析、情感分析、产品关联分析和社交网络分析等。
关联分析主要用于发现隐藏在大型数据中有意义的联系。例如，通过关联分析推出相应的促销礼包或优惠组合套装，快速帮助提高销售额。如洗发水+沐浴露的洗浴组合，牛奶+面包、豆奶+面包的早餐组合等。此外，零售超市或商场，可以通过产品关联程度大小，指导产品合理摆放，方便顾客购买更多产品。
探索平台是关联分析的主要手段，在探索平台里数据量级很大，除了结构化数据、非结构化数据，还有半结构化数据，它的优势体现在将更加复杂、看似无关联的数据整合分析，得出更为精准的洞见和解决方案。
“以电信企业为例，在没有探索平台之前，他们针对客户正常交际圈的分析大多只是围绕通话记录，”李向前说，“而在探索平台上，企业可以进一步分析用户的社交网络记录、图片、照片等内容，更深入全面地刻画出用户的交往圈。”
除电信业，交通行业也是使用探索平台进行分析的热门行业。它们可以借助这种分析重新定制票价、优化车次（航班）的运行等。以票价制定为例，较之单一平台，除了收集旅客进出站刷票记录之外，探索平台还会收集舆情、情绪等数据，根据分析结果推出更合理的分段票价。目前，大数据分析服务提供商通过开发UDA框架，多项组件和多类平台一起分析已经成为大势所趋。
警惕数据沼泽
除了发掘和分析数据，大数据也对企业储存和管理数据的能力提出新的要求。很多企业因数据策略或技能不足，将昂贵的数据仓库变成了数据储藏室，数据未能得到妥善处理。
这一问题在日益成为数据管理趋势的“数据湖”技术中更加显著。数据湖是用于分析各种来源、原始格式的企业数据管理平台——将数据以原始格式迁移到数据湖中，而非放置在专用的数据存储中。这样的做法可以有效降低接收数据的前端成本，而数据一旦被放进数据湖中，企业中的所有人都可以使用这些数据进行分析。
理论上讲，数据湖可以接收任何数据，不受监督或管理。但是没有描述性的元数据和维护机制，会导致在数据湖中很难发现有价值的数据，从而影响数据能够带来的洞察，数据湖就成为了数据沼泽。
那么，如何避免数据处理的盲区，更好地提炼数据价值呢？“一般我们听到这个问题，企业会首先想到如何从IT的角度去解决。”Teradata天睿公司首席技术官宝立明（Stephen Brobst）《哈佛商业评论》中文版强调：“比如要使用哪些工具和软件。但其实关键在于公司业务流程的设计和优秀的数据管理。”
首先，企业应该明确业务部门，而非仅仅IT部门需要拥有数据所有权。也就是说数据的使用不能仅仅由IT部门主导，而应该从战略角度由企业决策部门参与制定所有权问题。
其次，企业要厘清数据来源，以及数据业务的管理规则。很多企业在数据策管方面投入不足是问题关键。最容易被忽视的是没有持续追踪内部和外部数据的起源，缺失了审计跟踪、数据沿袭和系谱等环节。这会导致分析者不信任数据质量，无法控制数据的重复拷贝情况，导致资源利用效率极低。
建立数据文化
大数据技术的爆发让我们进入了富化数据产品（data-enrichedofferings）的新时代，对很多非数据驱动的企业来说，数据分析已经成为新的业务增长点，越来越多的大数据衍生产品和服务正在成为这些企业的竞争优势。那么管理者该做出哪些调整，及早应对可能到来的变革？
首先，尽早培养优秀的数据科学家。出色的战略和洞见最终都来自优秀的人才。由于相关高级人才的缺失，很多企业的做法是等待初创大数据公司或者沃尔玛这样的公司来培养数据科学家，然后再招入公司。但这种做法只会让自己处于被动局面。普华永道中国咨询分析服务总监姚远认为，企业应尽早建立自己的数据科学家队伍。由于数据分析家需要很多专业知识，对行业背景要求高，他建议企业可以为这些人才寻找导师或者与咨询公司合作，建立大数据思维和行动纲领。
其次，用小型试验培养“数据文化”。巴步森学院IT和管理专业总统杰出奖教授托马斯·达文波特2013年12月在《哈佛商业评论》发表的《数据分析3.0时代》一文中提到，管理者们可以主动要求任何重要项目都必须进行小规模但系统的验证试验，通过这种方式来习惯数据驱动的试验和测试。这种方式也会在一定程度上控制高管的“雄心壮志”。
最后，通过建立新部门颠覆旧结构。企业应该给数据科学家更多试验空间，并为他们创造与产品及服务主管沟通的渠道，让数据分析师和公司内部管理层之间联系更紧密。“可以通过建立数据中心、客服中心等打破传统的IT、销售等部门之间的壁垒。让所有部门聚集到一个利益点上来做决策，避免内耗。”姚远认为。
数据对业务的推动已经让越来越多企业意识到在这方面的投资不再是成本，而意味着产出。但仍有一些企业对大数据分析的投资缺乏方向，在这种情况下，熟悉新数据环境下的新问题是管理者必须迈出的第一步。（李源 | 编辑）
牛文静是《哈佛商业评论》中文版编辑。
