吉宁讲师观点 / 培训讲师谈管理 / 培训讲师谈管理:重塑数据质量管理

培训讲师谈管理:重塑数据质量管理

企业培训师吉宁 2015年12月12日 培训讲师谈管理

一位前途看好的高管将向公司高层作重要产品的分析报告。在准备过程中,她发现市场份额数据不对劲,于是马上请助理进行核对,结果发现市场研究部提交的数据有误。她随即作了修改,一场灾难得以避免。报告非常顺利,她心情大好,当即发给助理一笔奖金,并说道:“数据复核是我们的必修课。”但没人想到把此事反馈给市场研究部,遑论与对方合作改善数据质量。

我在几十家公司担任过数据医生,曾目睹这类故事反复上演。在电信公司,维修部受困于客服部提供的错误地址信息;在金融服务公司,风险管理部需要核对大量贷款材料细节;在医疗企业,患者临床信息的缺失增加了医生的工作难度。的确,数据质量难题无处不在,困扰着每一个行业、每一个部门。

与上述例子中的高管一样,与错误数据打交道已经成为员工日常工作的一部分。这是企业的一项巨大开支。研究表明,知识型员工50%的工作时间用于搜索数据、发现并改正错误,以及复核可疑数据。

一旦有漏网之鱼,企业可能深受其害:错误的化验数据可能危及病人生命;产品规格不清晰,可能使制造成本增加数百万美元;财务报告中的漏洞则可能搅黄一笔最好的投资。数据错误可能给企业声誉带来灾难性影响,2012年秋沸沸扬扬的苹果地图事件即是一例。

如果数据质量堪忧,管理者会在制定和实施战略时转而依赖直觉。在这种心态下,管理者往往不易接受反直觉的大数据分析结果,从而错失重要战略信息。

50年前,计算机界有了“垃圾进,垃圾出”的说法,而数据质量难题到今天仍未解决。但我认为,解决之道可能比预想的简单。问题的症结不在于技术,而在于数据提供者与使用者之间的沟通。最重要的是,企业必须意识到,IT部门并不对业务流程负责,因此无法从根本上改善数据质量;管理者必须真正对数据质量负起责任,这正是他们的职责。

供需方直接沟通

数据提供者固然对质量直接负责,但使用者也需评估数据是否可用。因此,生产环节和应用环节对数据的质量和最终效用同等重要。如果使用者认为数据质量低劣,他们通常会绕过该数据,或自己动手纠错。

但只靠单打独斗不可能系统地解决数据质量问题。数据提供者和使用者必须建立联系,共同找出问题根源,设计整体改善方案。因此本文开头所述那位高管的行为不可取:首先,因为她没有通知市场研究部,错误数据还在公司中蔓延;其次,她的专业资质不够,却自行修改了数据。

好消息是,数据提供者和使用者只需简单沟通,数据质量就能显著提升。我曾多次听到数据分析师说:“我们不知道有人需要这组数据,因此没投入太多精力。现在我们知道它很重要,下次包你满意。”提升数据质量最简单有效的方法,就是让数据提供者了解数据的流向和使用方式。

对企业管理者更大的好消息是,解决大部分数据质量问题,并不需要引进新技术或重新设计流程。在处理复杂问题时,规范化数据采集、自动控制,以及六西格玛等管理工具无疑会发挥作用,但只要数据提供者和使用者加强沟通,问题往往能解决大半。

纠错从源头开始

一旦发现数据质量堪忧,企业的第一反应通常是大规模清理错误数据。更好的方法是,找出系统性漏洞,从源头上保证数据的可靠性,之后再进行规模化清理。

以市值2300亿美元的能源巨头雪佛龙为例,虽然该公司钻探部使用符合行业标准的数据采集系统,进行钻探评估、新井开采筹划,以及安全项目设计,然而数据不足的情况依然经常出现。例如,管理者无法从数据中获知能否在预算内完成钻探工作。公司随即开始清理关键的油气井数据,但管理层很快意识到,这项工程将耗时5年,如果不改变思路,未来5年的数据质量不可能有根本好转。

于是公司请来资深数据管理专家妮基·张(Nikki Chang),牵头成立新的数据管理小组。在妮基看来,公司必须向前看。“数据清理不会增加价值,”她说,“公司很有钱,但并非多到没处花。”妮基首先重新制定了数据质量评价标准。“之前,如果1份数据中有1处数字错误,另外9处正确,那么这份数据可以打90分,”她说,“但新规矩是,只要有一个错误,这份数据就是零分。新的评价体系让我们清楚地看到,公司数据管理的确存在大问题。”

为减少零分数据,妮基和团队提出两项要求。“第一,要化繁就简,”她说,“第二,业务单元必须迅速改进。”同时她强调要大处着眼,寻找问题根源:“我不会为偶发错误惩罚谁,至少开始时不会。”

她为业务单元设定的具体目标是,新井基础数据一次性准确率当年达到95%,第二年达到100%。“大多数部门经过努力可以实现这个目标,”妮基说。所有数据质量情况都公开在计分表上,“大家都看得到,可以通过对比,对自己的表现有更直观的了解。”

由于妮基没有框定具体的操作方式,业务单元各自使用了合适的方法,如每日数据总结会、精益西格玛(Lean Sigma)、内部竞赛等。“雪佛龙的员工很有创造力,绝不甘居人后,”妮基说,“如果他们认同某个目标,一定会千方百计实现它。”

大多数部门的表现证实了妮基的评价:8个月后,15个业务单元中的13个完成了准确率95%的目标,另外2个也在按部就班地努力。公司取得的成果令人惊艳。据我的经验,只要方法得当,大多数公司可以做得同样好。

直线经理负责制

企业内部通常缺乏数据提供者和使用者之间的沟通机制。例如,财务部只管出具业绩报告,却不了解其他部门的具体需求,如客服部可能需要更详细的相关数据以解决投诉问题。

如果数据质量问题愈演愈烈,企业通常要求IT部承担改进任务,并成立特别小组统一领导。IT部与各业务单元都有交集,让IT牵头似乎合情合理,但事实证明这往往是下策。我认为原因在于,低质量数据并不直接出自IT部。IT可以在数据提供者和使用者之间沟通协调、四处救火,但无法改进业务流程,因此只能治标不治本。

此外,IT部也没有全力以赴的动力。高质量数据会提升产品、服务和决策质量,业务部门获益最大,IT部却好处不多。如果数据质量低劣拖累公司表现,业务部门将不得不面对愤怒的客户和股东,IT部则体会不到这种痛苦。

明智的做法是,让数据提供者和使用者都对数据质量负责。我接触过的IT人普遍认为“业务部门对数据最终负责”,一旦认识到这点,企业会很快作出相应调整。莉兹·基希尔(Liz Kircher)是芝加哥投资研究机构晨星(Morningstar)的前任数据业务总裁,如她所说:“技术部不应负责数据,好比研究部不会涉足技术,它们有各自的价值。”

对大多数公司,重塑数据质量管理的最大障碍是管理者拒绝承认数据质量存在问题,或对低质量数据束手无策。公司内部或许会有人寻求改变:某位中层管理者终于忍无可忍,在局部着手改善数据质量,并可能取得一定成果;但由于她积极性不足或权限不够,变革只能局限在小范围,优质数据无法在整个组织内共享。

要想突破瓶颈,公司高层必须介入。在20年前发表于《哈佛商业评论》的名篇《美国制造:品质的复兴》(“Made in U.S.A.: A Renaissance in Quality”)中,约瑟夫·朱兰(Joseph Juran)指出,领导者应对质量直接负责。虽然朱兰讨论的是制造业,但这个观点对数据管理同样有效。面对数据质量问题的严峻挑战,领导者必须站出来承担责任。(译/王晨 校/陈晨)

托马斯·雷德曼是Navesink咨询集团总裁,著有《数据驱动》(Data Driven: Profiting from Your Most Important Business Asset,《哈佛商业评论》出版社,2008年)。他曾为本文中提到的部分公司提供咨询。

About 企业培训师吉宁

真正的实战派企业培训师,长期致力于人力资本、公司行为、市场营销、企业战略及领导力发展等组织实践与研究,数十年来参与及主持过的管理咨询项目累计逾千次;受邀主讲过的各类企业培训课程累计逾万次。吉宁老师还主导编写了12Reads系列等知名管理培训教材。