博亚 博亚体育 APP博亚 博亚体育 APP距离上一次专栏更新已有3年零5个月,期间也不是没写过文章,只因受疫情影响,很少再来知乎。近期查看留言,还有不少的朋友私信邀稿,那就多照顾照顾本专栏吧。
前面六章主要聊的是当时很热门的CRM体系,时至今日,数据服务已成为行业主要研究及发展对象。今天的第七章就来讲讲数据服务相关--数据治理。
通俗的讲,数据服务体系分为数据的“拿”、“存”、“理”、“用”。其中的“拿”就是离线+实时的数据获取;“存”就是将拿来的数据进行存储;“理”就是把存储的源数据按需进行加工、整理和分类存放;“用”就是按需将整理后的数据进行应用,包含分析、算法、业务反哺等。
数据治理是“理”中间的一个环节,将各种类型的数据进行标准化管理。狭义上讲,数据治理是指对数据质量的管理、专注在数据本身。广义上讲,数据治理是对数据的全生命周期进行管理,包含数据采集、清洗、转换等传统数据集成和存储环节的工作、同时还包含数据资产目录、数据标准、数据质量、数据安全、数据开发、数据价值、数据服务与应用等,整个数据生命期而开展开的业务、技术和管理活动都属于数据治理范畴。数据治理是数字化转型的基础。如果数据找不到、看不懂、不准确、不及时,这些都会成为企业数字化转型路上的重大阻碍。
在ToB服务领域,数据治理专注于将数据作为企事业单位数据资产进行应用和管理的一套管理机制,能够消除数据的不一致性,建立规范的数据应用标准,提高数据质量,实现数据内外部共享,并能够将数据作为组织的宝贵资产应用于业务、管理、战略决策中,发挥数据资产价值。
总的来说,数据治理就是用统一的数据管理规则来确保数据质量,让企业的数据简洁、易用、完整、一致。
数据治理治理最终的目标是赋能业务,提升数据价值。这是漫长的运营过程,需要制度计划、逐步完善、分布迭代。总的来说分为“术”和“道”两个层面。
数据治理不是一个项目而是一个持续的运营过程,数据治理是企业的顶层设计、战略规划,是数据管理活动的总纲和指导,指明了数据管理过程中的方针,更强调的是组织模式、职责、标准等。
数据管理是为了实现数据和信息资产的获取、控制、交付和提升,对这政策、实践、计划、执行、监督。更多的是管理流程和制度、覆盖不同的管理领域,例如:元数据管理、主数据管理、数据标注管理、数据指标管理等。
数据管控更多的是在执行层面,具体的落地执行各种措施。例如:数据建模、数据抽取、数据清洗、数据加工、数据分析等,确保数据被管理和监控,让数据得到更好的利用。
企业数十个系统烟囱式排布,各部门之间数据往往不畅通,很容易形成数据孤岛。怎么才能打通它们?怎么把控数据的质量?怎么让数据能被用起来?这些问题困扰着很多企业。而数据治理的方法,可以结合国际DAMA和国内DCMM标准,根据企业的实际需求,从业务端入手,结合企业真实业务体系和流程,梳理业务模式,从而将各业务体系、各部门所需数据进行体系化整合,设计针对各业务体系所需的数据蓝图规划和落地方案。这对顾问和数据工具产品要求比较高,所需能力为:数据治理体系建设方法咨询能力、数据治理产品工具能力、数据治理实施服务能力、行业指标体系构建能力等。
一个很容易答错的问题,企业的数据治理工作应该谁来做?大多数企业会把它当成一个IT信息部门的问题,所以就交给IT信息部门去做。但事实上,数据治理不是IT的问题而是业务的问题。
欧洲市场上售卖的鸡蛋,每一个上面都有一个编码,相当于这枚鸡蛋的身份证号。和我们的身份证类似,也是由几个关键信息组合而成。鸡蛋编码的第一个数字代表母鸡饲养的方式,后面是生产国的代码,产地区和农场的代码,这些组合在一起就是这枚鸡蛋的身份证号了。
别小看这几个数字,它们背后的逻辑是很严谨的。就拿第一个数字“母鸡饲养方式”来说,有四个级别,例如0代表生态饲养,这背后是什么规则呢?养鸡的场地室内每平方米最多只能有6只母鸡,每只母鸡还必须保证室外活动,每只至少要有4平米的活动区域。而且农场饲养母鸡的总数还不能超过3000只。符合上面这几条,这只鸡蛋的身份证才能被打上0这个数字。1代表野外饲养,刚刚说的那些指标就降低了一些,母鸡的活动范围小了,农场养鸡总数多了。2代表地面饲养,指标就更低一些,母鸡是不能外出活动的,3代表笼中饲养。你看,从0到3,是有非常严格的相应的指标规定的,不是随意制定的标准。最后,这个鸡蛋的身份证号在整个全欧洲都是通用的。
为什么要讲鸡蛋这个例子呢?我是想说,如果你把鸡蛋的身份证号工作直接交给IT部门,他们能完成吗?不能,因为他们技术再先进,也没有办法准确定义业务,了解业务的规则,只能是那些走访一线的业务人员,了解母鸡饲养环境,了解农场经营状况之后,才能制定出这样的业务标准,最后才能给鸡蛋打上身份证号。
回到我们的数据治理方法论,我们倡导的做法就是每一个数据必须由对应的业务部门承担管理责任,而且必须有唯一的数据物主。
什么是数据物主?数据物主最基本的职责就是要确保关键数据能被识别、分类、定义、制定标准化,确保数据的定义在公司范围内是唯一的。除此之外,数据物主还要保证自己数据的质量,要关注数据服务,且能满足公司其他部门对自己管辖的领域数据的需求。另外如果数据问题出现了争议,数据物主还负责进行裁决。
数据物主可能是市场销售人员,可能是业务模块负责人,但是不懂数据、缺乏数据思维,在数据管理这件事上就会出现数据物主水平参差不齐的情况,这时又该怎么办?我们可以参看华为的做法,为每一个业务部门都配备一个数据管理部,这十几个数据管理部的责任,就是帮助每个部门的业务主管从专业的视角,按规范去定义数据。这样还不够,他们还有一个公司级的管控组织,由各个领域的首席专家组成的委员会,在每周的会议上专门对数据架构进行评审,单个业务部门定不了的事儿,可以通过委员会讨论确定下来。我们很多企业也可以借鉴此方法,当企业人数不多的时候,我们可以为部门指定一名数据物主,专门负责数据相关工作。
很多企业把数据治理当成项目来做。企业都在说要打破数据孤岛,可同时又总是忘了,孤岛没有了就意味着数据被打通了,意味着数据是在各个业务系统中流动的,企业各个部门都要用。那当然就不能从某个时间、某个空间的节点来进行管理,必须要建立一个完整的体系。所以,第二个重要经验就是必须建立起一套企业级的数据综合治理体系。
首先,他们数据管理的总纲是由任正非签发,明确了华为数据治理的最基本原则。其次,还有三大政策,包括信息架构管理政策、数据质量管理政策和数据源管理政策。这些是华为数据治理的顶层设计,能够帮助华为里的所有人统一认知。更重要的是它在向每一个人传递一个明确的信号:数据工作对华为来说很重要,数据治理我们是认真的。除了这些原则政策,华为还成立了一个公司级的数据管理部,代表公司制定数据管理的政策、流程、方法和支撑系统。同时,华为的数据还有一套完整的IT系统,所有的数据资产都要在上面登记注册。华为的数据治理是一个完整的管理体系。有管理的原则、办法,有不同级别的管理组织,还有登记管理,跟一间工厂对生产原料、生产设备的管理方法差不多。当企业规模不大时,我们可以先制定大体系和战略规划设计,再逐步确认原则及政策。
总之,数据是一种新的生产要素,是企业的重要资产,那就应该像实物资产一样,有成体系的管理办法,才能为数据治理的高效运行提供保障。
业务物主有了,数据管理体系也有了,面对庞大到无限的数据,到底该怎么做?每个企业的业务不一样,数据治理的进度也不一样,华为的经验能复制吗?我们梳理华为的数据治理经验,有三个治理陷阱,是所有企业都会遇到的,我们可以参考华为的三个经验。
第一个陷阱:数据不分类。华为公司一开始的数据也是很笼统的,但逐渐我们发现,这样会严重阻碍数据治理。所以,我们把数据分成结构化数据、非结构化数据,内部数据、外部数据,等等。
企业千万别想着用“一招鲜”的方式去做数据治理,不同的数据,对数据精度的要求不同,治理的成本和方法也就不一样。举个例子,企业的主数据是最为重要的一个数据类别,对它的精度要求就很高。主数据一旦出错,治理的成本就会高出很多倍。华为是怎么避免这种情况的呢?拿公司名称来说,为了避免错字、漏字,方法是不让你输入,而是直接选择。华为在业务系统中直接接入了国家统一社会信用中心平台,中国所有的注册公司在里面都有准确的名称信息,使用的时候输入关键字就可以直接勾选而不会出错。
第二个陷阱:“埋头苦干”。我们发现很多企业把数据治理天然当成累活、脏活,认为是要“放长线钓大鱼”,从头开始慢慢干,先不想收益的事儿。
华为数据治理的经验就是盯着价值。华为的数据治理从一开始就关注业务痛点,从问题最大的地方开始。例如,华为的业务遍布全球,每个国家的行政区划都是一个大痛点。如果出现任何问题,许多其他系统将受到牵连,供应链可能在接收和交付货物时出错。数据管理部从这个痛点出发,对全球的行政部门进行了梳理,将需要的业务部门从一个统一的地方召集起来,增强了系统中数据的一致性,大大提高了一线业务人员的工作效率。这些可见的价值不仅让参与数据治理的同事得到积极的反馈,也让公司其他同事看到数据治理的好处,从而形成华为数据治理的良性循环。
最后一个陷阱:盲目上项目、盲目要结果。制度没成熟,业务也没定义清楚,但IT冲上去做了开发和系统搭建,结果就是需要花好几倍的精力去清理数据。所以企业需要先了解自己的业务数据,规划好自己的数据建设之路后,再逐步去实施系统。宁愿慢一点,也要想好了再做,一上来就开发系统的都是在浪费时间和资源。
目前市场上大部分企业数据治理都还有很长的路要走。不仅只是建立数据综合治理体系,构建“数据湖”数据底座,也需要建立数据感知能力和数据安全合规的能力。
数据治理的未来,是在数据确权的基础上,构建起企业的数据生态,让数据真正发挥出作为生产要素的强大作用,成为企业真正意义上的战略资源。这才能线的规划,“互联网+双创+中国制造2025”相结合进行一场新工业革命。