本资料来源公开网络仅供个人学习请勿商用如有侵权请联系删除。
数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合以保障数据及其应用过程中的运营合规、风险可控和价值实现。
数据治理体系是指从组织架构、管理制度、IT应用技术、绩效考核等多个维度对组织的数据架构、元数据、数据质量、数据标准、数据安全、数据生命周期等各方面进行全面的梳理、建设并持续改进的体系。
结合当前行业组织信息化发展过程中数据业务相关的应用需求以“风险可控、运营合规、价值实现”为数据治理总体目标
1)运营合规组织应建立符合法律、规范和行业准则的数据合规管理体系并通过评价评估、数据审计和优化改进等流程保证数据的合规性促进数据价值的实现
2)风险可控组织应建立、评估数据风险管理机制确保数据风险不超过组织的风险偏好和风险容忍度评估、指导和监督风险管理的实施
3)价值实现组织应形成统一的数据驱动和数据价值理念完善价值实现相关要素的定义、应用、调整助力组织加快实现数字化进程。
数据治理管控目标是提高组织数据的质量准确性和完整性保证数据的安全性保密性、完整性及可用性推进数字资源在组织各机构部门间的高效整合、对接和共享从而提升组织整体数字化水平充分发挥数据资产价值。
数据资产意识在各组织机构中已经得到充分的认可但目前各组织单位对数据资产的管控状况依旧不容乐观制约了组织数据质量的进一步提高同时也限制了数据价值的实现。根据行业信息化与数据治理发展现状各组织单位现阶段对数据治理的需求主要存在以下五大方面
1)需要专门对数据治理进行监督和控制的组织。信息系统的建设和管理职能分散在各部门致使数据管理的职责分散权责不明确。组织机构各部门关注数据的角度不一样缺少一个组织从全局的视角对数据进行管理导致无法建立统一的数据管理规程、标准等相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立无法保障数据管理标准和规程的有效执行。
2)需要规范统一的数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求逐步建立了各自的信息系统各部门站在各自的立场生产、使用和管理数据使得数据分散在不同的部门和信息系统中缺乏统一的数据规划、可信的数据来源和数据标准导致数据不规范、不一致、冗余、无法共享等问题出现组织机构各部门对数据的理解难以应用一致的语言来描述导致理解不一致。
3)需要规范统一的主数据。组织机构核心系统间的人员等主要信息并不是存储在一个独立的系统中或者不是通过统一的业务管理流程在系统间维护。缺乏主数据管理使得主数据在整个业务范围内保持一致、完整和可控无法保障从而无法保证数据的准确性。
4)需要统一集团化的数据质量管控体系。当前现状中数据质量管理主要由各组织部门分头进行跨部门跨机构的数据质量沟通机制不完善缺乏清晰的跨部门跨机构的数据质量管控标准与规范数据分析随机性强存在业务需求不清的现象影响数据质量数据的自动采集尚未全面实现处理过程存在人为干预问题大多数部门存在数据质量管理人员不足、知识与经验不够、监管方式不全面等问题缺乏完善的数据质量管控流程和系统支撑能力。
5)需要基于数据全生命周期的治理。目前大型集团或政务单位数据的产生、使用、维护、备份到过时被销毁的数据生命周期管理规范和流程还不完善不能确定过期和无效数据的识别条件且非结构化数据未纳入数据生命周期的管理范畴无信息化工具支撑数据生命周期状态的查询未有效利用元数据管理。
组织构建数据治理体系主要围绕数据治理核心域、数据治理管控机制、IT工具支撑、数据治理管控宣介以及数据治理实施路线规划五个方面展开。具体内容及相互关系参见下图
有效的组织架构是项目成功的有力保证为了达到项目预期目标在项目开始之前规划符合组织当前数据治理理念的组织架构和职责分工是非常必要的如建立数据治理委员会、数据管理委员会、数据管理团队、数据质量团队、数据安全团队、数据技术团队等。一般建议组织采用如下图所示的组织架构
数据治理委员会由组织高层领导者组成。委员会定义数据治理愿景和目标组织内跨业务部门和IT部门进行协调设置数据治理计划的总体方向在发生策略分歧时进行协调。委员会也将包含来自部门或子公司的领导代表以及来自数据为组织资产的信息科技部门代表。这些高层管理人员是数据治理计划的所有拥护者确保在整个组织内获得支持。
数据治理工作组是组织内委员会下面的下一个级别。工作组执行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各局领导主持。
每各业务部门有至少一位业务分析员信息科技部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量履行职责解决具体的问题。博亚 博亚体育 APP
根据数据管理工作的实际需要在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。
1)从战略角度来统筹和规划对数据资产和系统进行清理确定数据治理的范围明确数据源的出处、使用和管理的流程及职责
4)负责审查各工作小组的目标、原则批准数据管理的相关制度、标准及流程
1)负责数据治理的牵头组织、指导和协调组织的数据治理工作
2)综合数据治理管控办法、数据治理考核机制等有关规章制度的牵头制定、修改等
5)建立数据冲突的处理流程和数据变更控制流程
工作组成员业务分析员、数据质量分析员、数据管理员、集成开发员
这些不同的角色在数据治理过程中承担着彼此不同而又相辅相成的职责。
集成开发人员在数据治理流程中需要肩负起数据访问、验证数据结构、验证数据、交付数据以及数据库/知识库的构建等角色其主要工作职责作包括
数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等其主要工作职责作包括
3)实施被业务人员和数据管理员定义正确的数据质量规则
业务分析人员在数据治理流程中负责定义数据的转换规则其主要工作职责作包括
2)与开发人员和数据管理员协作为业务用户缩短数据产生价值的时间。
数据管理员需要定义引证数据并管理元数据其主要工作职责作包括
1)保证数据的质量、正确、完整、一致、审计及安全性
数据治理章程类似于企业的公司条例该章程用以明确数据治理相关战略规划、合规管理和控制、标准和规范如《数据治理工作管理办法》加强组织数据治理管理能力满足组织数据治理的要求统一数据标准提高数据质量深化数据应用支撑业务发展提升管理水平及合规监管要求。
数据治理管控办法是基于规章制度与工具的结合可落地的操作的办法用以完善数据管控相关的规章制度起草、审核、落实、监督的部门和管控机制明确各数据管理活动的人员角色和职责、管理内容和相关流程一般组织会设置《数据标准管控办法》、《数据质量管控办法》、《数据质量评估办法》、《元数据管控办法》等。
考核是保障制度落实的根本建立明确的考核制度实际操作中可根据组织情况建立数据治理管控相关的考核指标、制度和办法不断优化相关机制。一般组织都会针对数据标准管理、数据质量管理、元数据管理等核心治理域设置相关的考核机制与指标并与个人绩效相关联。
数据管控流程是基于数据治理各核心领域的工作目标在数据治理组织下明确各参与方的工作步骤、工作任务以及流转方向。数据治理流程的设立是数据治理核心领域内容得以贯彻执行的基础通过将数据治理任务进行分解最大程度提高数据治理的执行效率降低管理成本。
数据治理管控流程包括流程目标、流程任务、流程分级根据数据治理的内容建立相应流程且遵循组织数据治理的规则制度。实际操作中可结合所使用的数据治理工具与数据治理工具供应商进行协商建立符合组织的流程管理。
数据管控流程的设计应从组织实际出发充分考虑组织的业务特点、管控模式以及数据管控的应急响应同时将数据管控流程固化在相应的管理工具或平台实现各数据管理流程的自动化、可视化和实时监控。
数据模型是数据构架中重要一部分包括概念数据模型、逻辑数据模型和物理数据模型是数据治理的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个组织的业务范围以一种清晰的表达方式记录跟踪组织的重要数据元素及其变动并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一的业务定义。为了满足将来不同的应用分析需要逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余并保障结构具有足够的灵活性和扩展性。物理数据模型是逻辑数据模型在数据库中的具体实现是数据库系统中实际数据的定义或主机文件系统中的文件结构定义内容包括数据库内所有的表、视图、字段及其相关主键和外键的定义以及系统内数据流向及系统间的数据交换关系。
元数据是关于数据的数据描述了数据定义和属性。主要包括业务元数据、技术元数据和管理元数据。元数据管理的目的是厘清元数据之间的关系与脉络规范元数据设计、实现和运维的全生命周期过程。有效的元数据管理为技术与业务之间搭建了桥梁为系统建设、运维、业务操作、管理分析和数据管控等工作的开展提供重要指导。元数据管理的内容主要包括元数据获取、元数据存储、元数据维护变更维护、版本维护、元数据分析血缘分析、影响分析、实体差异分析、实体关联分析、指标一致性分析、数据地图展示、元数据质量管理与考核等内容。
数据标准是组织建立的一套符合自身实际涵盖定义、操作、应用多层次数据的标准化体系。数据治理对标准的需求可以划分为三类即基础类数据标准、指标类数据标准和专有类数据标准。基础类数据是指组织日常业务开展过程中所产生的具有共同业务特性的基础性数据。基础数据可分为客户、资产、协议、地域、产品、交易、渠道、机构、财务、营销等主题。指标类数据是指为满足组织内部管理需要及外部监管要求在基础性数据基础上按一定统计、分析规则加工后的可定量化的数据。专有类数据标准是指公司架构下子公司在业务经营及管理分析中所涉及的特有数据。
数据质量不高将影响数据应用程度。数据质量管理包含对数据的绝对质量管理、过程质量管理。绝对质量即数据的准确性、完整性、一致性等是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量。
一是准备性在转换、分析、存储、传输、应用流程中不存在错误
二是完整性数据库应用或要求的所有记录、字段都存在
三是一致性体现在整个数据库的定义和维护方面确保数据在使用的整个过程中是一致的
四是时效性衡量指标是在指定的数据与真实的业务情况同步的时间容忍度内即指定的更新频度内及时被刷新的数据的百分比
一是数据质量管控体系的建立包括数据质量的评估体系定期评估数据质量状况
二是在部门各个应用系统中的落实包括每个应用系统中的数据质量检查等
三是在最开始建立数据质量管理系统的时候借助数据治理平台上通过建立数据质量管理的规则来集中化地建立数据质量管理系统发现问题并持续改进
四是数据质量管理与业务稽核的结合通过业务规则的稽核来发现数据质量深层次的问题将数据质量与业务一线c;使业务人员对数据质量问题有更加清晰和明确的认识。
完善的数据质量管理是保障各项数据治理工作能够得到有效落实达到数据准确、完整的目标并能够提供有效的增值服务的重要基础。
主数据管理要做的就是从各部门的多个业务系统中整合最核心的、最需要共享的数据主数据集中进行数据的清洗和丰富并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给组织范围内需要使用这些数据的操作型应用系统和分析型应用系统。
因此对于主数据管理要考虑运用主数据管理系统实现主数据管理系统的建设要从建设初期就考虑整体的平台框架和技术实现。
由于组织的重要且敏感信息大部分集中在应用系统中数据安全更是至关重要。如何保障数据不被泄露和非法访问是非常关键的问题。数据安全管理主要解决的就是数据在保存、使用和交换过程中的安全问题。
一是数据使用的安全性包括基础数据的保存、访问和权限管理
二是数据隐私问题系统中采集的敏感信息在下游分析系统和内部管理系统中是否要进行加密以避免数据被非法访问
三是访问权限统一管理包括单点登录问题及用户名、数据和应用的访问授权统一管理
四是数据安全审计为数据修改、使用等环节设置审计方法事后进行审计和责任追究
五是制度及流程建立逐步建立数据安全性的管理办法、系统开发规范、数据隐私管理办法及相应的应用系统规范、在管理决策和分析类系统中的审计管理办法等
六是应用系统权限的访问控制建立集团级权限管理系统增加数字水印等技术在应用系统中的使用。
数据生命周期管理一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。
数据应该能够按照数据质量标准和发展需要产生应采取措施保证数据的准确性和完整性业务系统上线前应该进行必要的安全测试以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问题对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。
这个阶段除了关注保密性、完整性之外更要关心数据的可用性对于大部分数据应采取分级存储的方式不仅存储在本地磁盘上还应该在磁带上甚至远程复制到磁盘阵列中或者采用光盘库进行存储。对于存储备份的数据要定期进行测试确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要可能对数据进行修改必须在数据管理办法中明确数据修改的申请审批流程审慎对待后台数据修改。
信息化相关部门需要对数据进行分析处理以挖掘出对于管理及业务开展有价值的信息为保证过程中数据的安全性一般应采用联机处理系统只输出分析处理的结果。但是实际中因为相关数据分析系统建设不到位需要从数据库中提取数据后再对数据进行必要的分析处理在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等。
这个阶段主要涉及数据的保密性。应明确数据销毁的流程采用必要的工具数据的销毁应该有完整的记录。尤其是对于需要送出外部修理的存储设备送修之前应该对数据进行可靠的销毁。
数据整合归集最终目的就是要服务于各机构部门、人员等能更准确更快更方便的服务是数据服务管理的目标。
数据服务管理是指针对内部积累多年的数据研究如何能够充分利用这些数据分析行业业务流程优化业务流程。数据使用的方式通常包括对数据的深度加工和分析包括通过各种报表、工具来分析运营层面的问题还包括通过数据挖掘等工具对数据进行深度加工从而更好的管理者服务。通过建立统一的数据服务平台来满足针对跨部门、跨系统的数据应用。通过统一的数据服务平台来统一数据源变多源为单源加快数据流转速度提升数据服务的效率。
数据治理平台/工具是支撑公司数据治理体系和制度办法在流程上的执行落地以最大限度地实现公司数据治理工作的自动化提升数据治理能力和数据服务水平。
目前市场上关于数据治理平台存在不同的成熟产品但在功能实现上大致相同具体可参加下图了解。
技术规范是保障数据治理平台可持续管理的基础随着数据量的增长、技术水平的发展为更好、可持续的实现数据资产的管理、应用需建立明确的技术规范。结合数据治理相关管控制度和流程构建组织的数据技术规范包括数据应用研发规范、数据架构规范、门户数据整合规范、数据存储规范等。
在数据治理体系建设和完善的基础上调研分析数据治理产品和工具结合组织实际应用需求形成相关的数据治理产品选型标准和建议。
结合组织数据治理现状、数据治理体系建设、数据治理未来愿景、组织团队建设以及信息系统建设等构建具有针对性的数据治理管控宣介方案形成数据治理的全员意识为组织数据治理的成功实施提供保障。博亚 博亚体育 APP
数据治理是一项长期的复杂工程其涉及面之广且深。为了更好地落实数据治理工作的开展组织数据治理工作需要根据其当前的现状和水平分阶段的逐步开展因此有必要制定组织未来三年的数据治理实施路线c;明确数据治理实施路径形成相关指引为其IT战略和数据战略以及公司发展战略规划提供支撑。
1)结合组织数据成熟度评估现状、战略愿景、治理目标考虑未来三年数据治理推进的重点工作
2)结合组织未来三年数据治理推进的重点工作从IT投资、人力支持、重要程度和技术难度等维度开展数据治理实施的优先级分析明确相关重点推进工作。
目录 2600. K 件物品的最大和 2601. 质数减法运算 2604. 吃掉所有谷子的最短时间 2607. 使子数组元素和相等 2611. 老鼠和奶酪 2614. 对角线. 使数组所有元素变成 1 的最少操作次数 2679. 矩阵中的和 2681. 英雄的力量 2682. 找出转圈游…...
PHPHypertext Preprocessor是一种广泛应用的开源脚本语言特别适用于Web开发。本文将深入探讨PHP的基本语法包括变量、数据类型、运算符、控制流等方面的内容。我们将详细介绍每个主题的基本概念、语法规则和常见应用ÿ…...
在JavaScript中解构赋值是一种方便地从数组或对象中提取值并赋给变量的方法。 它允许你使用一种简洁的语法来快速访问和使用数据。 对于数组解构赋值你可以使用方括号[]来指定变量名并将其放在赋值语句的左侧。例…...