主页 ESB集成指南 主数据管理成熟度

该模型源自《DataFlux White Paper-MDM-Components-Maturity-Model》,本白皮书探讨了基于提供MDM服务的能力的成熟度级别,通过根据MDM相关组件层的成熟度来表示它们,企业管理层可以针对所需的MDM成熟度级别,设计开发一个主数据管理的实施路线图,用于指导企业主数据管理的实施和成功落地。DataFlux模型从数据架构、数据治理、数据管理、数据识别、数据整合、业务流程管理六个层面定义了主数据管理成熟度的核心影响要素,如下图所示:

主数据管理成熟度(MD3M)

了解MDM主数据成熟度

1、体系结构

MDM体系结构包含三层,即:主数据模型、MDM系统架构和MDM服务架构。

(1)主数据模型

要创建主数据时,需要将企业中相关实体存在的各种不同格式和结构的所有数据元素合并到一个能够适应这些差异的集中资源中,然后反馈到这些不同的表示中。这意味着必须有一个统一的主模型来充当核心存储库。数据模型是MDM工作的复杂但不可分割的一部分,需要将异构系统间的相关关键元素合并到一个模型中,主数据模型要能够适应相关异构系统的不同应用需求。推荐的做法是取各个系统主数据元素的交集部分+主数据的自然属性形成主数据模型。

(2)MDM系统架构

贯穿于主数据管理的整个生命周期(创建、变更、访问、注销),为主数据提供基础的管理和维护功能,可以针对特定的场景或应用(例如:产品或客户的管理)设置增强性功能。例如,某些属性信息可以在不同的时间通过不同的应用系统收集,如果允许不同的应用系统有数据的创建权限,则可以为每个应用系统调整创建服务以获取主数据所需的内容。这涉及多源头数据的归集,操作上需要慎重。我一般建议将主数据源头统一,如果实在统一不了,可以通过系统自动提取+人工干预的方式完成主数据属性的整合,形成完整数据视图。

(3)MDM服务架构

异构应用系统使用所需的数据对象服务可能会有一定的差异,所需的数据服务也有进一步的要求,例如同步、序列化访问控制、集成与整合、数据访问。通过部署可重用并且与业务流程关联的主数据服务,将业务应用系统分层到数据对象服务层,并对数据服务进行权限的划分。主数据服务架构关键点在于流程驱动、按属性授权。主数据管理本身也是一项业务活动,需要根据相应的业务规则按顺序流转;权限划分是指不同流程节点可以配置不同的数据属性,并且这些属性可以分配给不同的角色/岗位进行管理。

2、数据治理

DataFlux 认为数据的治理和监督应当作为企业千年发展目标的政策。由于MDM是一项企业倡议,因此必须保证利益相关者将遵守、管理、参与主数据的治理和数据共享。跨不同业务域应用的主数据管理将解决数据管理、所有权、合规性、隐私、数据风险、数据敏感性、元数据管理、主数据管理以及数据安全等问题。这些问题中的每一个都侧重于将数据技术和管理监督结合起来,确保组织遵守定义的制度和政策。

(1)数据标准化

对企业数据元的标准化定义,明确数据语义、取值。评估组织数据元素信息并将这些信息编制成业务元数据,形成了最终驱动和控制主数据对象的模型。有了这些数据元标准化定义,组织就了解了如何将这些定义解析为主数据的唯一视图。

(2)元数据管理

识别数据元名称、定义和其他相关属性的过程,除了收集有关潜在可用的大量数据元素的标准技术细节外,企业还需要确定: 每个数据元的业务用途, 哪些数据元定义涉及相同的概念, 不同应用程序如何创建、读取、修改或失效每个数据元,业务流程中的数据质量特征、检查和监控位置,等等这一系列的过程都是元数据管理。主数据管理的各个过程都是围绕元数据模型开展的。

(3)数据质量

业务绩效和运营生产力依赖于高质量的数据——在组织层面——成为任何MDM计划的核心能力。MDM的成功依赖于数据治理,但治理可以跨不同的业务域应用,为企业范围的部署提供规模经济。治理的各个方面至关重要,因为所有权模型和监督机制确保MDM环境中的参与者意识到信息的质量得到了积极管理。

3、数据管理

(1)唯一身份识别

每一个主数据对象类型都对应与真实世界的一个实体对象,每个实体对象都有一个唯一识别的身份,这意味着在主数据资源库中,需要为每个主数据对象提供相应的标识信息,用来识别和标识数据对象的唯一性。

(2)数据关系

主数据系统应具备数据关系管理的能力,例如:客户之间的关联关系,供应商与所提供产品的关系等等。这些关系反映在链接层次结构中,并提供支持这些连接管理的服务组件。笔者认为:“关系型主数据将在主数据管理中扮演越来越重要的角色”。

(3)迁移管理

与业务应用系统不同,主数据的集成、上线是一个需要过渡的过程。无论是逐步的过渡还是彻底的使用新标准、新体系,数据迁移计划通常都会使旧体系版本与标准化后的版本同时运行一段时间,以确保对新版本正确地满足业务需求的提高信心。

4、主数据建立

(1)标识解析

标识解析是指能够将两个或多个数据元素表示可以解析为唯一对象的一个表示,即:通过一定的数据元素的组合进行主数据的唯一性识别。标识解析是一项重要的主数据管理技术,目前该技术已被成功应用到国家工业互联网的战略布局中,通过将标识解析与互联网相结合,通过为每个机器、产品、零部件设置网络虚拟“身份证”,支持通过“身份证号”实现物料追溯、产品追踪,从而实现跨地域、跨行业、跨企业的信息共享。

(2)数据规则

在确定了数据的解析标识后,数据的规则算法就被应用到大量的记录中。  有一些规则可以被视为自动匹配,这些规则不仅依赖于相似性的量化,而且必须根据应用程序定义,数据规则用于数据的建立和数据的整合过程。

(3)查重与合并

使用标识解析来检查企业数据集,以区分表示唯一实体的记录,然后将其加载到规范表示中。应用数据规则寻找相似的数据记录,类似的记录要通过算法来鉴定每个数据属性中的值的相似度,为主数据的查重和合并过程铺平了道路。

5、主数据整合

主数据的目标不仅在于支持多个应用系统的集成,还能够为数据分析提供高质量的主数据。MDM系统建立数据服务层的核心主实体为建立一组分层的信息服务提供基础,以支持业务应用的快速和高效的开发。

(1)与数据源的集成

建立一个MDM系统将主数据统一管理起来,实现单一源头的主数据管理,而不使用这些数据是没有意义的,建立单一数据源的一个驱动因素是建立一个可以在整个企业中共享的高质量数据资产。这个目标需要双向数据流:主数据必须很容易地进入主数据库,并且企业应用程序也必须同样容易地访问这些数据。MDM系统必须以最小破坏性的方式适应现有的应用程序基础架构,同时提供一个标准化的路径,进行数据的转换和同步,为应用系统提供数据服务。

(2)主数据集成服务

随着MDM的深入应用,新的应用程序越来越多地依赖主数据对象及其相应功能的来支持新的业务体系结构设计。标准化的主数据减少了对传统面向数据的问题(例如,数据访问和操作、安全和访问控制或策略管理),使用MDM服务层整合应用系统,被越来越多的企业所青睐,这种方法还将为现有系统的整合和未来系统的设计提供额外的价值。

6、业务流程管理

基于业务流程驱动的主数据管理是MDM的主要手段。MDM系统设计中的一个关键因素是确保系统是业务驱动的,尽管MDM是一种技术,但人们普遍认为,在不将主数据管理的功能组件链接到相应的业务流程模型的情况下实施主数据管理是一种无用的活动,进一步强调了“流程驱动”在主数据管理中的重要性。

(1)流程模型

业务流程模型是一种逻辑表示,它以一种方式描述业务流程,并在适当的时间将适当的细节传达给适当的人。通常列举所涉及的过程、流程的输入、控制过程等方面、作为过程结果出现的事件以及过程的预期输出。本质上MDM也是一项业务活动,不同的主数据需要在不同的时间、由不同的人维护和管理不同的数据元素,而这个过程是依靠流程模型来驱动的。

(2)业务规则

在任何业务流程模型中,用于执行特定操作的逻辑将主数据对象的值的评估和定义的控件结合在一起。检查这些值以确定要采取的操作,这些操作将创建新值并触发新控件。

(3)MDM业务组件层

在通过业务流程建模和集成组件的定义和需求以及通过基于规则的系统实现业务规则的基础上,是业务组件层。在这一层,我们可以开始创建更复杂的可重用业务服务,包含数据的映射、转换、同步、访问等。

主数据管理能力等级

DataFlux定义成熟度模型的目的并不是提供一个基准来衡量所有MDM成熟度能力。 相反,许多组织已经设计、架构和部署了所描述功能的相关版本。 因此,成熟度级别描述了如何为主数据的存储和利用已部署的组件或服务。 同时,它还指出了促进更复杂的应用系统对主数据依赖所需的功能和组件。

DataFlux模型将组织的主数据管理成熟度划分为5级,分别是:

  1. 初始级

主要特点: 缺乏对主数据管理目标和价值的认证,未开展主数据管理活动。

解读分析: 在初始级,利用主数据的可能性是有限的,但是有某种程度的认识到某些数据集存在多个副本,并与多个应用系统相关联。 部分业务或技术人员准备探索整合数据集以实现某些应用集成或数据分析的目的。

  1. 反应级

主要特点: 企业充分认识到了主数据多副本的问题,并正在尝试解决这一问题。

解读分析: 企业对多个异构系统之间的信息孤岛问题、数据不一致问题有了深刻的认知,并且这些问题对企业造成了一定的困扰,企业正在尝试通过一定的管理或技术手段解决这一问题。 企业购买了一些软件和工具,尝试进行将不同应用系统间元数据的整合。

  1. 被动管理级

主要特点: 通过主数据管理解决了单一领域和单一业务的数据问题。

解读分析: 对于主数据的管理重点可能集中在单个领域,解决特定的问题,实现了单一业务线条的数据统一。 管理级还允许企业对新应用程序和现有应用程序的数据进行整合,整合和同步成为了主数据的重要特点。

  1. 主动管理级

主要特点: 自动化的流程驱动数据管理,应用系统通过服务层与主数据库集成,如标识解析、层次结构管理、映射管理、转换管理。

解读分析: 随着组织建立起相应的主数据模型和数据服务体系结构,在减少单个应用系统对复制数据的依赖方面变得更加熟练。 主动式管理能够更好地在客户、供应商和供应商级别建立关系,基于汇总和整合数据的完整数据模型作为核心企业资源进行管理,数据治理在整个组织中有效,对业务和管理都起到了一定的支撑作用。

  1. 战略绩效级

主要特点: MDM与面向服务体系架构相结合,为企业应用系统的操作和分析需求的提供高质量的数据保障。

解读分析: 处于该层次的主数据管理结合了先进的技术,与商务智能分析形成双向互补机制,主数据为商务智能提供可靠的数据,商务智能的相关分析结果可以作为主数据对象进行管理,从而为用户提供更有效和一致的预测分析,为降低企业成本、提升企业绩效提供支撑。