编者按:
人生就是搏科技在大数据领域始终维持足够的技术敏感度,并堆集了丰硕的经验与资产。为此,我们组织了一个系列专文,吩熠颁发,与您一路索求更适合当下行业发展的数据观,欢迎各人持续关注。
在前一篇文章《数据架构是治理数据的基础》中,我们回首了数据治理领域具体实际过程与反思、数据架构的内涵以及利用架构、技术架构的关系,以为应该以企业级的架构视角来治理与使用数据。本文将进一步萦绕企业数据模型主题,探求若何执行有效的数据治理。
作者|人生就是搏科技大数据钻研院
内容|本篇共3427字,预计阅读功夫12分钟
越来越多的企业意识到数据身分对企业的意思,意图从数据中挖掘出更多的业务价值,成百上千的数据库,数十万张表,就是企业的数字资产金矿。他们大量采购表部数据,在WAP与WEB中大量埋点跟踪用户行为,应采尽采,源源不休流入数据湖中。他们在使用数据时才意识到自己不知路有什么数据,该若何解读与使用数据,已知的数据多数存在必要治理的各类质量问题。
数据治理的界说是对数据资产的治理行使权威与节造(规划、监控和执行),对企业中使用的数据的可获得性、可使用性、齐全性、一致性、可审计性和安全性进行全面治理。数据治理的主张是确保凭据政策和最佳实际对数据正确地进行治理,数据治理的驱动力通常集中在降低风险与改进流程上(DAMA-DMBOK2)。
目前数据治理工作中的问题与误区
金融行业已经经历了比力久的数据治理过程,一些企业堆集了丰硕的数据治理经验,无论执行蹊径,解决规划,还是具体执行,若是没有抓住沉点,治理工作很难获得内容改进成效。
目前数据治理工作或多或少存在一些问题,重要阐发为:
沉建章立造,而很少深刻到现实业务与数据之中去发现与解决现实问题,脱离现实数据治理活动;
数据治理工作常被设计为一个或若干个项目,没有作为一项日常工作来做。早期有些企业轰轰烈烈启动了项目,造订了激进的打算,一旦遭逢打击便偃旗息鼓;
数据的开发、治理与使用,没有章法,没有合作。如,盘点数据资产时,深度陷入字段级沼泽,迟迟得不到输出,而业务系统、数据分析利用一向在动态变动中,与数据治理各行其是,因而输出的数据资产清单新鲜度低,可用性差;
数据治理时时被当作沉要而不垂危甚至是不沉要、不垂危的工作,在面对垂危的业务需要时,常受所谓的火速开发滋扰,一壁治理问题,一壁造作问题。
有些企业虽经过10多年的数据治理,但没有获得内容进展,仅是低水平的沉复:数据资产急剧膨胀,但高价值资产不多;日常工作效能不高,持久见效缓慢;系统建设周期性推倒沉来,没有堆集沉淀;数据建设、使用与治理的成本以及被监管部门的处罚持久居高不下。越来越多的数据治理部门意识到数据治理工作陷入了困境,步履维艰。
重要原因能够综合为以下几个方面:
数据治理凭据不充分:数据治理的立法与司法职能欠缺,数据治理者法律凭据不美满,没有得到高层治理支持,没有执行力;
没有达成一致的指标:征询可能提出了一个浮泛的或不切现实的指标,开发部门以急剧支持业务为指标,甚侄裣癌部门以增长数据资产为指标,都不以界说与交付高质量资产为前提,没有意识到高质量的数据带来的价值;
蹊径不清澈:有些走过场的数据治理征询项目交付了一条没有若何达到指标、没有实操的执行蹊径,甚至可能数据治理走出的第一步就错了;
职责不明确:数据出产者、消费者与治理者等父叩人之间关于数据治理的认知存在巨大的差距,职责不明确,出产者不合自己出产的数据掌管,治理部门对资产的膨胀短缺有效节造;
专业能力不及:受过数据治理专业培训的人员很少,合格数据治理专业人员更少,没有形成数据治理文化与社区;
不足有效的工具:短缺便于出产者、治理者和消费者之间沟通合作的工具来支持日常数据治理工作,以提升工作质量与效能。
充分利用企业数据模型驱动数据治理工作
优良的数据治理工作除了设立组织机构、建章立造之表,还必要设置和强造执行数据质量和数据架构尺度,作为治理与行政的凭据,确保数据在全企业领域内被正确、一致的界说、产生和使用。
很多企业的数据治理工作通常先造订数据尺度,以数据尺度为凭据治理数据。数据尺度仅是衡量数据质量的参考凭据之一。
很无数据尺度没有成立清澈的概想与逻辑关系,短缺理解尺度目录的词汇与分类系统,使用者不明显数据尺度背后的逻辑,没有公共理解的基础,数据治理工作大多仅限于治理孤立的数据类型与码值;
以Excel、Word、PPT等文件大局展示的数据尺度,所能表白的内容很有限,所能怀抱的数据质量维度也有限,数据的齐全性与一致性不是其钻营的指标,不能直接转化为能够执行的细节与执行的凭据;
把执行宽泛的大而全的数据尺度作为数据治理的切入点或启动项目不是一个好的选择。大而全的数据尺度可能还没有执行就已经过期。
企业数据模型使数据治理真正成为现实。企业数据模型作为业务元数据,提供了数据的参考分类框架、关键实体与关系的界说,以及企业数据元素的尺度界说,作为支持数据治理利益有关者合作、自主服务和数据资产索求等主题基础设施,为明确数据治理指标形玉成面的认知与共识,为若何成功执行达到指标奠定基础。
对数据进行分类,是理解数据对数据进行治理的第一步。数据模型是一种本体论模型,它首先界说数据类别,使用既定的规定网络、治理这些分歧类别数据。企业数据模型主题域清单表白企业最关键的领域——是最沉要的分类步骤之一。银行业数据尺度的主题划分通常参照成熟的行业数据模型,每个主题之下的划分尺度,各家银行有比力大的差距;
对数据有正确的界说与一致的理解,是衡量数据是否切合要求,进行数据治理活动的基础。许无数据问题是由于各类概想没有清澈的界说造成的;
数据之间的关系表白了业务规定,是企业数据实现与使用必要遵循执行的凭据,但这一点普遍被忽视;
企业数据模型能够援手数据治理人员鉴别和定位敏感数据,设计分歧用户接见节造权限以强造执行机密性、齐全性与合规,确保敏感数据得到;;
企业数据模型援手父叩人站在企业的视角而不是局限于某个特定的系统或特定的数据集,能够发现影响全局的系统性问题,而不是一个部门领域,或者某个设计师的问题,能够对症下药,沉点解决系统性的问题,推动高效治理。
数据的界说、分类与关系的表白大局是ER模型图,模型的可视化带来敦睦性,能够面向各类人员,因而企业数据模型是数据治理必不成少的基础设施工具。
企业数据模型通常选取IDEF本体论建模图形化步骤,易于理解,便于分歧的用户会商、辨析与界说数据表白的本体,使各类用户的认知达成一致;
基于企业数据模型规划数据治理工作,援手造订若何达到指标的执行蹊径与持久渐进的打算。在模型系统领导下,自上而下从关键的主题起头(如跨各业务系统的参加人、机构、员工等,高级治理人员不被细节所困扰,执行人员更容易理解和消化沉点)逐个主题、逐个关键实体稳步推动,自下而上从关键的属性起头治理(如证件类型、币种代码等);
基于企业数据模型铺排责任分工与合作,支持日常数据治理工作。将明确的、通明的、正式的责任和行动利用于组织与流程实际,成立相互合作信赖,保障每项数据治理工作都有明确的治理内容与RASCI责任人,确保它处于受控状态,提升数据治理执行的效能与绩效;
基于企业数据模型系统有效治理数据资产,领导、盘点数据资产。成立统一的数据资源目录统一治理守护,预防陷于治理沼泽,援手数据治理人员获得数据资产状态信息,哪些方面存在问题以找出必要治理的有毒资产,哪些得到了加强和改进,作为最终用户跟踪、节造、判断是否切合数据治理要求的衡量参考尺度,提高交互效能,削减沟通成本。
企业数据模型是企业连绵数十年的堆集,覆盖业务经营、治理和决策数据需要,是数据领域持久发展的不变基石,预防新数据问题的产生,支持可持续发展。
银行的业务发展变动是相对不变的,业务逻辑很少产生颠覆性的扭转,业务的变动同步更新到企业数据模型中。企业数据模型是新系统开发的关键输入与数据需要和建模的基线,领导和规划业务系统与分析系统的模型设计,能够预防数据问题的产生;
由于技术的急剧发展以及企业利用架构的优化,很多银行业务利用系统每隔若干年城市大规?ⅰ靶乱淮。沉用企业数据模型的组件,监控新系统的数据模型设计与数据散布,能够削减大量数据沉构与迁徙工作,提升数据的质量,;ず骨嗤蹲,实现可持续发展;
数据治理不应仅专一于数据的治理而忽视数据散布流转的治理,不合理的利用架构与数据流转造成的数据问题往往是成片成面的,甚至是苦难性的。如一些业务系统数据经过数据中台或ODS复杂的整合,作为数据仓库模型的贴源区,不只拉长了加工蹊径,大大降低了时效性,由于数据中台或ODS的整合可能使源数据面目全非,导致数据仓库在设计模型时很难还原出业务源模型,这样混乱的数据流架构在正本数据质量不高的业务数据中造作了更多的垃圾。
写在最后
做正确的事,正确地做事。只有站在企业架构的高度,萦绕企业数据模型主题,关注技术架构与利用架构对数据可能造成的负面影响,明确各自的职责,达成一致的指标,提升专业能力,精心设计专业科学的步骤与清澈的执行蹊径,能力执行有效的数据治理,与利用架构、技术架构协同支持业务指标的实现!