以“元”为始--浅谈元数据管理实践
高等教育信息化过程中所选型系统和设备的生产厂商不尽相同，不同系统之间没有相互关联和互通 。随着系统逐步建设，其基础数据分布杂乱分散、数据逻辑无序割裂。不同设备不同系统间相互堆叠，彼此形成相对封闭和繁杂的管理方式，逐渐形成了众多的“信息孤岛”。数据资源散落在多个业务系统中，数据从生产到使用中间流程不清晰，学校管理人员无法及时感知数据分布与更新情况，无法进行数据可视化及全局数据查看。
现有的数据处理过程是这样的：当业务场景中的应用数据出现问题时，往往需要由故障现象定位故障数据，进而通过技术分析找到底层逻辑，经过一系列“顺藤摸瓜”之后才能锁定故障源。如此往复，工作量巨大繁琐，且难以形成标准化解决思路和方法，如遇到底层数据和逻辑发生变动，其故障判断口径会失效，需要进行新的“顺藤摸瓜”式摸索和判断。
现有情况下，汇报管理和规划管理工作往往受数据信息时效性限制，无法精确管理业务发展和建设状态，无法分辨和标识已有系统的建设状态、待建设状态和中止状态，造成资源利用的浪费。更为严重的是，模糊的数据基础无法为整体业务规划和业务建设提供真实有效的信息支持，进而影响工作进度，甚至带来一定的工作风险，造成业务主体信息化整体建设进度的落后。
信息中心归集汇总的系统数据缺乏全面的属性说明，且数据命名标准不一，难以理解其业务含义，带来使用上的不便，不具备有效的数据价值。
高校的业务数据类型繁多，包括传统数据库信息、线下数据、半结构化数据等，各种数据散落到各业务系统，难以产生有效的关联。基于教育工作的发展历史悠久，部分数据关系和接口信息维护已经缺失，无法建立有效的对应关系和关联组合。
元数据模块功能架构图
针对以上数据管理难题，时汇高校数据治理“元数据”模块可以很好地对多元异构数据源进行统一管理，“元数据”模块具有以下功能：
◆元数据采集：具备不同类型元数据自动化采集的功能，可以通过业务规则进行数据过滤和数据采集，可以覆盖传统数据库、ETL工具、excel、非结构化数据等类型。
◆元数据总览：基于元数据统计各业务部门的元数据情况，包括变更情况、分布统计等内容。
◆元模型管理：用户可以进行元模型的设计、管理、导入导出等操作，从业务层面对元模型进行核查维护、功能升级或者自定义扩展。
◆元数据变更分析：提供各类元数据的修改、变更等基础维护功能，并形成版本管理，进而对不同版本之间的差异进行分析。
◆数据血缘分析：可基于ETL集成工具和数据模型的关联自动生成血缘分析，进而追溯到相关联的表格和字段。通过对数据间血缘关系的可视化应用分析，可以查看数据的上下游逻辑关系，以便进行分析判断和问题定位。
◆数据地图：对数据进行全生命周期展示，展示从源、数仓到应用的全链路关系数据字典管理：能够基于系统、部门和数据库维度展示其数据字典，能够基于平台维护其业务信息，增强业务理解。
在实际工作中，我们以全域采集为工作中心，基于数据中心对数据进行分类管理，按全生命周期进行拆分，分为：调研、采集、整合和运维。在此过程中，元数据是业务系统和数据资产的核心点，连通业务部门和信息中心的纽带。元数据的管理包括：技术元数据、业务元数据和管理元数据。其中，技术元数据即为常见的实体表，数据字典等信息；业务元数据即为一些涉及报表的业务指标，业务标准等内容；管理元数据即为高校内部人员、组织架构信息等。
在这个阶段中，需要对现有高校的数据资产情况进行统筹，了解具体业务系统的运行情况，梳理不同系统在高校整体业务中的结构和功能，通过梳理以明确各系统的业务优先级，往往可以以某一两个系统为切入点进行定点梳理。在梳理工作的同时，还需要实现一系列准备工作：梳理系统信息的调研收集、新增数据库访问用户权限、网络权限的开通等。调研收集是此阶段的工作重点，需要重点获取以下内容：
➊ 系统运行在什么数据库环境下？系统对应的数据表有多少个？（范围确认）
➋ 系统目前能通过什么途径/方法可以筛选出核心的表？（业务确认）
➌ 是否拥有一个独立的数据管控组织，负责对数据资产进行维护？（组织架构）
➍ 系统内部之间的数据流关系是怎样的？是否都具备文档或者数据模型说明？（数据交换）
➎ 数据流关系展示下钻到什么程度？是否需要到字段级别？（数据地图展示）
采集阶段可以将高校资产数据进行统一采集，并形成相应的核心表记录。核心表包括主数据和参考数据两部分，主数据是高校“黄金数据”，参考数据能够为业务部门提供数据分析基础。通过核心表的梳理和建立，可以进一步梳理和细化数据的核心字段，这部分工作可以加强业务部门的数据沟通和交流，共同完成治理工作，在整个过程中，通过关联业务之前的条件过滤和条件组合，可以从数据源头进行数据质量提升，加强业务预防工作能力。
本阶段的工作重点在于系统梳理过程汇总涉及庞杂的文档梳理和系统对接，需要对工作内容进行整理和梳理，并对相应的文档进行规范化管理，根据经验，可按需excel文档记录、数据库关联分析等方法来推动工作的快速开展。
整合阶段的工作重心在于梳理表与表之间、系统与系统之间的关联，除了业务部门之间的协同配合外，还需梳理大量的接口文档，包括非规范性文档和信息。整合工作可以对高校整体资产数据进行统一管理，形成数据之间的流向记录，起到对业务工作的全面核心支撑。
本阶段的工作重点在于同步开展数据治理和业务开展工作，在工作中逐步完成数据收集和确认，同时根据实际业务需求对元数据进行调整和修正。
完善的元数据运维机制能更好地维护元数据完整性和业务权威性。业务系统中发生业务变更，需要修改、新增、删除数据库信息时，业务系统需在元数据管理平台提交变更计划申请，变更申请通过审核后才能执行变更计划，如：增加表、修改表的脚本。变更完成后，应立即使用元数据管理平台对应采集库表元数据，并进行数据信息的更新管理。
基于以上方案，高校业务系统将建成如下数据治理效果，以下为部分效果展示图，数据来源为虚拟业务，仅供参考：
元数据血缘追溯
元数据应用2
我们在高校数据治理摸索过程中，不同的主体面临不同的情况和困难，需持续参考和借鉴已有的成功经验和最佳实践，结合自身的实际情况，探索出符合各自校情特色的“智慧数据高校”发展之路。
如有更多建议和咨询请联系我们，我们将竭诚为您服务。