2023年数据中台项目建设方案[135页Word](1).docxVIP免费

项目编号：2023年数据中台项目建设方案项目编号：2023-XX-XX编制单位：XX市XX中心编制日期：二〇二三年四月第2章元数据中心老汤姆:“在上次月会复盘时，大家反馈了一些问题，如表信息等无处可查，在表字段信息发生变更时难以评估对下游的影响等，而且常常上游执行变更了，下游却未收到变更通知。”小风:“嗯，确实是，目前对于数据平台相关信息的查询主要是通过人问人或者Wiki(内部文档平台)等进行查询的。同时，在每次发生变更时，我们都在尽全力进行周知，但因为缺少血缘链路，一方面我们在进行周知时，可能有遗漏（原本应该被周知到的下游未被周知到，导致部分变更工作的衔接脱节);另一方面我们可能对下游造成不必要的打扰（原本本次变更不会对该下游产生影响，但因怕遗漏，所以我们无差别地对其进行了周知)。“老汤姆:“那针对这些老大难问题，你是否有系统化的解决方案呢?“小风:“是的，目前我们正在规划元数据中心，有了元数据中心，我们就可以较好地解决这些问题。”1.系统、全面地查询元数据信息通过元数据中心，我们可以系统、全面地查询到各个表、指标的元数据信息和血缘信息。例如，通过元数据中心，数据部门能比较轻易地获取表的描述信息、表如何使用的信息，以及表字段及下游引用血缘等信息。.⒉变更评估及精准变更周知当表字段或者指标变更时，通过元数据中心的血缘链路，数据部门可以比较方便地评估该次变更对下游的影响，以及大致的变更工作量，确保变更工作能有序、有计划地开展。3.协助数据问题定位及解决在日常业务过程中，数据部门常常需要修复一些问题（数据的一致性、时效性等)。但数据从被采集到最终被应用涉及采集、存储、加工、查询、可视化等链路，如果不能较准确地定位问题，那么从0开始全链路盘查的工作量之大可想而知。此时，借助血缘链路，数据部l门可以快速定位问题所在，从而缩短解决问题所需的时间。2.1元数据中心概述元数据中心是数据中台最基础的系统（图2-1)，其他系统都需要搭建在它之上。无论是数据资产中心的资产管理与资产治理，数仓型中心的调度配置、依赖配置，还是指标设计中心的指标生产逻辑，都需要通过元数据中心整合与控制。图2-1因此，元数据中心需要实现三大模块的内容。(1）数据整合。(2）数据管理。(3）数据地图。2.2元数据中心的核心功能2.2.1数据整合因为元数据中心是数据中台的基础设施，其他系统都需要以它为基础搭建，所以它需要能够支持不同的结构化数据源，如MySQL、Hive、Oracle等，...