初学者数据仓库元数据系统开发指南

一些数据开发社区经常询问如何开发元数据系统。在网上很难找到相关的好文章。

什么是元数据

首先，元数据的概念通常被解释为数据，这太难理解，需要从不同的角度进行解释。

例如，在线商城描述一本书，将该书分类为某一学科，并描述其价格、作者、出版社、语言、用户评价等。这些书的附加描述可以被视为元数据。这些图书的元数据可用于图书馆管理，或在线购物搜索和过滤。

再比如，对于一张图片，图片本身就是数据，元数据是图片的文件名、格式、大小、光圈大小、拍摄时间、拍摄地点、主题和人物。通过元数据，照片可以用于照片分类管理和检索。许多在线相册提供了按时间、地点和人筛选照片的功能。

mac系统显示的照片元数据

数据仓库的元数据是什么

对此没有标准答案，因为每个公司的数据仓库都不同，所以其元数据也不同。参考Kimball的经典数据仓库理论，数据仓库的元数据可以划分如下

业务元数据：业务含义、负责人、用户文档、表和字段的培训材料

技术元数据：数据库描述、表创建语句、存储路径、执行计划、备份计划、安全策略

流程元数据：假设数据每天运行一次。每天数据运行的开始和结束时间？最新数据量、消耗的资源、数据质量验证结果和日常查询

值得一提的是，许多地方提到的开源元数据系统往往只构成技术元数据的一部分，这只是大数据基础设施的技术元数据。

为什么数据仓库需要元数据系统

因为有需求，它可以产生价值，或者提高效率，所以数据仓库需要一个元数据系统。尤其是当数据仓库达到一定规模时，数据仓库本身的所有信息都无法被大脑记忆。以下是一些典型的场景：

开发商

希望快速找到表或字段的业务含义，以便编写准确的SQL

我想知道一个表是否已经更新，或者何时可以每天使用它来防止使用旧数据

当出现问题时，我想知道谁负责桌子，以便我们可以联系他们进行咨询

当使用一块奇怪的手表时，我希望看看别人是如何使用它的

当表即将更改或出错时，我想知道它是否会影响其他人

表的数据已被篡改或错误删除。找出是谁操作了它来挽回损失

数据仓库经理

数据仓库中有什么数据、多少表和多少数据

每天有多少人在使用数据仓库，运行了多少任务，消耗了多少资源

日常任务是否按时完成，是否存在数据质量问题

是否存在消耗过多系统计算资源的任务。我们需要找到它们进行性能优化

一些使用场景可以被视为数据管理/治理需求。如何划分它们并不重要。首先，这些数据必须可用

元数据系统的本质

电子商务平台的核心数据是订单和商品，除了面向用户的商品浏览和订购系统外，还需要后台系统来管理订单和商品。类似地，数据仓库的核心是表和表中的数据。除了开发这些表和数据的开发平台或报告系统之外，还需要一个系统来管理和监控这些表和数据库的生产和使用。这是数据仓库的元数据系统。

在大数据时代，当我们甚至无法管理自己的数据时，我们如何才能充分利用如此多的业务数据？

如何开发元数据系统

实践证明，在技术上开发数据仓库元数据系统并不困难。这是一个业务复杂性远远大于技术复杂性的系统。

为了明确需求并设计好，我们自然可以构建一个有用的元数据系统。