实时开发平台建设实践，深度发布实时数据价值

1、 实时数字仓库建设背景

随着整个行业数字化转型的不断深入和技术能力的不断提升，传统的T+1（隔日）线下大数据模式越来越无法满足新兴业务的发展需求。发展实时大数据业务是企业深度挖掘数据价值的必由之路。

面对数字化转型下数据的快速生成、“小步快跑”的精细化运营以及实时、自动决策的需求，如何提高实时数据处理能力将成为企业增强竞争力的一大因素。

文件

在构建实时数据app时，企业通常面临许多困难：

实时开发技术的门槛很高，很难学习。开发过程取决于不同的引擎，并且链接很复杂

开发数据效率低，代码调试复杂

施工成本和使用成本高

数据建模和开发规范不统一，问题难以监控和管理

为了解决这些问题，我们需要确定实时建设过程中的建设方法和目标，以帮助企业更好地实现实时数字仓库建设。

2、 实时数据仓库构建方法

如何帮助企业构建实时数字仓库，我们主要从以下四个步骤开始：

1.明确要求

企业构建实时数字仓库的第一步是明确其需求，这些需求需要与业务需求和技术需求相结合。

1） 业务要求：

详细梳理各种实时计算应用场景

详细梳理各实时指标的具体要求

2） 技术要求：

详细梳理各实时指标的数据源信息

2.技术选择

第二步是技术选择阶段。技术选择包括四个方面：

a、 总体技术路线

b、 采集工具

c、 面向消息的中间件+计算引擎和

d、 维度表和结果表的存储数据库

3.数字仓库设计与开发

第三步是数字仓库的设计和开发，包括以下三个方面：

a、 实时数据仓库的分层设计

b、 开发规范

c、 代码开发和调试

4.管理和监控

第四步是管理和监控，可以从三个部分开始：任务发布、运行监控和警报、实时数据治理。

3、 基于数据栈实时开发平台构建实时数据仓库

在分享了实时数字仓库的构建方法之后，让我们分享一下实时数字仓库构建过程。

步骤1：实时采集

基于Chunjun（最初的FlinkX），CDC采集在数据库上进行，以实现采集工具。主流数据源有两种实时收集方法，即CDC（日志数据）和JDBC（间隔轮询）。

1.CDC读取

读取数据库日志的方式对源数据库没有压力

2.JDBC读取

对于不打开数据库日志的场景，通过高频JDBC轮询读取数据，并需要自增字段

步骤2：数据开发

1.数据开发的基本功能

现在我们展示了数据开发的一些基本功能，包括：WEB SQL IDE、可视化表构建、维度表缓存策略和系统；定制的功能、丰富的底层组件封装和接口操作降低了开发门槛，使开发人员能够专注于业务逻辑处理。

2.数据开发的高级功能

除了数据开发的基本功能，还有针对特定行业或场景的高级配置，包括自动重试、自动启停和脏数据管理。

步骤3：发布并联机

开发完成后，发布并启动任务，包括任务调试和任务导入导出。

步骤4：任务操作和维护

任务操作和维护是在全球范围内控制任务操作并处理某些异常或紧急情况的过程。