案例详情

业务背景

数据运营仓储（简称：ODS），作为电信EDA域的两大核心平台之一，承担着企业运营情况准实时分析的重担，是企业快速响应市场变化、保障和促进业务又快又好发展的重要决策支持工具和重要数据来源。然而现有ODS系统，存在以下严重不足：

• 系统吞吐能力无法支撑3G业务的高速发展，不能提供清单级大数据分析能力以支撑移动互联网增值业务等业务发展；
• 缺乏对EDA数据全生命周期管理，无法提供端到端统一、透明的生产管控及跟踪；
• 缺乏开放的数据分析能力，无法解决企业集约化运营与本地个性化数据分析需求的矛盾；
• 数据管控能力若，尤其是对一些主数据的管理，无法追根溯源。

上述问题，很难通过在现有ODS系统中通过局部改造或者升级来解决，而是迫切需要寻找新的技术解决方案，来满足未来日益膨胀的大数据处理需求。

解决方案

远行科技充分调研目前ETL现状，根据调研情况分析结果，识别出ODS系统生产运营关键问题和业务场景，研究相关先进技术，制定具有创新性的技术解决方案，提升ODS系统的集约化运营能力和数据生产质量。

针对数据采集瓶颈，设计并开发采集子系统

数据采集子系统有如下功能特点

• 支持FTP采集、文件扫描采集、数据库采集。
• 文件采集支持数据增量采集。
• 可设置采集的优先级动态分配系统资源。
• 采用空中采集，数据不落地直接传输。

ETL子系统设计与开发

• 基于hadoop的高容错、高扩展、PB级海量数据存储能力和一致的文件访问API。
• 支持MapReduce，提供海量数据并行处理能力。
• 提供面向ETL业务过程和执行过程可配置、可管理能力。
• 提供形如z=f(x,y)的函数化业务转换过程配置，支持参数智能提示及猜测填充，降低配置人员要求。
• 支持自定义转换函数来扩展处理能力。
• 提供ETL任务调度及监控，实现其流程化、自动化。
• 对采集分发模块进行管理，提供采集适配器的热插拔能力。
• 提供数据稽核、波动预警、血缘分析保证数据质量。
• 提供集群监控来监控资源使用情况。

数据管理与系统管理

为更好的支撑对数据尤其是主数据的管控，设计并开发数据血缘分析子系统、元数据版本管理等模块，支撑对数据生命周期的管理。

本次项目实施和平台的建设，重点解决了ODS原有的数据采集瓶颈，解决了ETL过程臃肿，性能低下，自动化程度不高的问题。同时根据数据规划和数据建模，也提升了整体主数据管控与生命周期管理能力。