广发银行 历史数据查询平台交流v1.pptx

项目内容
历史数据分析
历史数据分析:未来支持历史数据分析
历史数据存储
历史数据查询
历史数据查询:针对历史数据平台的数据,进行处理,支持以下查询服务:
公检法查询
审计查询
业务偶发性查询
历史数据归档:采用分布式数据技术解决海量历史数据的存储
账户信息
账户历史交易信息
逻辑架构
历史数据查询平台采用模块化、参数化的功能设计方式,提高系统运行的稳定性并有效的降低实施成本和风险。同时,为了减少对生产系统的影响,接口方式通过文件进行,降低了系统与系统之间的耦合程度。
银行
核心系统
信用卡
核心系统
网银系统
呼叫中心
手机银行系统
。。。
ODS
系统
EDW
系统
统一数据
交换平台
数据采集
HDFS数据文件存储
Yarn混合资源管理
数据处理
数据查询
查询处理
数据分析
沙盘环境
查询接
口服务
查询应用开发
数据分析应用
沙盘演练应用
其他应用分析
公检法查询系统
柜面
系统
网银
系统
统一信息发布
其他发布平台
元数据
侦测器
执行
日志
任务处理
日志处理
数据文
件传输
系统安全管理
运行监控管理
备份恢复管理
元数据管理
数据质量管理
数据生命周期管理
数据安全管理
业务系统
数据系统
流程调度
历史数据查询平台
业务应用
信息发布
用户
非本期内容
本期内容
特殊事项
数据采集
重点说明:
根据不同的数据源,采用不用的采集方案
根据不同的数据格式,采用不同的采集方案
当前与源系统采用松耦合的方式,利用统一数据交换平台通过文件接口的方式进行数据传输。
在吐出文件之前,完成回车换行符的清洗和特定分隔符的清洗,确保落地后的文件可以被下游的数据装载。
对于源系统能够明确提供增量的接口,以增量的方式进行每天的文件抽取,不能提供增量的接口,以全量的方式进行文件抽取,源系统提供主键
落地文件
数据文件
Hdfs接口直接加载
HDFS FILE
增量数据
数据交换
Hadoop
数据平台缓冲层
HDFS FILE
非结构化数据
日志数据
DBMS
Sqoop工具直接抽取
源系统
非结构化数据
Flume工具实时监控并推送
批量抽取
实时获取
实时
日志数据
流式数据
业务系统
Kafka消息订阅实时获取
根据不同的数据源、不同的数据格式采用相应的数据加载方案
非本期内容
本期内容
ETL调度管理
作业配置
作业监控
日志管理
系统管理
批量配置接口
作业
触发
依赖
作业触发
作业选择
并发控制
负载均衡
优先级
日志更新
采集任务
处理任务
分发任务
ETL管理员
技术缓冲层
整合模型层
共性加工层
应用集市层
集市1
集市2
集市N
调度代理
数据交换
调度代理
数据仓库
数据集市
调度代理
调度知识库
调度服务器
管理控制台
历史数据查询平台
调度代理
。
,可以减少程序封装次数。
数据存储和管理
Table
Table
Table
HDFS文件
Hbase表
业务系统
WebService
API
源系统
源系统
源系统
Up
Load
账户表
Rowkey
属性1
属性2
日志体
账户历史交易表
RowKey
交易流水号
日志体
其他表
RowKey
日志体
MapReduce
公检法查询等
数据交换平台
ODS
历史数据查询平台
HIVE数据处理
,查询内容相对固定,而且均为单一客户查询,采用HBASE进行支持。
,采用文思海辉开发的脚本,配置参数实现。
,对于HDFS文件进入HBASE,采用批量加载方式,通过MR实现。
,封装为webservice接口,供其他系统调用。
,可以采用HIVE处理完成后,直接插入到HBASE进行存储。
实施要点分析
元数据变更
Rowkey设计
CF设计
增量数据处理
空间测算
广发银行的核心系统目前正在升级改造,核心的数据结构无论现在还是未来都有可能发生变化,HBASE的列式存储可以最大程度避免表结构的变更,同时针对数据访问,可通过判断进行处理。
其一目前HBASE针对多列族的表支持不太好,性能表现比较差。所以建议使用最少的CF。可以通过需求梳理,将公检法常用字段作为一个CF,其他字段作为一个CF,或者只设定一个CF即可。
Rowkey在