金融的文稿1 2.ppt

基于大数据的金融数据挖掘系统架构
如图是基于大数据的金融数据挖掘系统构架示意图。
大数据平台可以从互联网渠道获取数据,其数据来源比传统的银行信息系统更多。在面向互联网获取数据时,需要构建数据爬虫系统和互联网数据的清洗与转换系统。
互联网数据中有较多的文本格式数据,为了能够将这些非结构的文本数据与数据库中的结构化数据放在一起进行分析,需要从这些文本数据中获取结构化信息,所以需要实现实体抽取、关系抽取等任务,以将文本数据转换成其他形式描述的结构化数据,然后将这些结构化数据送入大数据处理平台进行进一步的处理。
大数据处理系统 ——存储管理
mongoDB
4
大数据的存储平台大多采用NoSQ数据库系统,它能充分利用分布式计算机平台
的特点,具有更好的存储和访问效率。
NoSQL的崛起
2018/7/19
5
NoSQL全称是Not Only Sql,指的是非关系型的数据库。,具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。
存储类型
NoSQL产品
特性
列式存储
Hbase、Cassandra
Hypertable
按列存储数据,最大的特点是方便存储结构和半结构化数据,方便做数据压缩,针对某一列或者某几列的查询有非常大的 I/O 优势
键值存储
Redis、
Tokyo Tyrant、Flare
可以通过键快速查询到值。一般来说,存储不管值的格式,照单全收
文档式存储
MongoDB、CouchDB
文档存储一般用类似JSON 格式存储,存储的内容是文档类型的,这样也就有机会对某些字段建立索引,实现关系型数据库的某些功能
对象式存储
db4o
Versant
通过类似面向对象语言的语法操作数据库,通过对象的方式存取数据
mongoDB简介
6
MongoDB是一个介于关系数据库和非关系数据库之间的产品
MongoDB是一个开源的、模式自由的、面向文档存储的、分布式的数据库
MongoDB 是由C++语言编写的开源数据库系统
MongoDB服务端可运行在Linux、Windows或OS X平台,支持32位和64位应用
数据模型
7
MongoDB 数据库是一个面向集合且模式自由的文档类型数据库。
1. 面向集合
面向集合是指数据被分组存在在数据集中, 被称为一个集合
(Collencton==table)。集合类似于关系型数据库的表(table) ,不同于表的是,集合不需要定义任何模式,集合在存储文档,一个文档类似于关系型数据库的一条记录。在 MongoDB 中,要操作一个表并不需要创建它,可以直接往集合中插入数据,如果集合不存在,它会自动创建这个集合。
2. 模式自由
模式自由就是对存储在 MongoDB 数据库中的数据,我们不需要知道它是什么
结构(可以是任何的文档)。
3. 文档型
文档型存储的数据是键值对的集合,键是字符串,值可以是数据类型集合中
的任意类型,包括数组和文档。我们把这个数据格式称为 BSON (Binary
Serialized Document Notation)
功能性
8
:可以对文档创建索引,甚至还可以对内嵌文档以及数组创建索引。MongoDB 的查询优化器会自动分析查询语句,然后生成一个高效的查询集合。
: MongoDB 的查询指令使用 JSON 形式,使查询表达式变得非常丰富,还可以非常容易地查询文档中的内嵌对象和数组。
: MongoDB 提供了很多性能监视工具,用于分析数据库操作的性能。
功能性
9
:MongoDB 数据库支持服务器之间的复制,从节点可以复制主节点的数据,主节点的所有对数据的操作都会同步到从节点。从节点的数据跟主节点的数据是完全一样的,以作备份。主节点发生故障之后,从节点可以升级为主节点,也可以通过从节点对故障主节点进行数据恢复。
:支持二进制数据及大型对象(如视频),可以将图片文件甚至视频转换成二进制的数据存储到数据库中。
: 可以水平扩展数据库集群,动态添加片(服务器)。
其他特征
10