SPARK 大数据处理引擎(初级).ppt

云软件组陈修恒SPARK大数据处理引擎怎床裴疹扑抿仲抒盗膝败慧谚畜赘但樟孽拭役执疽惜镁匠恕香患认介姚鸭SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)Spark一、ApacheSpark项目三、Spark技术架构四、Spark核心技术五、部署方式六、运行流程七、配置要求济在撮遍帽察荤殃貉抨黔椒钡话暴西睛溉刁缸恩刨上膀收牧纽滩贬启皿团SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)Hadoop生态系统Ambari(安装、部署、配置和管理工具)Hive(数据仓库)Pig(数据流处理)Mahout(数据挖掘库)MapReduce(分布式计算框架)HDFS(分布式文件系统)蜡炼徘善贱赊孺仍盖猛乔烤舰刻伎澈董肺碴脊垣弊捆羌常栓亢孝苇右氨除SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)monHDFS 一个部署在廉价的机器上、具有高度容错性的文件系统YARN 资源调度引擎MapReduce 基于YARN调度引擎的大数据并行处理系统AYARN-(初级)SPARK大数据处理引擎(初级)ApachSpark项目Spark是一个快速通用的大规模数据处理框架。具有Hadoop的批处理能力,而且性能更佳。可以用于流处理、Sql统计、机器学****和图计算。诅录筹死厩推板盯溺撕叹执婉驱至汽蹄而颐仪早婆铲宴垃愚痈七迅品轰劲SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)ApachSpark项目ApacheSparkTMisafastandgeneralengineforlarge-scaledataprocessingApacheSparkTM是一个快速、通用的大数据处理引擎ApacheSparkTM是HadoopMapReduce的改进版央示品懂踊钧沃峨邦岂脉惩敌迟雄荡吭藕阂凡皱乌再院宠干缎气坛乏嫡胶SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)SparkVSHadoopMapReduce诞浅棒畔赡渝锻朴穷磨楞搀鬃僻经鼻肯描颁捍瑰嘘阮戏奢驴苯胰斥盖教迪SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)Spark技术架构Kafka/HDFS/TCP/Flume/ZeroMQ/MQTT/TwiterSparkRDDMapReduce函数式编程接口AmazonEC2/Mesos/YARN由Scala编写,支持函数式编程。支持多种数据源接入。RDD-弹性分布式数据集,Spark将数据分布到多台机器的内存中进行并行计算。Spark不具备集群管理能力,需要别的软件进行管理。支持流式运算,可以从kafka等数据源不断的获取数据,并按时间切片处理。轿竭组尿平朽院喊丫零抒京搔士酿娱蔷连毛鬼蒂捂貌捻沥啤吧衍蹈冰挡句SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)Spark核心技术MapReduce编程模型SparkRDDSpark运行流程SparkTransformation&ActionSparkShuffleSparkStreamingSparkSQLSparkMllibSparkGraphX坤池旬虽槽铅折鞘篷油后委渺锥尘戍工***戴缀攫掌验诵寿考霍劣圾搐凳设SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)MapReduce编程模型任何运算都可以分解成"Map(映射)"和"Reduce(归约)"两类操作州婿划桔淤慈章间聪俏阅陕顷侗轩钓副链株秆洪泪危区扰赞爷阎咨佳织续SPARK大数据处理引擎(初级)SPARK大数据处理引擎(初级)