登录
|
注册
|
QQ账号登录
|
常见问题
联系我们:
我要上传
首页
浏览
幼儿/小学教育
中学教育
高等教育
研究生考试
外语学习
资格/认证考试
论文
IT计算机
经济/贸易/财会
管理/人力资源
建筑/环境
汽车/机械/制造
研究报告
办公文档
生活休闲
金融/股票/期货
法律/法学
通信/电子
医学/心理学
行业资料
文学/艺术/军事/历史
我的淘豆
我要上传
帮助中心
复制
下载此文档
SparkStreaming应用启动过程分析.doc
文档分类:
汽车/机械/制造
|
页数:约13页
举报非法文档有奖
分享到:
1
/
13
下载此文档
搜索
下载此文档
关闭预览
下载提示
1.该资料是网友上传的,本站提供全文预览,预览什么样,下载就什么样。
2.下载该文档所得收入归上传者、原创者。
3.下载的文档,不会出现我们的网址水印。
同意并开始全文预览
(约 1-6 秒)
下载文档到电脑,查找使用更方便
下 载
还剩?页未读,
继续阅读
分享到:
1
/
13
下载此文档
文档列表
文档介绍
SparkStreaming应用启动过程分析.doc
Spark Streaming 应用启动过程分析在调用 方法后,进入 方法中,各子元素 start 方法的调用顺序如下: private var eventLoop : EventLoop[JobSchedulerEvent] = null val listenerBus = new StreamingListenerBus() private val jobGenerator = new JobGenerator(this) () receiverTracker = new ReceiverTracker(ssc) inputInfoTracker = new InputInfoTracker(ssc) () () 在 eventLoop, listenerBus 以及 jobGenerator 中都维持了一个事件队列,以多线程的形式从这些队列中取出事件并处理。一般来说,运行一个生产者消费者系统时, 往往先开始运行的是消费者。所以在上面的代码中,越是早 start 的对象,越不是 Spark Streaming 启动事件的入口。理解了这段话对于理解后续的启动过程分析是有帮助的。无法理解的话也可以先理解后续分析再回头想想这一点。接下来分析上图中的主要对象。一、 JobGenerator 类 JobGenerator 的构造方法如下,使用到了前面提到的 JobScheduler 对象。 class JobGenerator(jobScheduler: JobScheduler) extends Logging 11 进入 JobGenerator 类。可以看到其 start 方法与 JobScheduler 的 start 方法结构十分类似。在这里面也有一个 EventLoop 类型的 eventLoop 对象,只不过这个对象传入的是 JobGeneratorEvent 类型的事件。 eventLoop = new EventLoop[JobGeneratorEvent]("JobGenerator") { override protected def onReceive (event: JobGeneratorEvent): Unit = processEvent(event) override protected def onError (e: Throwable ): Unit ={ ("Error in job generator" , e) }} () 1、 eventLoop 处理事件看一眼 JobGeneratorEvent ,发现 JobGenerator 中的 eventLoop 主要处理的是 Job 生成, metadata 以及 checkpoint 相关的事件。 private[scheduler] sealed trait JobGeneratorEvent // 生成 Jobs private [scheduler] case class GenerateJobs(time: Time) extends JobGeneratorEvent // 清除 metadata private [scheduler] case class ClearMetadata(time: Time) extends JobGeneratorEvent // 设置 checkpoint private [scheduler] case class DoCheckpoint( time: Time, clearCheckpointDataLater: Boolean) extends JobGeneratorEvent // 清除 checkpoint 数据 private [scheduler] case class ClearCheckpointData(time: Time) extends JobGeneratorEvent 当 JobGeneratorEvent 对象开始执行时,会多线程启动 eventLoop 对象通过执行 方法处理 JobGenerator 事件。看一下 方法中调用的 方法是如何处理 GenerateJobs
SparkStreaming应用启动过程分析 来自淘豆网www.taodocs.com转载请标明出处.
猜你喜欢
行车安装方案
5页
市场细分原理与企业目标市场选择
4页
幼儿园园长领导力:提升案例分析与分享
4页
ppt讲课结束语护理
22页
建筑安装企业集团化财务管理的思考
9页
开发区公共资源交易管理系统升级服务项目采购..
8页
必考点09 植被与土壤-高一地理上学期期中期末..
5页
英语必修5外研版module6同步学案(测试题及答案..
9页
英国斯旺西大学
3页
教师教学反思的目的和方法总结
5页
2024年睡眠监护仪项目资金筹措计划书代可行性..
81页
无公害草鱼池塘养殖生产质量控制措施
8页
智慧污水处理厂建设规范(生产运行)-2023最新
8页
某某县破解医疗引才留才难等问题研究
6页
梯次电池技术及服务规范
28页
相关文档
更多>>
非法内容举报中心
文档信息
页数
:
13
收藏数
:
0
收藏
顶次数
:
0
顶
上传人
:
63229029
文件大小
:
74 KB
时间
:
2017-05-29
相关标签
过程能力分析
节约水电的标语
节约水资源标语
节约宣传标语
节约用餐的标语
节约用电标语
节约用水标语
节约用水的标语
节约用水的宣传标语
节约用水宣传标语
制造加工工艺
设备维修与保养
工程材料
机械/模具设计
CAD/CAE/CAM
机械、仪表工业
汽车作业报告
汽车维修/保养
汽车标准
汽车工程手册
汽车技术
汽车试验与故障诊断
汽车理论
数控机床
生产安全
机械软件
PCB
特种设备
汽车营销
机械理论及资料
汽车改装
最近更新
一款基于∑-△调制技术的高性能D类音频功率..
精选工作计划之医学研究计划书范文
管理产品与服务
管壳式换热器的课程设计
北师大版六年级上册语文教案《丑公主》教学..
简易交通灯控制的PLD设计
简体供应链金融文献综述
血清25-羟维生素D水平对冻融胚胎移植妊娠结..
创建本质安全型企业在徐矿集团的探索与实践..
冲压工安全操作规程
八年级语文上册第六单元文言文复习课件
仓储中静电的危害与防治
不要忽视轮胎的磨损
鱼骨图的应用
《避暑好办法》PPT课件中班健康课件
《草原》情境化试题训练营六年级语文上册新..
BIM管线综合布置技术
秋季高级人力资源组织结构设计
离子的电迁移率和迁移数
《五柳先生传》教学案例
酒店礼仪训练营
磁场对通电直导线的作用
上海市建设工程白玉兰奖(市优质工程)评选办..
初中化学试卷双向细目表
xx乡2022年民生实事票决项目工作总结正文
南京安魂曲
部编二年级语文下册课堂笔记
2021年民用建筑隔声设计规范
青岛分行社区支行团队考核管理办法
《动量定理》作业设计
在线
客服
微信
客服
QQ
客服
意见
反馈
手机
查看
返回
顶部