Storm总结知识点.docx

·Nimbus 集群管理调度topology
·Supervisor 启停worker
·Worker 一个JVM进程资源分配的单位启动executer
·Executer 实际干活的线程
·ZK 存储状态信息,调度信息,心跳
1】.一个slot就是一个worker,一个worker里面就是一个JVM,一个worker里面有多个executer,一个executer上执行一个或者多个Task,一般来说默认就是一个task;
-------------------------------------------------------------------------------------------------------
2】.Spout可以调用nextTuple()函数来去从外部取数据,可以从DPRC取数据,可以从MQ,比如从Kafka中取数据,然后给后面的Bolt处理;
-------------------------------------------------------------------------------------------------------
3】.Storm纯流式处理,处理数据单元是一个个Tuple,Storm计算模型—DAG计算模型,DAG是由Spout和Bolt组合起来的,它们都是节点,边就是stream数据流,数据流
里面的数据单元就是Tuple,而grouping是做数据流里面的数据分发;spout和bolt都是在内存里面进行计算的,不会写入到磁盘中,所以运转效率非常高;
-------------------------------------------------------------------------------------------------------
4】.Storm中最重要的就是一个topology,topology就是对DAG模型的实现;
Storm关键的组件,nimbus 、supervisor,worker,executor,另外storm还用到了外围的zk组件来存储协调数据;
-------------------------------------------------------------------------------------------------------
5】.可以把topology理解为一个Job, 对于hadoop的job就会有map和reduce;对于Storm来说topology就会有spout和bolt;hadoop中的job是有生命周期的,最终会结束的,topology的生命周期是如果你不kill掉它,它会一直运行job;
-------------------------------------------------------------------------------------------------------
6】.每个Stream都有一个ID,如果没有指定写ID就用默认的流,叫做default,每个spout/bolt都有一个默认的Stream:default;spout/bolt可以有很多流;很多情况下我们写的storm程序就是一个default流;
7】.spout是