SolrCloud简介教程方案.docx

SolrCloud 简介一. 简介 SolrCloud 是 版本以后基于 Solr 和 Zookeeper 的分布式搜索方案。 SolrClou d 是 Solr 的基于 Zookeeper 一种部署方式。 Solr 可以以多种方式部署, 例如单机方式,多机 Master-Slaver 方式。二. 特色功能 SolrCloud 有几个特色功能: 集中式的配置信息使用 ZK 进行集中配置。启动时可以指定把 Solr 的相关配置文件上传 Zookeeper , 多机器共用。这些 ZK 中的配置不会再拿到本地缓存, Solr 直接读取 ZK 中的配置信息。配置文件的变动,所有机器都可以感知到。另外, Solr 的一些任务也是通过 ZK 作为媒介发布的。目的是为了容错。接收到任务,但在执行任务时崩溃的机器,在重启后,或者集群选出候选者时,可以再次执行这个未完成的任务。自动容错 SolrClou d 对索引分片, 并对每个分片创建多个 Replication 。每个 Replicatio n 都可以对外提供服务。一个 Replication 挂掉不会影响索引服务。更强大的是,它还能自动的在其它机器上帮你把失败机器上的索引 Replication 重建并投入使用。近实时搜索立即推送式的 replication (也支持慢推送)。可以在秒内检索到新加入索引。查询时自动负载均衡 SolrCloud 索引的多个 Replication 可以分布在多台机器上, 均衡查询压力。如果查询压力大,可以通过扩展机器,增加 Replication 来减缓。自动分发的索引和索引分片发送文档到任何节点,它都会转发到正确节点。事务日志事务日志确保更新无丢失,即使文档没有索引到磁盘。其它值得一提的功能有: 索引存储在 HDFS 上索引的大小通常在 G 和几十 G ,上百 G 的很少,这样的功能或许很难实用。但是, 如果你有上亿数据来建索引的话, 也是可以考虑一下的。我觉得这个功能最大的好处或许就是和下面这个“通过 MR 批量创建索引”联合实用。通过 MR 批量创建索引有了这个功能,你还担心创建索引慢吗? 强大的 RESTful API 通常你能想到的管理功能, 都可以通过此 API 方式调用。这样写一些维护和管理脚本就方便多了。优秀的管理界面主要信息一目了然;可以清晰的以图形化方式看到 SolrCloud 的部署分布;当然还有不可或缺的 Debug 功能。三. 概念 Collection :在 SolrCloud 集群中逻辑意义上的完整的索引。它常常被划分为一个或多个 Shard ,它们使用相同的 Config Set 。如果 Shard 数超过一个,它就是分布式索引, SolrClou d 让你通过 Collectio n 名称引用它, 而不需要关心分布式检索时需要使用的和 Shar d 相关参数。 Config Set : Solr Core 提供服务必须的一组配置文件。每个 config set 有一个名字。最小需要包括 (SolrConfigXml) 和 (SchemaXml) ,除此之外,依据这两个文件的配置内容, 可能还需要包含其它文件。它存储在 Zookeeper 中。 Config set s 可以重新上传或者使用 upconfig 命令更新, 使用 Solr 的启动参数 bootstrap_confdir 指定可以初始化或更新它。 Core : 也就是 Solr Core ,一个 Solr 中包含一个或者多个 Solr Core ,每个 Solr Cor e 可以独立提供索引和查询功能, 每个 Solr Core 对应一个索引或者 Collection 的 Shard , Solr Core 的提出是为了增加管理灵活性和共用资源。在 SolrCloud 中有个不同点是它使用的配置是在 Zookeeper 中的,传统的 Solr core 的配置文件是在磁盘上的配置目录中。 Leader : 赢得选举的 Shard replicas 。每个 Shard 有多个 Replicas ,这几个 Replica s 需要选举来确定一个 Leader 。选举可以发生在任何时间, 但是通常他们仅在某个 Solr 实例发生故障时才会触发。当索引 documents 时, SolrCloud 会传递它们到此 Shard 对应的 leader , leader 再分发它们到全部 Shard 的 replicas 。 Replica : Shar d 的一个拷贝。每个 Replic a 存在于 Sol r 的一个 Cor e中。一个命名为“ test ”的 collection 以 numShards