solr与hadoop结合

solr4.4支持索引存储到hdfs中下载hadoop2.1.0-beta下载解压solr4.4，hadoop2.1.0-beta我的solr是运行在tomcat web容器中solr4.4用的是hadoop2.0.5alpha版本，如果不改成hadoop2.1.0-beta会报很多奇怪的错误。删除solr webapp/WEB-INF/lib中的jar包，用我已

java的一天

6045人浏览 · 2014-11-12 16:18:31

java的一天 · 2014-11-12 16:18:31 发布

solr4.4支持索引存储到hdfs中下载

hadoop2.1.0-beta下载

解压solr4.4，hadoop2.1.0-beta

我的solr是运行在tomcat web容器中

solr4.4用的是hadoop2.0.5alpha版本，如果不改成hadoop2.1.0-beta会报很多奇怪的错误。

删除solr webapp/WEB-INF/lib中的jar包，用我已经整合好的lib替换

整合好的tomcat下载

注意修改的地方

solrconfig.xml

 
        < 
        directoryFactory 
        name 
        = 
        "DirectoryFactory" 
        class 
        = 
        "solr.HdfsDirectoryFactory" 
        > 
       
 
           
        < 
        str 
        name 
        = 
        "solr.hdfs.home" 
        >hdfs://192.168.1.100:9000/solr</ 
        str 
        > 
       
 
           
        < 
        bool 
        name 
        = 
        "solr.hdfs.blockcache.enabled" 
        >true</ 
        bool 
        > 
       
 
           
        < 
        int 
        name 
        = 
        "solr.hdfs.blockcache.slab.count" 
        >1</ 
        int 
        > 
       
 
           
        < 
        bool 
        name 
        = 
        "solr.hdfs.blockcache.direct.memory.allocation" 
        >true</ 
        bool 
        > 
       
 
           
        < 
        int 
        name 
        = 
        "solr.hdfs.blockcache.blocksperbank" 
        >16384</ 
        int 
        > 
       
 
           
        < 
        bool 
        name 
        = 
        "solr.hdfs.blockcache.read.enabled" 
        >true</ 
        bool 
        > 
       
 
           
        < 
        bool 
        name 
        = 
        "solr.hdfs.blockcache.write.enabled" 
        >true</ 
        bool 
        > 
       
 
           
        < 
        bool 
        name 
        = 
        "solr.hdfs.nrtcachingdirectory.enable" 
        >true</ 
        bool 
        > 
       
 
           
        < 
        int 
        name 
        = 
        "solr.hdfs.nrtcachingdirectory.maxmergesizemb" 
        >16</ 
        int 
        > 
       
 
           
        < 
        int 
        name 
        = 
        "solr.hdfs.nrtcachingdirectory.maxcachedmb" 
        >192</ 
        int 
        > 
       
 
        </ 
        directoryFactory 
        > 
       

1	`<` `lockType` `>${solr.lock.type:hdfs}</` `lockType` `>`

我是在tomcat的catalina.sh指定solr.solr.home=$CATALINA_HOME/solr的

hadoop集群配置可以参考hadoop官方伪分布式

要修改yarn.resourcemanager.hostname，由于我RM，NM，SecondaryNameNode都是在一台机器，所以就直接指定这个为一台机器的主机名

启动hadoop后查看http://192.168.1.100:8088/cluster/nodes

如果所有节点都可以看到说明正常

这时启动solr会出现不能创建文件夹错误Problem creating directory:

所以把权限限制关闭掉并且支持webhdfs，修改hdfs-site.xml

 
        < 
        property 
        > 
       
        < 
        name 
        >dfs.webhdfs.enabled</ 
        name 
        > 
       
        < 
        value 
        >true</ 
        value 
        > 
       
        < 
        description 
        > 
       
        Enable WebHDFS (REST API) in Namenodes and Datanodes. 
       
        </ 
        description 
        > 
       
        </ 
        property 
        > 
       
        < 
        property 
        > 
       
        < 
        name 
        >dfs.permissions.enabled</ 
        name 
        > 
       
        < 
        value 
        >false</ 
        value 
        > 
       
        < 
        description 
        > 
       
        If "true", enable permission checking in HDFS. If "false", permission checking i 
       
        s turned off, but all other behavior is unchanged. Switching from one parameter 
       
        value to the other does not change the mode, owner or group of files or director 
       
        ies.  
       
        </ 
        description 
        > 
       
        </ 
        property 
        >

hadoop2的新特性是出现了yarn

向您推荐>>Eolink开发者社区

权威｜前沿｜技术｜干货｜国内首个API全生命周期开发者社区

更多推荐

沃云统一开发平台介绍

沃云集成平台研发平台介绍1.平台优势2.平台原理3.研发平台使用方法4.遇到的问题5.现阶段实现的功能6.后续需要补充的功能和优化内容研发平台介绍1.平台优势解决孤岛式应用，实现能力共享；现有系统框架过于复杂，跨系统业务处理成本居高不下，协同服务共享，降低运维成本；提高项目应用资源监控能力，改善资源利用率；业务微服务化，快速发布、快速部署，快速响应业务需求变化；沃云平台不仅提供了自动化的、可快速部

云原生

(20200916 Solved)docker-compose up创建容器自动退出

问题描述如题，创建容器后自动退出了。并且docker start container无效解决方案原因是缺失了控制终端的配置，需要在docker-compose.yml中增加tty:true ，有时候这样也不行，需要再增加一个command:/bin/bash，命令不一定是这个，需要是一个不会退出的命令，然后用-d后台启动容器。Referencesdocker-compose启动容器后自动退出...

云原生

基于docker的test-containers环境百宝箱

笔者语录：我开了个公众号【Java你我他】，欢迎大家关注。在很多时候，程序猿们更关注代码本身，而不愿意把时间花费在环境搭建上，这也是Docker变得越来越受欢迎的原因之一。test-containe是Docker生态圈中的一颗新星，其主要针对测试领域、背靠Docker实现环境百宝箱功能。 test-containers：你要的环境，我都有~ 假设我们现在需要一个redis-clust