CentOS 6.7下搭建Hadoop 2.7.3集群_服务器应用_Linux公社-Linux系统门户网站
你好，游客
CentOS 6.7下搭建Hadoop 2.7.3集群
来源：Linux社区&
作者：qiuyuesu
集群有三种运行模式：单机模式、伪分布模式、完全分布模式。我们这里搭建第三种完全分布模式，即使用分布式系统，在多个节点上运行。
1&环境准备
1.1&配置DNS
& 进入配置文件，添加主节点和从节点的ip映射关系：
# vim /etc/hosts
1.2&关闭防火墙
# service iptables stop
//关闭服务
# chkconfig iptables off
//关闭开机自启动
1.3&配置免密码登录
&（1）每个节点都首先进入/root/.ssh目录下，生成密钥：
# ssh-keygen -t rsa
//输入命令之后连续回车就行了
（2）在主节点上，将公钥拷贝到一个特定文件中：
[root@master .ssh]# cp id_rsa.pub authorized_keys
（3）将每个从节点上生成的公钥复制到主节点上：
[root@slave1 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave1.pub
[root@slave2 .ssh]# scp id_rsa.pub master:/root/.ssh/id_rsa_slave2.pub
（4）在主节点上合并从节点的公钥：
[root@master .ssh]# cat id_rsa_slave1.pub&&authorized_keys
[root@master .ssh]# cat id_rsa_slave2.pub&&authorized_keys
（5）将主节点上合并后的公钥复制到从节点上：
[root@master .ssh]# scp authorized_keys slave1:/root/.ssh
[root@master .ssh]# scp authorized_keys slave2:/root/.ssh
& &配置完成，在各个节点上进行ssh访问，若无需密码就能访问，则配置成功。
1.4&配置java环境
& &首先下载jdk，保存到指定目录。设置环境变量：
/etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_112
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin# source /etc/profile
//使配置生效
& &验证配置是否成功：
# java -vesrion
& 若出现下面的配置信息则表示java环境配置成功了：
2&部署Hadoop集群
& 在各个节点上安装与配置Hadoop的过程都基本相同，因此可以在每个节点上安装好Hadoop后，在主节点master上进行统一配置，然后通过scp命令将修改的配置文件拷贝到各个从节点上即可，下面介绍部署过程。
2.1&安装Hadoop
& 下载hadoop安装包，下载地址：，并解压：
# tar xvf hadoop-2.7.3.tar.gz
& 配置环境变量：
# vim /etc/profile
export HADOOP_HOME=/home/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
2.2&修改配置文件
& 进入Hadoop的配置文件目录$HADOOP_HOME/etc/hadoop，可以看到有许多配置文件，Hadoop集群配置主要是对以下几个文件的修改：
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
slaves、hadoop-env.sh、yarn-env.sh
下面就介绍文件的具体配置，按实际情况修改配置信息：
（1）core-site.xml
&configuration&
&property&
&name&fs.defaultFS&/name&
&value&hdfs://master:9000&/value&
&/property&
&property&
&name&hadoop.tmp.dir&/name&
&value&/home/hadoop _tmp&/value&
&/property&
&/configuration&
（2）hdfs-site.xml
&configuration&
&property&
&name&dfs.permissions.enabled&/name&
&value&false&/value&
&/property&
&property&
&name&dfs.support.append&/name&
&value&true&/value&
&/property&
&property&
&name&dfs.replication&/name&
&value&2&/value&
&/property&
&property&
&name&dfs.datanode.data.dir&/name&
&value&file:///home/dfs_data&/value&
&/property&
&property&
&name&dfs.namenode.name.dir&/name&
&value&file:///home/dfs_name&/value&
&/property&
&property&
&name&dfs.namenode.rpc-address&/name&
&value&master:9000&/value&
&/property&
&property&
&name&dfs.namenode.secondary.http-address&/name&
&value&slave1:50090&/value&
&/property&
&property&
&name&dfs.namenode.secondary.https-address&/name&
&value&slave1:50091&/value&
&/property&
&property&
&name&dfs.webhdfs.enabled&/name&
&value&true&/value&
&/property&
&/configuration&
（3）yarn-site.xml
&configuration&
&property&
&name&yarn.resourcemanager.hostname&/name&
&value&master&/value&
&/property&
&property&
&name&yarn.nodemanager.aux-services&/name&
&value&mapreduce_shuffle&/value&
&/property&
&property&
&name&yarn.nodemanager.resource.memory-mb&/name&
&value&20480&/value&
&/property&
&property&
&name&yarn.scheduler.maximum-allocation-mb&/name&
&value&10240&/value&
&/property&
&property&
&name&yarn.nodemanager.resource.cpu-vcores&/name&
&value&5&/value&
&/property&
&property&
&name&yarn.nodemanager.vmem-check-enabled&/name&
&value&false&/value&
&/property&
&/configuration&
（4）mapred-site.xml
&configuration&
&property&
&name&mapreduce.framework.name&/name&
&value&yarn&/value&
&/property&
&/configuration&
（5）slaves
& & 启动Hadoop集群需要读取该文件，以确定从节点主机名，从而启动DataNode、NodeManager等守护进程，因此需要在该文件中添加从节点主机名。
（6）hadoop-env.sh
& &修改如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_112
（7）yarn-env.sh
& 添加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_112
& 到此，完成了主节点上所有的配置，只需将这些配置信息复制到各个从节点：
# scp /home/hadoop-2.7.3/etc/hadoop/* slave1:/home/hadoop-2.7.3/etc/hadoop/
# scp /home/hadoop-2.7.3/etc/hadoop/* slave2:/home/hadoop-2.7.3/etc/hadoop/
2.3&启动Hadoop
（1）第一次启动HDFS时需要初始化，在主节点上执行：
# cd /home/hadoop-2.7.3
# ./bin/hadoop namenode -format
（2）启动HDFS：
# ./sbin/start-dfs.sh
& 成功启动后，访问http://master:50070/即可看到HDFS Web界面。
（3） 启动YARN：
# ./sbin/start-yarn.sh
& 成功启动后，访问http://master:8088/即可看到YARN Web界面。
& 这里也可以直接执行下面的命令一键启动，但第一次启动不建议这样做：
# start-all.sh
& 到此，Hadoop集群环境已经搭建好了，可以根据自己的业务需求，在上面愉快的&玩耍&了。
Hadoop项目之基于7的Cloudera 5.10.1（CDH）的安装部署&
Hadoop2.7.2集群搭建详解（高可用）&
使用Ambari来部署Hadoop集群（搭建内网HDP源）&
14.04下Hadoop集群安装&
CentOS 6.7安装Hadoop 2.7.2&
Ubuntu 16.04上构建分布式Hadoop-2.7.3集群&
CentOS 7.3下Hadoop2.8分布式集群安装与测试&
CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建&
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程&
更多Hadoop相关信息见 专题页面
本文永久更新链接地址：
相关资讯 & & &
& (01月28日)
& (11/27/:14)
& (10/15/:14)
& (12/28/:36)
& (11/07/:36)
& (10/12/:08)
　　　同意评论声明
　　　发表
尊重网上道德，遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款Centos7下DNF命令的安装和使用_linux教程-织梦者
当前位置:&>&&>& > Centos7下DNF命令的安装和使用
Centos7下DNF命令的安装和使用
https://linuxstory.org/dnf-commands-for-fedora-rpm-package-management/
安装后使用不成功：
yum remove epel-release
以上就是Centos7下DNF命令的安装和使用的全文介绍,希望对您学习和使用linux系统开发有所帮助.
这些内容可能对你也有帮助
更多可查看linux教程列表页。
猜您也会喜欢这些文章CentOS6.7搭建蜜罐dionaea
时间： 11:01:34
&&&& 阅读：238
&&&& 评论：
&&&& 收藏：0
标签：&yum -y install epel-release wget tar git autoconf* libtool-*
mkdir /opt/dionaea
1.安装liblcfg软件。git clone https://github.com/ThomasAdam/liblcfg.git liblcfgcd liblcfg/code/autoreconf -viecho $?*注释:此处如果报错无法copy ltmain.sh。执行cp /usr/share/libtool/config/ltmain.sh ./然后再autoreconf -vi则OK。 ./configure --prefix=/opt/dionaeaecho $?make installecho $?
2.安装libemu软件。cd /rootgit clone https://github.com/buffer/libemu.git libemucd libemu/autoreconf -vi echo $?*注释:此处如果报错无法copy ltmain.sh。执行cp /usr/share/libtool/config/ltmain.sh ./然后再autoreconf -vi则OK。 ./configure --prefix=/opt/dionaeaecho $?make installecho $?
3.安装libev软件。cd /rootwget http://dist.schmorp.de/libev/Attic/libev-4.04.tar.gztar xf libev-4.04.tar.gz cd libev-4.04./configure --prefix=/opt/dionaeaecho $?make installecho $?
4.安装Python软件。cd /rootyum -y groupinstall "Development tools"yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-develwget http://www.python.org/ftp/python/3.2.2/Python-3.2.2.tgztar xf Python-3.2.2.tgz cd Python-3.2.2./configure --enable-shared --prefix=/opt/dionaea --with-computed-gotos --enable-ipv6 LDFLAGS="-Wl,-rpath=/opt/dionaea/lib/ -L/usr/lib/x86_64-linux-gnu/"echo $?make echo $?make installecho $?
5.安装Cython软件。cd /rootwget http://cython.org/release/Cython-0.15.tar.gztar xfz Cython-0.15.tar.gzwget http://pkgs.fedoraproject.org/repo/pkgs/Cython/Cython-0.15.tar.gz/md5/794b93c4c1c4cc031f90302cacd834ca/Cython-0.15.tar.gztar xf Cython-0.15.tar.gz cd Cython-0.15/opt/dionaea/bin/python3 setup.py installecho $?
6.安装udns软件。cd /rootwget http://pkgs.fedoraproject.org/repo/pkgs/udns/udns_0.0.9.tar.gz/md5/78843added6f6b690bcc9/udns_0.0.9.tar.gztar -xf udns_0.0.9.tar.gz cd udns-0.0.9/./configureecho $?make sharedecho $?cp udns.h /opt/dionaea/includecp *.so* /opt/dionaea/lib/cd /opt/dionaea/lib/ln -s libudns.so.0 libudns.so
7.安装libpcap软件。cd /rootwget http://www.tcpdump.org/release/libpcap-1.1.1.tar.gztar xf libpcap-1.1.1.tar.gz cd libpcap-1.1.1./configure --prefix=/opt/dionaeaecho $?make echo $?make installecho $?
8.安装curl软件(建议使用yum安装)。①源码安装curl。cd /rootgit clone https://github.com/bagder/curl.git curlautoreconf -viyum -y install openssl-develyum -y install libssh2-devel./configure --prefix=/opt/dionaeayum -y install *gssapi*make make install②yum安装。yum -y install curl curl-devel
9.安装dionaea软件。cd /rootgit clone https://github.com/rep/dionaea.git dionaeacd dionaea/autoreconf -viecho $?
./configure --with-lcfg-include=/opt/dionaea/include/ \--with-lcfg-lib=/opt/dionaea/lib/ -with-python=/opt/dionaea/bin/python3.2
\--with-cython-dir=/opt/dionaea/bin --with-udns-include=/opt/dionaea/include/ \--with-udns-lib=/opt/dionaea/lib/ --with-emu-include=/opt/dionaea/include/
\--with-emu-lib=/opt/dionaea/lib/ --with-gc-include=/usr/include/gc \--with-ev-include=/opt/dionaea/include --with-ev-lib=/opt/dionaea/lib \--with-curl-config=/usr/bin/ --with-pcap-include=/opt/dionaea/include --with-pcap-lib=/opt/dionaea/lib/echo $?上述./configure报错，类似如:no better than to read document。解决方法:yum -y install libgnomeui-develyum -y install *netlink-develyum -y install libnl*-develyum -y install openscap-develyum -y install loudmouth-devel
此处重新执行./configure命令，使用echo $?查看配置通过。mv /usr/include/netlink/netlink.h /root/*注释:此处如果不执行mv操作，make会报错。make echo $?make installecho $?mv /root/netlink.h /usr/include/netlink/
11.启动dionaea软件。groupadd dionaeauseradd -g dionaea -s /usr/sbin/nologin dionaeachown -R dionaea:dionaea /opt/dionaea/cd /opt/dionaea/bin./dionaea -c /opt/dionaea/etc/dionaea/dionaea.conf -u dionaea -g dionaea &netstat -antple|grep dionae
*安装python2.7.6cd /rootwget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xztar xf Python-2.7.6.tar.xzcd Python-2.7.6./configure --with-threads --enable-shared --prefix=/usr/localecho $?makeecho $?make altinstallecho $?ln -s /usr/local/lib/libpython2.7.so.1.0 /lib64/
*安装setuptools和pip软件。cd /rootwget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-1.4.2.tar.gztar xf setuptools-1.4.2.tar.gzcd setuptools-1.4.2python2.7 setup.py install
cd /rootwget --no-check-certificate https://github.com/pypa/pip/archive/8.1.2.tar.gztar xf 8.1.2.tar.gzcd pip-8.1.2/python2.7 setup.py install
*安装django软件。cd /rootpip2.7 install Django pygeoip django-pagination django-tables2 django-compressor django-htmlmin django-filtergit clone
https://github.com/benjiec/django-tables2-simplefilter.git django-tables2-simplefiltercd django-tables2-simplefilter python2.7 setup.py install
*安装netaddr软件。cd /rootwget https://pypi.python.org/packages/b6/59/3a10eb204f42d3de/netaddr-0.7.11.tar.gztar xzvf netaddr-0.7.11.tar.gzcd netaddr-0.7.11python2.7 setup.py install
*安装pysubnettreecd /rootgit clone git://git.bro-ids.org/pysubnettree.gitcd pysubnettree/python2.7 setup.py install
*安装nodejs软件。cd /rootwget http://nodejs.org/dist/v0.8.16/node-v0.8.16.tar.gztar xf node-v0.8.16.tar.gzcd node-v0.8.16./configureecho $?makeecho $?make installecho $?npm install -g lesscd /opt/wget https://github.com/RootingPuntoEs/DionaeaFR/archive/master.zip -O DionaeaFR.zipunzip DionaeaFR.zipmv DionaeaFR-master/ DionaeaFR标签：原文地址：http://www.cnblogs.com/xkops/p/5672810.html
&&国之画&&&& &&&&chrome插件&&
版权所有 京ICP备号-2
迷上了代码！