hadoop-2.7.2详细配置

Advertisement

一:安装centos6.5 64位系统
二:修改四台机器主机名:
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master

$vi /etc/profile
192.168.230.148 master
192.168.230.149 slave1
192.168.230.150 slave2
192.168.230.151 slave3
三:做四台机器免密码登录
//master
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
//slave1
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
//slave2
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
//slave3
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
//先验证能不能本地免密码登录如果可以
$ ssh master
//再下一步
//master
$ scp ~/.ssh/id_dsa.pub root@slave1:~
$ scp ~/.ssh/id_dsa.pub root@slave2:~
$ scp ~/.ssh/id_dsa.pub root@slave3:~
//slave1
$ cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
//slave2
$ cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
//slave3
$ cat ~/id_dsa.pub >> ~/.ssh/authorized_keys
四:四台机器安装jdk1.8
下载jdk-8u73-linux-x64.tar.gz
$:mkdir /usr/local/java
$:mv jdk-8u73-linux-x64.tar.gz /usr/local/java
$tar -zxvf /usr/local/java/jdk-8u73-linux-x64.tar.gz
$:vi /etc/profile
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:/usr/local/zookeeper-3.4.6/bin
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
$source
五:下载 hadoop-2.7.2.tar.gz
以下操作在master
$ mkdir /usr/local/hadoop
$ mv Desktop/hadoop-2.7.2.tar.gz /usr/local/hadoop/
$tar -zxvf hadoop-2.7.2.tar.gz
$cd /usr/local/hadoop/hadoop-2.7.2/etc/hadoop/
$vi hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_73
$vi hdfs-site.xml
<property>
<name>dfs.nameservices</name>
<value>mdsaudit</value>
</property>
<property>
<name>dfs.ha.namenodes.mdsaudit</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mdsaudit.nn1</name>
<value>hadoop1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mdsaudit.nn2</name>
<value>hadoop2:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mdsaudit.nn1</name>
<value>hadoop1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mdsaudit.nn2</name>
<value>hadoop2:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop2:8485;hadoop3:8485/mdsaudit</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.mdsaudit</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_dsa</value>
</property>
<!-- jn的工作目录 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/journalnode/data</value>
</property>
<!-- 开启自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
$vi core-site.xml
<!-- namenode地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mdsaudit</value>
</property>
<!-- zookeeper集群 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
</property>
<property>
<!-- 改变临时目录 -->
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop2</value>
</property>
$cd /usr/local/hadoop/hadoop-2.7.2/etc/hadoop/
//配置datanode
$vi slaves
slave1
slave2
slave3
六:下载zookeeper-3.4.6.tar.gz
$mv Desktop/zookeeper-3.4.6.tar.gz /usr/local/hadoop/
$cd /usr/local/hadoop/
$tar -zxvf zookeeper-3.4.6.tar.gz
$cd zookeeper-3.4.6/conf
$cp zoo_sample.cfg zoo.cfg
$vi zoo.cfg
#修改路径,避免重启后数据丢失
dataDir=/opt/zookeeper
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
$mkdir /opt/zookeeper
$cd /opt/zookeeper
$vi myid
1
$cd ..
$cd opt
$scp -r zookeeper/ root@slave1:/opt
$scp -r zookeeper/ root@slave2:/opt
进入机器slave1
vi /opt/zookeeper/myid
2
进入机器slave2
vi /opt/zookeeper/myid
3

进入机器slave1(准备放zookeeper和hadoop)
$mkdir /usr/local/hadoop
进入机器slave2
$mkdir /usr/local/hadoop
进入机器slave3
$mkdir /usr/local/hadoop
进入机器master
$cd /usr/local/hadoop
$scp -r zookeeper-3.4.6 root@slave1:/usr/local/hadoop/
$scp -r zookeeper-3.4.6 root@slave2:/usr/local/hadoop/
//配置环境变量启动zookeeper方便,不配也可以
$vi /etc/profile
export PATH=$PATH:/usr/local/hadoop/zookeeper-3.4.6/bin
$source /etc/profile
$scp /etc/profile root@slave1:/etc/
$scp /etc/profile root@slave2:/etc/
进入机器slave1
$source /etc/profile
进入机器slave2
$source /etc/profile
进入机器master,slave1,slave2启动zookeeper
$service iptables stop
$zkServer.sh start

[root@slave2 ~]# jps
25397 Jps
25372 QuorumPeerMain java进程名字 启动成功三个机器都要启动

$scp /usr/local/hadoop/hadoop-2.7.2.tar.gz root@slave1:/usr/local/hadoop/
$scp /usr/local/hadoop/hadoop-2.7.2.tar.gz root@slave2:/usr/local/hadoop/
$scp /usr/local/hadoop/hadoop-2.7.2.tar.gz root@slave3:/usr/local/hadoop/
进入机器slave1
$cd /usr/local/hadoop/
$tar -zxvf hadoop-2.7.2.tar.gz
进入机器slave2
$cd /usr/local/hadoop/
$tar -zxvf hadoop-2.7.2.tar.gz
进入机器slave3
$service iptables stop
$cd /usr/local/hadoop/
$tar -zxvf hadoop-2.7.2.tar.gz
进去机器master
$cd /usr/local/hadoop/hadoop-2.7.2/etc/hadoop/
$scp ./* root@slave1:/usr/local/hadoop/hadoop-2.7.2/etc/hadoop/
$scp ./* root@slave2:/usr/local/hadoop/hadoop-2.7.2/etc/hadoop/
$scp ./* root@slave3:/usr/local/hadoop/hadoop-2.7.2/etc/hadoop/

//进入机器slave1,slave2,slave3启动JournalNode(slave1,2,3)
$cd /usr/local/hadoop/hadoop-2.7.2/sbin
$./hadoop-daemon.sh start journalnode
[root@slave1 sbin]# jps
25443 JournalNode
25316 QuorumPeerMain
25503 Jps

[root@slave2 sbin]# jps
26099 Jps
26039 JournalNode
25372 QuorumPeerMain

[root@slave3 sbin]# jps
25351 Jps
25291 JournalNode
进入机器master
$cd /usr/local/hadoop/hadoop-2.7.2/bin
$./hdfs namenode -format
//查看格式化结果有没有文件生成
$ cd /opt/hadoop2/dfs/name/current
//先启动格式化好的namenode(在机器master上)
$cd /usr/local/hadoop/hadoop-2.7.2/sbin/
$./hadoop-daemon.sh start namenode
[root@master sbin]# jps
25784 NameNode
25370 QuorumPeerMain
25838 Jps
//查看日志有误错误
$cd ../logs/
$tail -n50 hadoop-root-namenode-master.log
//把这些文件拷贝到slave1,进入机器slave1执行以下命令就行,官方文档
$cd /usr/local/hadoop/hadoop-2.7.2/bin
$./hdfs namenode -bootstrapStandby
//查看
$ cd /opt/hadoop2/dfs/name/current有没有生成
[root@slave1 current]# ls
fsimage_0000000000000000000 seen_txid
fsimage_0000000000000000000.md5 VERSION
//进入机器master先停止所有服务
$cd /usr/local/hadoop/hadoop-2.7.2/sbin/
$./stop-dfs.sh
//格式化zkfc
$cd /usr/local/hadoop/hadoop-2.7.2/bin
$./hdfs zkfc -formatZK
//还是在master
$cd /usr/local/hadoop/hadoop-2.7.2/sbin/
//全面启动
$./start-dfs.sh
//登录网址查看两个namenode
http://192.168.230.148:50070/dfshealth.html#tab-overview
http://192.168.230.149:50070/dfshealth.html#tab-overview

//配置hdfs
$/usr/local/hadoop/hadoop-2.7.2/etc/hadoop
$cp mapred-site.xml.template mapred-site.xml
$vi mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
$vi yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
$/usr/local/hadoop/hadoop-2.7.2/etc/hadoop
$scp ./* root@slave1:/usr/local/hadoop/hadoop-2.7.2/etc/hadoop
$scp ./* root@slave2:/usr/local/hadoop/hadoop-2.7.2/etc/hadoop
$scp ./* root@slave3:/usr/local/hadoop/hadoop-2.7.2/etc/hadoop

$cd /usr/local/hadoop/hadoop-2.7.2/sbin
$./start-yarn.sh
登录查看
http://192.168.230.148:8088/

$cd /usr/local/hadoop/hadoop-2.7.2/sbin
$./start-all.sh

Pre-requisites: multiple, Internet-connected Linux machines, with SSH access, and significant free space in /var and /opt.
$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

$ chmod u+x cloudera-manager-installer.bin

$ sudo ./cloudera-manager-installer.bin

Similar Posts:

  • Hadoop分布式集群IP配置和VBox linux虚拟机网卡配置

    交流群:335671559 Hadoop分布式集群IP配置和VBox linux虚拟机网卡配置 目录 一.VBox linux虚拟机网卡配置 二.单机伪分布式配置 三.多台节点的集群配置 四.windows通过VBox连接linux虚拟机 一.VBox linux虚拟机网卡配置 在VBox的设置中,选择"网络"单选项,勾选"启用网络连接",然后选择连接方式,VBox的连接方式有多种,这里只说明两种: (1)网络地址转换(NAT): 这种方式属接入广域网(WAN)技术

  • hadoop2.0详细配置教程

    hadoop 2.0 详细配置教程 作者:杨鑫奇 PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我. update: 20130518 大家可以尝试下Ambari来配置Hadoop的相关环境 快速的部署Hadoop,Hbase和Hive等并提供Ganglia和Nagios的监控功能,强烈推荐使用. http://www.cnblogs.com/scotoma/archive/2013/05/18/3085248.html Hadoop 2.0集群配置详细教程 前言 H

  • Hadoop入门01--CentOS6.5环境配置

    Hadoop入门01--CentOS6.5环境配置 所有软件下载http://yunpan.cn/cdIWiQrRL9w26  访问密码 ca41 1.准备linux环境 1.0配置好vmware和CentOS6.5的网络配置 详细网络配置请查看VMware网络配置,下面是地址 http://blog.csdn.net/jxpaiwp/article/details/47807309 1.1.修改主机名 vim /etc/sysconfig/network [root@localhost ~]#

  • Nginx的安装与详细配置

    本文主要针对Nginx的安装与详细配置介绍 注意:有些配置如果有web底子 应该好理解 如 请求头 超时时间 等 这些都是http协议里的基本知识,当然没有也没关系 本配置 只能供学习使用,如果是生产环境还需要根据自己的情况 修改配置 1. 安装Nginx所需要的pcre-devel库 tar -xvf pcre-8.02.tar.gz cd pcre-8.02 make && make install cd /lib64 ln -s libpcre.so.0.0.1 libpcre.so

  • OSPF在NBMA网络上的解决方案(详细配置)

    实验:运行在NBMA网络上的OSPF 目的:了解OSPF在NBMA网络上的解决方案 拓扑图: 实验连接: SZ S0/0 <----> FR S0/0 GZ S0/1 <----> FR S0/1 DG S0/2 <----> FR S0/2 IP地址表: SZ S0/0 192.168.1.1/24 Loopback 0 1.1.1.1/24 GZ S0/1 192.168.1.2/24 Loopback 0 2.2.2.2/24 DG S0/2 192.168.1.

  • Juniper ISG-1000 Remote-VPN(XAUTH+KE User)详细配置指南

    Juniper ISG-1000 Remote-VPN(XAUTH+KE User)详细配置指南 原始出自(下链链接):[url]http://k968888.blog.sohu.com/81627153.html[/url]

  • 华为交换机详细配置命令

    华为交换机各种型号的详细配置命令,很好用的. 附件太大了上传不了,需要的直接联系我哦. 本文出自 "IDC数据机房" 博客,请务必保留此出处

  • Hadoop全分布式集群配置文档

    CentOS6.2下Hadoop全分布式集群配置文档 集群网络环境介绍 集群包含三个hadoop节点:1个namenode.2个datanode.节点之间局域网连接,可以互相ping通,并且配置了节点之间互相无密码ssh访问.节点IP地址如下: NameNode:192.168.1.220 主机名:master DataNode 1:192.168.1.223主机名:slaver1 DataNode 2:192.168.1.224主机名:slaver2 说明:105机器能ping通,但是ssh连

  • 详细配置Cisco PIX防火墙

    详细配置Cisco PIX防火墙 任何企业安全策略的一个主要部分都是实现和维护防火墙,因此防火墙在网络安全的实现当中扮演着重要的角色.防火墙通常位于企业网络的边缘,这使得内部网络与Internet之间或者与其他外部网络互相隔离,并限制网络互访从而保护企业内部网络.设置防火墙目的都是为了在内部网与外部网之间设立唯一的通道,简化网络的安全管理.在众多的企业级主流防火墙中,Cisco PIX防火墙是所有同类产品性能最好的一种.Cisco PIX系列防火墙目前有5种型号PIX506,515,520,52

  • 单臂路由实验详细配置

    单臂路由详细配置(是在Packet Tracer 5.0模拟器上完成): 一. 1.实验器材: 2811路由器一台,2690交换器一台,二台pc机 2.先在交换机上配置二个vlan vlan 2: 网关:192.168.1.33 255.255.255.224 网络id:192.168.1.32 pc0:192.168.1.34 255.255.255.224 vlan 3: 网关:192.168.1.65 255.255.255.224 网络id:192.168.1.64 pc1:192.16

  • Backup Exec Linux平台下Oracle RAC备份详细配置步骤

    Backup Exec Linux平台下Oracle RAC备份详细配置步骤. 文章:TECH117244 | 创建日期: 2009-01-03 | 更新日期: 2009-01-01 | 文章 URL http://www.symantec.com/docs/TECH117244 文章类型 Technical Solution 语言 显示全部 Problem 如何配置Backup Exec对Linux平台下的Oracle RAC进行备份? Solution 请按照以下步骤一步一步对Oracle备