青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

posts - 200, comments - 8, trackbacks - 0, articles - 0

CentOS 5.5 安裝hadoop-0.21.0(轉)

Posted on 2012-12-25 20:54 鑫龍 閱讀(307) 評論(0)  編輯 收藏 引用 所屬分類: Hadoop

倒騰了一天,終于在CentOS上裝上了hadoop-0.21.0,特此記錄,以備后用。

操作系統:CentOS 5.5

Hadoop:hadoop-0.21.0
JDK:1.6.0_17
namenode主機名:master,namenode的IP:192.168.90.91
datanode主機名:slave,datanode的IP:192.168.90.94

第一步:安裝并啟動ssh服務

CentOS 5.5安裝完畢之后以及默認啟動了sshd服務,可以在“系統”->“管理”->“服務”中查看sshd服務是否啟動。當然了,如果機器上沒有安裝ssh服務,則執行命令sudo yum install ssh來安裝。安裝rsync,它是一個遠程數據同步工具,可通過 LAN/WAN 快速同步多臺主機間的文件,執行命令sudo yum install rsync。修改每個節點的/etc/hosts文件,將 namenode和datanode的IP信息加入到該文件的尾部:

192.168.90.91 master
192.168.90.94 slave

第二步,配置SSH服務

(1),(2)是針對每一臺機器

(1)創建hadoop用戶名與用戶組

     運行命令su - root,注意,不是命令su root,后者不能攜帶root用戶的參數信息,是不能執行創建用戶組和用戶命令的。執行命令:groupadd hadoop和命令useradd -g hadoop hadoop。注意不能在/home目錄下創建hadoop目錄,否則創建hadoop用戶會失敗。創建好用戶以后最好是重新啟動計算機,以hadoop用戶登錄系統。這樣在之后的操作中就不需要su到hadoop用戶下,而且也不會糾纏于文件的owner問題。

(2)生成ssh密鑰

     如果是其他用戶登錄的則切換到hadoop用戶下,執行命令su - hadoop,在/home/hadoop目錄下執行命令:ssh-keygen -t rsa(一路回車,選擇默認的保存路徑),密鑰生成成功之后,進入.ssh目錄,執行cd .ssh,執行命令:cp id_rsa.pub authorized_keys。這個時候運行ssh localhost,讓系統記住用戶,之后ssh localhost就不需要再輸入密碼了。

(3)交換公鑰

     將namenode上的公鑰拷貝到datanode,在hadoop用戶的用戶目錄下(/home/hadoop)下執行命令ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@slave。同理,也可以將datanode上的公鑰拷貝到namenode,但這不是必須的。這樣兩臺機器在hadoop用戶下互相ssh就不需要密碼了。

 

第三步,安裝JDK1.6或以上(每臺機器)

(1)執行命令yum install jdk

(2)如果第一步沒有找到源碼包,那么就需要到官網上下載了,https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewProductDetail-Start?ProductRef=jdk-6u22-oth-JPR@CDS-CDS_Developer。

(3)新建目錄/usr/java,將源碼包jdk-6u22-linux-i586.bin復制到該目錄下,執行命令chmod a+x jdk-6u22-linux-i586.bin
      使當前用戶擁有對jdk-6u22-linux-i586.bin的執行權限。執行命令sudo ./jdk-6u22-linux-i586.bin進行安裝

(4)修改/etc/profile來添加環境變量,/etc/profile中設置的環境變量就像Windows下環境變量中的系統變量一樣,所有用戶都可以使用。
      用文本編輯器打開/etc/profile
      # vi /etc/profile
      在最后加入以下幾行:
      export JAVA_HOME=/usr/java/jdk1.6.0_22
      export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      export PATH=$PATH:$JAVA_HOME/bin
      這樣我們就設置好了JDK,在centos下 source /etc/profile 就可以生效了.

運行命令java -version可以判斷是否安裝成功

 

第四步,安裝hadoop

原來現在才開始安裝hadoop,準備工作也作得太多了,廢話少說。

(1)新建目錄/usr/local/hadoop,將hadoop-0.21.0.tar.gz解壓縮到該目錄下,執行命令sudo tar -xvzf hadoop-0.21.0.tar.gz,修改/etc/profile文件,將hadoop的安裝目錄append到文件最后:

export HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH
(2)配置/conf/hadoop-env.sh文件,修改java_home環境變量
export JAVA_HOME=/usr/java/jdk1.6.0_22/
export HADOOP_CLASSPATH=.
(3)配置 core-site.xml 文件
<configuration>
      <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/hadoop-0.21.0/tmp</value>
           (注意,請先在 hadoopinstall 目錄下建立 tmp 文件夾)
            <description>A base for other temporary directories.</description>
      </property>
<!-- file system properties -->
      <property>
            <name>fs.default.name</name>
      <value>hdfs://master:54310</value>
      </property>
</configuration>
(4)配置 hdfs-site.xml 文件
<configuration>
      <property>
            <name>dfs.replication</name>
            <value>1</value>(這里共兩臺機器,如果將主節點也配置為datanode,則這里可以寫2)
      </property>
<configuration>
(5)配置 mapred-site.xml 文件
<configuration>
      <property>
            <name>mapred.job.tracker</name>
            <value>master:54311</value>
      </property>
</configuration>
(6)配置 conf/masters 文件,加入 namenode 的 ip 地址
master
(7)配置 slaves 文件, 加入所有 datanode 的 ip 地址

slave

 

(如果之前的hdfs-site.xml文件中的拷貝數設置為2,則需要將master也加入到slaves文件中)

(8)將 namenode 上 配 置 好 的 hadoop 所 在 文 件 夾 hadoop-0.21.0 復 制 到
datanode 的/usr/lcoal/hadoop/目錄下(實際上 masters,slavers 文件時不必要的, 復制了也
沒問題)。
(9)配置datanode的/etc/profile 文件,在文件尾append下列內容:
export HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH

第五步,啟動hadoop
首先記得關閉系統的防火墻,root用戶下執行命令/etc/init.d/iptables stop,運行命令/etc/init.d/iptables status檢查防火墻狀態。hadoop用戶下,在namenode的/usr/local/hadoop/hadoop-0.21.0/bin目錄下打開終端,執行命令hadoop namenode -format,格式化目錄節點。注意,/usr/local/hadoop/hadoop-0.21.0/tmp目錄是可以寫的,否則在格式化時會出現異常。執行命令start-all.sh啟動hadoop集群,執行命令jps查看進程,執行命令hadoop dfsadmin -report查看狀態。在瀏覽器中輸入http://master:50070以web方式查看集群狀態。查看jobtraker的運行狀態:http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/index.html
PS:格式化namenode的時候最好將節點的tmp目錄清空、刪除logs目錄中的文件。

到這里,基于CentOS5.5的hadoop集群搭建完畢!

 

參考資料:http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/index.html

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲欧美综合国产精品一区| 亚洲国产精品123| 国产精品盗摄久久久| 卡通动漫国产精品| 久久精品欧美| 久久国产日韩| 毛片一区二区三区| 欧美本精品男人aⅴ天堂| 牛牛影视久久网| 欧美日韩高清一区| 国产精品一区二区三区观看| 狠狠爱www人成狠狠爱综合网| 国产有码在线一区二区视频| 亚洲第一福利在线观看| 日韩视频在线一区| 午夜精品999| 久久久91精品国产一区二区三区 | 亚洲欧美另类国产| 欧美一区二区三区在线视频| 久久精品一级爱片| 欧美精品久久久久久久免费观看 | 久久一综合视频| 欧美日本二区| 国产一区av在线| 亚洲麻豆国产自偷在线| 亚洲欧美日韩国产一区| 久热这里只精品99re8久| 亚洲人成在线播放网站岛国| 亚洲午夜精品福利| 久久综合免费视频影院| 欧美午夜视频在线| 亚洲国产精品成人综合| 亚洲欧美激情四射在线日| 免费视频一区二区三区在线观看| 日韩网站在线看片你懂的| 久久精品国产精品亚洲| 国产精品www| 亚洲精品韩国| 欧美在线综合视频| 亚洲精品一区二区三区av| 午夜精品久久久久久99热| 欧美大学生性色视频| 国产视频精品免费播放| 亚洲天堂av高清| 欧美成人小视频| 欧美一级电影久久| 国产精品你懂的在线| 99ri日韩精品视频| 蜜桃av噜噜一区| 亚洲欧美日韩在线| 欧美图区在线视频| 夜夜嗨av一区二区三区中文字幕| 久久精品亚洲国产奇米99| 中日韩美女免费视频网站在线观看| 免费观看成人www动漫视频| 国产一区二区高清| 久久av一区| 午夜国产不卡在线观看视频| 国产精品国产三级国产aⅴ入口 | 欧美色欧美亚洲高清在线视频| 91久久精品视频| 欧美成人综合一区| 久久精视频免费在线久久完整在线看| 国产精品综合av一区二区国产馆| 亚洲国产精品va| 亚洲精品国产系列| 久久国产日韩| 黄色一区二区在线| 美日韩精品视频| 美女福利精品视频| 亚洲高清在线精品| 免费视频最近日韩| 欧美不卡视频一区| 亚洲精品乱码久久久久久按摩观| 亚洲二区视频| 欧美日韩亚洲一区二区三区在线观看 | 亚洲尤物影院| 亚洲一区二区在| 国产视频在线观看一区二区三区| 久久成人综合网| 久久免费观看视频| 亚洲免费激情| 亚洲自拍偷拍福利| 激情视频亚洲| 亚洲精品精选| 国产精品久久久久婷婷| 久久久久久久尹人综合网亚洲| 欧美在线视频导航| 亚洲日本va午夜在线影院| 亚洲精品久久久一区二区三区| 免费在线国产精品| 亚洲精品一区二区三区蜜桃久| 夜夜嗨av一区二区三区四季av| 国产精品人人爽人人做我的可爱| 久久视频免费观看| 欧美另类专区| 久久亚洲二区| 国产精品久久9| 男女激情视频一区| 国产精品国产三级国产专区53 | 亚洲一区二区在线看| 性做久久久久久久久| 亚洲日本视频| 午夜日韩激情| 99精品福利视频| 久久久久久久999精品视频| 99成人在线| 久久精品一区四区| 亚洲欧美日韩精品久久久| 久久亚洲一区二区三区四区| 欧美一区二区免费观在线| 欧美sm重口味系列视频在线观看| 欧美在线观看网址综合| 一二三区精品| 嫩草伊人久久精品少妇av杨幂| 欧美一二三区精品| 欧美日本网站| 欧美aⅴ一区二区三区视频| 国产伦精品一区二区三区免费 | 在线国产亚洲欧美| 亚洲私人影院在线观看| 久久一区二区三区超碰国产精品| 亚洲大胆美女视频| 欧美精品日韩三级| 老司机67194精品线观看| 国产精品卡一卡二卡三| 欧美激情一区二区三区成人| 国产麻豆综合| 亚洲女爱视频在线| 亚洲欧美日韩一区在线| 欧美裸体一区二区三区| 欧美激情一区二区三区在线 | 久久久久国产精品厨房| 午夜精品福利一区二区蜜股av| 欧美日本精品| 亚洲激情视频网站| 亚洲国产免费| 女生裸体视频一区二区三区| 欧美不卡视频| 亚洲国产日韩欧美在线99| 久久精品国产综合精品| 久久久免费av| 影音先锋欧美精品| 久久久久久欧美| 欧美77777| 最新日韩中文字幕| 欧美国产第二页| 亚洲美洲欧洲综合国产一区| 中日韩美女免费视频网站在线观看| 欧美日韩成人一区| 夜夜精品视频一区二区| 欧美一区二区成人| 韩国欧美一区| 欧美黄在线观看| 夜夜嗨av色一区二区不卡| 欧美一二三区精品| 在线观看欧美日韩| 欧美电影在线观看完整版| 欧美激情二区三区| 在线视频亚洲一区| 国产欧美精品一区| 久久综合999| 日韩亚洲欧美成人| 久久精品综合一区| 亚洲人午夜精品免费| 国产精品久久久久国产精品日日| 亚洲欧美国产77777| 久久影视精品| 99re视频这里只有精品| 国产免费亚洲高清| 欧美jizz19性欧美| 午夜国产精品视频| 亚洲电影免费在线| 亚洲一区尤物| 黄色一区二区三区四区| 欧美精品v日韩精品v国产精品| 亚洲欧美国内爽妇网| 欧美激情网站在线观看| 性欧美在线看片a免费观看| 亚洲国产国产亚洲一二三| 国产精品精品视频| 免播放器亚洲| 亚洲男人的天堂在线aⅴ视频| 欧美激情精品久久久久| 亚洲主播在线播放| 亚洲人成在线观看| 国产自产精品| 国产精品久久国产愉拍| 老司机一区二区三区| 国产欧美日韩激情| 亚洲欧洲日本mm| 久久久精品性| 日韩午夜激情电影| 国内精品免费午夜毛片| 欧美成人综合一区| 久久久精品国产一区二区三区 | 欧美jizz19hd性欧美| 午夜在线电影亚洲一区| 亚洲美女在线看| 亚洲国产精品v|