2013年4月8日 星期一

MHD系列虛擬主機的自動化 - Hadoop 叢集設定123

MiCloud提供MHD(MiCloud Hadoop)系列Hadoop主機,您可以透過主機開立介面,選擇Standard64 + MiCloudHadoop版本的Hadoop服務,即可結合後面Script設定方式快速建制自己的Hadoop Cluster...


訂購MiCloud Hadoop系列主機,提供您簡單的幾個步驟建置雲端環境的Hadoop Cluster!

前置步驟: 請先開好Dataset hadoopXXXX 1至數台並記錄下IP.

 1. 登入任一台VM, 後執行 /usr/local/hadoop/conf/configure.sh
如下:

如尚未編輯, 會提示你編輯 /usr/local/hadoop/conf/nodes 檔案.
使用 vi 或 其他編輯器編輯該檔.
以一個主機 IP 一行的模式, 將所有的 Hadoop 主機 IP 加入.
在存檔後後離開.
2. 再執行一次  /usr/local/hadoop/conf/configure.sh
會再提示一次是否編輯  '/usr/local/hadoop/conf/nodes' , 如果已經編輯好了, 請選 n , 如果還要編輯請選 y .



複製產生的 SSH Key 到 MiCloud 線上管理平台上, 新增 Key 值.
3. 新增完 Key 後, 再執行一次 /usr/local/hadoop/conf/configure.sh
在詢問是否編輯  '/usr/local/hadoop/conf/nodes' 時,  請選 n ,
在詢問是否再產一次Key值, 覆蓋舊值時, 請選 n ,


等待 script 執行完畢.


最後, 你可以執行Hadoop了.

首先,  su - hadoop 切換成hadoop 使用者.

1. 格式化 Hadoop: /usr/local/hadoop/bin/hadoop namenode -format
2. 啟動Hadoop叢集: /usr/local/hadoop/bin/start-all.sh