28個Unix/Linux的命令行神器
摘要: dstat & sar
iostat, vmstat, ifstat 三合一的工具，用來查看系統性能（我在《性能調優攻略》中提到過那三個xxstat工具）。
slurm
查看網絡流量的一個工具
閱讀全文
posted @
2013-12-06 17:32 王海光 閱讀(668) |
評論 (0) 編輯
hadoop分析之二元數據備份方案的機制（轉載）
摘要: 1、NameNode啟動加載元數據情景分析
NameNode函數里調用FSNamesystemm讀取dfs.namenode.name.dir和dfs.namenode.edits.dir構建FSDirectory。
FSImage類recoverTransitionRead和saveNameSpace分別實現了元數據的檢查、加載、內存合并和元數據的持久化存儲。
saveNameSpace將元數據寫入到磁盤，具體操作步驟：首先將current目錄重命名為lastcheckpoint.tmp;然后在創建新的current目錄，并保存文件；最后將lastcheckpoint.tmp重命名為privios.checkpoint.
checkPoint的過程：Secondary NameNode會通知nameNode產生一個edit log文件edits.new，之后所有的日志操作寫入到edits.new文件中。接下來Secondary NameNode會從namenode下載fsimage和edits文件，進行合并產生新的fsimage.ckpt;然后Seco
閱讀全文
posted @
2013-05-24 15:29 王海光 閱讀(470) |
評論 (0) 編輯
hadoop分析之一HDFS元數據解析（轉載）
摘要: 1、元數據（Metadata）：維護HDFS文件系統中文件和目錄的信息，分為內存元數據和元數據文件兩種。NameNode維護整個元數據。
閱讀全文
posted @
2013-05-24 15:18 王海光 閱讀(1015) |
評論 (0) 編輯