青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
面對現實,超越自己
逆水行舟,不進則退
C++博客
首頁
新隨筆
新文章
聯系
聚合
管理
posts - 269,comments - 32,trackbacks - 0
<
2012年9月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
1
2
3
4
5
6
常用鏈接
我的隨筆
我的評論
我參與的隨筆
留言簿
(3)
給我留言
查看公開留言
查看私人留言
隨筆分類
(267)
ATL(2)
C++(37)
DataBase(5)
Design Pattern(6)
IOS(11)
Linux(33)
MFC(84)
NodeJS(1)
NSIS(14)
Openfire&Gloox(2)
Product Management(5)
SQLite(3)
STL(10)
VCL
工具(6)
腳本(9)
其他(14)
算法(21)
網絡編程(4)
隨筆檔案
(269)
2016年8月 (1)
2015年3月 (1)
2014年11月 (1)
2014年10月 (1)
2014年9月 (1)
2014年8月 (3)
2014年7月 (5)
2014年6月 (2)
2014年5月 (2)
2014年4月 (2)
2014年3月 (4)
2014年1月 (1)
2013年12月 (4)
2013年11月 (15)
2013年10月 (4)
2013年9月 (9)
2013年8月 (8)
2013年7月 (4)
2013年6月 (1)
2013年5月 (12)
2013年4月 (8)
2013年3月 (8)
2013年2月 (6)
2013年1月 (15)
2012年12月 (2)
2012年11月 (21)
2012年10月 (11)
2012年9月 (30)
2012年8月 (5)
2012年7月 (11)
2012年6月 (20)
2012年5月 (15)
2012年4月 (28)
2012年3月 (6)
2012年2月 (1)
2011年10月 (1)
常用鏈接
CODEGURU
CODEPROJECT
CSDN
MSDN
MULTI-PLATFORM
NSIS
PUDN
VC-CCTRY
VCKBASE
朋友博客
程序描繪人生
胡滿超的技術博客
用自信照亮人生
推薦博客
ggjucheng
k-eckel
Kevin Lynx
陳皓
羅朝輝(飄飄白云)
最新隨筆
1.?SWIG實現python對c++封裝
2.?UISearchBar控件(轉載)
3.?(轉載)推薦!國外程序員整理的 C++ 資源大全
4.?MFC wcslen獲取中文長度
5.?Gloox文件傳輸小記
6.? GLOOX 1.0.10注冊問題
7.?iOS 解決NSString轉換為NSURL時包含中文字符
8.?iOS 監聽 Home鍵(轉載)
9.?UIGestureRecognizer學習筆記(轉載)——手勢識別功能
10.?iOS 添加libxml2.dylb 后 找不到
頭文件
搜索
積分與排名
積分 - 757579
排名 - 21
最新評論
1.?re: MFC檢測網絡連接和ping IP地址
通過這種方式無法實現對ping結果的偵測,例如ping一個地址X.X.X.X無法知道是可以正常回復,還是請求超時。
--SherlockLee
2.?re: C++ Deque(雙向隊列)
xcvx
--cxv
3.?re: 查找CString里面出現某個字符的次數
@JJ
你注意看人家博主用的是哪個版本的重載函數,不是字符,是字符串。
--過客
4.?re: MFC COMBOX控件只接受數字和設置數字范圍
評論內容較長,點擊標題查看
--zju_cfb
5.?re: C++ 解析Json——jsoncpp
我喜歡博主的這句話,面對現實,超越自己
--huben
閱讀排行榜
1.?C++ 解析Json——jsoncpp(123691)
2.?C++ Queues(隊列)、Priority Queues(優先隊列)(49382)
3.?C++ Deque(雙向隊列) (22847)
4.?MFC對話框中顯示BMP,JPG圖片(14817)
5.?Richedit使用大全(14699)
評論排行榜
1.?C++ 解析Json——jsoncpp(6)
2.?MFC檢測網絡連接和ping IP地址(5)
3.?查找CString里面出現某個字符的次數 (2)
4.?最短路徑算法—Floyd(弗洛伊德)算法分析與實現(C/C++)(2)
5.?MFC bmp圖片添加文字(2)
hadoop分析之二元數據備份方案的機制(轉載)
1、NameNode啟動加載元數據情景分析
NameNode函數里調用FSNamesystemm讀
取dfs.namenode.name.dir和dfs.namenode.edits.dir構建FSDirectory。
FSImage類recoverTransitionRead和saveNameSpace分別實現了元數據的檢查、加載、內存合并和元數據的持久化存儲。
saveNameSpace將元數據寫入到磁盤,具體操作步驟:首先將current目錄重命名為lastcheckpoint.tmp;然后在創建新的current目錄,并保存文件;最后將
lastcheckpoint.tmp重命名為privios.checkpoint.
checkPoint的過程:Secondary NameNode會通知nameNode產生一個edit log文件edits.new,之后所有的日志操作寫入到edits.new文件中。接下來Secondary NameNode會從namenode下載fsimage和edits文件,進行合并產生新的fsimage.ckpt;然后Secondary會將fsimage.ckpt文件上傳到namenode。最后namenode會重命名fsimage.ckpt為fsimage,edtis.new為edits;
2、元數據更新及日志寫入情景分析
以mkdir為例:
logSync代碼分析:
代碼:
public
void
logSync ()
throws
IOException {
ArrayList<EditLogOutputStream > errorStreams =
null
;
long
syncStart =
0
;
// Fetch the transactionId of this thread.
long
mytxid = myTransactionId .get (). txid;
EditLogOutputStream streams[] =
null
;
boolean
sync =
false
;
try
{
synchronized
(
this
) {
assert
editStreams. size() >
0
:
"no editlog streams"
;
printStatistics (
false
);
// if somebody is already syncing, then wait
while
(mytxid > synctxid && isSyncRunning) {
try
{
wait (
1000
);
}
catch
(InterruptedException ie ) {
}
}
//
// If this transaction was already flushed, then nothing to do
//
if
(mytxid <= synctxid ) {
numTransactionsBatchedInSync ++;
if
(metrics !=
null
)
// Metrics is non-null only when used inside name node
metrics .transactionsBatchedInSync .inc ();
return
;
}
// now, this thread will do the sync
syncStart = txid ;
isSyncRunning =
true
;
sync =
true
;
// swap buffers
for
( EditLogOutputStream eStream : editStreams ) {
eStream .setReadyToFlush ();
}
streams =
editStreams .toArray (
new
EditLogOutputStream[editStreams. size()]) ;
}
// do the sync
long
start = FSNamesystem.now();
for
(
int
idx =
0
; idx < streams. length; idx++ ) {
EditLogOutputStream eStream = streams [idx ];
try
{
eStream .flush ();
}
catch
(IOException ie ) {
FSNamesystem .LOG .error (
"Unable to sync edit log."
, ie );
//
// remember the streams that encountered an error.
//
if
(errorStreams ==
null
) {
errorStreams =
new
ArrayList <EditLogOutputStream >(
1
) ;
}
errorStreams .add (eStream );
}
}
long
elapsed = FSNamesystem.now() - start ;
processIOError (errorStreams ,
true
);
if
(metrics !=
null
)
// Metrics non-null only when used inside name node
metrics .syncs .inc (elapsed );
}
finally
{
synchronized
(
this
) {
synctxid = syncStart ;
if
(sync ) {
isSyncRunning =
false
;
}
this
.notifyAll ();
}
}
}
3、Backup Node 的checkpoint的過程分析:
/**
* Create a new checkpoint
*/
void
doCheckpoint()
throws
IOException {
long
startTime = FSNamesystem.now ();
NamenodeCommand cmd =
getNamenode().startCheckpoint( backupNode. getRegistration());
CheckpointCommand cpCmd =
null
;
switch
( cmd. getAction()) {
case
NamenodeProtocol .ACT_SHUTDOWN :
shutdown() ;
throw
new
IOException (
"Name-node "
+ backupNode .nnRpcAddress
+
" requested shutdown."
);
case
NamenodeProtocol .ACT_CHECKPOINT :
cpCmd = (CheckpointCommand )cmd ;
break
;
default
:
throw
new
IOException (
"Unsupported NamenodeCommand: "
+cmd.getAction()) ;
}
CheckpointSignature sig = cpCmd. getSignature();
assert
FSConstants.LAYOUT_VERSION == sig .getLayoutVersion () :
"Signature should have current layout version. Expected: "
+ FSConstants.LAYOUT_VERSION +
" actual "
+ sig. getLayoutVersion();
assert
!backupNode .isRole (NamenodeRole .CHECKPOINT ) ||
cpCmd. isImageObsolete() :
"checkpoint node should always download image."
;
backupNode. setCheckpointState(CheckpointStates .UPLOAD_START );
if
( cpCmd. isImageObsolete()) {
// First reset storage on disk and memory state
backupNode. resetNamespace();
downloadCheckpoint(sig);
}
BackupStorage bnImage = getFSImage() ;
bnImage. loadCheckpoint(sig);
sig.validateStorageInfo( bnImage) ;
bnImage. saveCheckpoint();
if
( cpCmd. needToReturnImage())
uploadCheckpoint(sig);
getNamenode() .endCheckpoint (backupNode .getRegistration (), sig );
bnImage. convergeJournalSpool();
backupNode. setRegistration();
// keep registration up to date
if
( backupNode. isRole( NamenodeRole.CHECKPOINT ))
getFSImage() .getEditLog (). close() ;
LOG. info(
"Checkpoint completed in "
+ (FSNamesystem .now() - startTime )/
1000
+
" seconds."
+
" New Image Size: "
+ bnImage .getFsImageName (). length()) ;
}
}
4、元數據可靠性機制。
配置多個備份路徑。NameNode在更新日志或進行Checkpoint的過程,會將元數據放在多個目錄下。
對于沒一個需要保存的元數據文件,都創建一個輸出流,對訪問過程中出現的異常輸出流進行處理,將其移除。并再合適的時機再次檢查移除的數據量是否恢復正常。有效的保證了備份輸出流的異常問題。
采用了多種機制來保證元數據的可靠性。例如在checkpoint的過程中,分為幾個階段,通過不同的文件名來標識當前所處的狀態。為存儲失敗后進行恢復提供了可能。
5、元數據的一致性機制。
首先從NameNode啟動時,對每個備份目錄是否格式化、目錄元數據文件名是否正確等進行檢查,確保元數據文件間的狀態一致性,然后選取最新的加載到內存,這樣可以確保HDFS當前狀態和最后一次關閉時的狀態一致性。
其次,通過異常輸出流的處理,可以確保正常輸出流數據的一致性。
運用同步機制,確保了輸出流一致性問題。
本文轉自:
http://blog.csdn.net/kntao/article/details/7770597
posted on 2013-05-24 15:29
王海光
閱讀(490)
評論(0)
編輯
收藏
引用
所屬分類:
Linux
只有注冊用戶
登錄
后才能發表評論。
【推薦】100%開源!大型工業跨平臺軟件C++源碼提供,建模,組態!
相關文章:
Google開源項目
28個Unix/Linux的命令行神器
用GDB調試程序(七)
用GDB調試程序(六)
用GDB調試程序(五)
用GDB調試程序(四)
用GDB調試程序(三)
用GDB調試程序(二)
用GDB調試程序(一)
GDB中應該知道的幾個調試方法(轉載)
網站導航:
博客園
IT新聞
BlogJava
博問
Chat2DB
管理
Copyright ©2025 王海光 Powered By
博客園
模板提供:
滬江博客
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
亚洲女优在线
|
亚洲毛片视频
|
久久久国产视频91
|
亚洲欧美日韩高清
|
亚洲影院高清在线
|
欧美freesex交免费视频
|
性欧美1819sex性高清
|
亚洲永久精品大片
|
午夜免费久久久久
|
久久久福利视频
|
国产精品观看
|
久久裸体视频
|
模特精品裸拍一区
|
最近中文字幕日韩精品
|
亚洲欧洲日本国产
|
亚洲一区二区免费视频
|
亚洲欧美综合国产精品一区
|
久久精品国产视频
|
亚洲精品1区
|
91久久黄色
|
亚洲婷婷在线
|
欧美aaa级
|
亚洲精品韩国
|
中文精品视频
|
欧美成人网在线
|
国产偷国产偷精品高清尤物
|
红桃视频亚洲
|
亚洲欧美久久久
|
亚洲激情在线视频
|
欧美有码视频
|
国产精品毛片大码女人
|
亚洲国产欧美在线人成
|
久久久精品网
|
亚洲一区二区成人在线观看
|
玖玖国产精品视频
|
黄色国产精品
|
久久漫画官网
|
香蕉久久夜色精品国产
|
国产精品啊啊啊
|
日韩香蕉视频
|
亚洲国产精品久久91精品
|
午夜精品亚洲
|
国产视频精品xxxx
|
性色一区二区三区
|
亚洲男人第一av网站
|
欧美日韩在线观看视频
|
亚洲免费av网站
|
日韩视频免费看
|
国产精品萝li
|
国产精品入口日韩视频大尺度
|
女人色偷偷aa久久天堂
|
亚洲美女福利视频网站
|
亚洲精品乱码久久久久久日本蜜臀
|
久久国产精品久久久
|
欧美在线一级视频
|
国产精品女主播
|
久久精品国产亚洲aⅴ
|
久久精品成人一区二区三区蜜臀
|
狠狠干狠狠久久
|
亚洲国产精品久久91精品
|
欧美精品一区在线播放
|
午夜精品电影
|
久久一区免费
|
欧美一区二区在线观看
|
欧美a级片一区
|
亚洲欧美高清
|
久久一本综合频道
|
亚洲最黄网站
|
久久亚洲电影
|
久久精品国产亚洲高清剧情介绍
|
欧美国产日韩二区
|
久久全国免费视频
|
国产欧美日韩三级
|
一区二区三欧美
|
一区二区三区欧美亚洲
|
久久夜色精品国产亚洲aⅴ
|
亚洲免费视频一区二区
|
欧美精品综合
|
亚洲高清三级视频
|
久久精品亚洲一区二区
|
性久久久久久久
|
国产精品实拍
|
亚洲欧美激情视频
|
欧美一区二区视频在线观看2020
|
欧美日本不卡高清
|
亚洲激情影视
|
亚洲免费影院
|
国产精品视频成人
|
久久亚洲午夜电影
|
亚洲免费福利视频
|
欧美成人自拍视频
|
欧美ab在线视频
|
亚洲精品1234
|
在线亚洲美日韩
|
国产精品久久九九
|
欧美亚洲在线视频
|
女人香蕉久久**毛片精品
|
韩国av一区二区三区四区
|
久久aⅴ国产欧美74aaa
|
91久久久在线
|
欧美在线首页
|
亚洲欧洲在线免费
|
国产精品久久久久久久免费软件
|
午夜亚洲性色福利视频
|
久久国产主播精品
|
亚洲精品美女久久久久
|
国产精品羞羞答答xxdd
|
美女图片一区二区
|
香蕉成人伊视频在线观看
|
亚洲第一中文字幕
|
久久在线播放
|
性欧美暴力猛交另类hd
|
亚洲精品视频啊美女在线直播
|
国产精品久久婷婷六月丁香
|
欧美成人亚洲成人
|
久久婷婷蜜乳一本欲蜜臀
|
亚洲中字黄色
|
午夜精品视频一区
|
亚洲欧美日韩另类
|
久久综合九色综合欧美就去吻
|
欧美黄色一区二区
|
久久九九99
|
久久噜噜噜精品国产亚洲综合
|
亚洲自拍偷拍网址
|
欧美理论大片
|
欧美极品在线观看
|
欧美日韩国产另类不卡
|
欧美好骚综合网
|
欧美极品在线播放
|
欧美性天天影院
|
韩国v欧美v日本v亚洲v
|
亚洲一区二区3
|
亚洲婷婷免费
|
久久不射中文字幕
|
免费久久精品视频
|
一区二区三区成人
|
久久精品1区
|
欧美国产视频在线观看
|
国产精品视区
|
亚洲精品中文在线
|
性欧美18~19sex高清播放
|
乱码第一页成人
|
夜夜嗨av一区二区三区四季av
|
亚洲自拍三区
|
欧美久久成人
|
亚洲黄一区二区三区
|
欧美主播一区二区三区
|
91久久精品网
|
牛人盗摄一区二区三区视频
|
国产精品a久久久久
|
亚洲高清视频一区
|
久久久精品999
|
亚洲欧美激情一区
|
欧美香蕉视频
|
亚洲午夜电影网
|
91久久国产自产拍夜夜嗨
|
久久亚洲春色中文字幕久久久
|
国产欧美精品一区
|
欧美在线free
|
欧美一区在线直播
|
红桃视频国产精品
|
久久综合色一综合色88
|
欧美一区二区三区在线
|
国产精品久久久久影院亚瑟
|
亚洲日韩第九十九页
|
羞羞答答国产精品www一本
|
欧美激情久久久久
|
欧美伊人精品成人久久综合97
|
久久这里只有精品视频首页
|
亚洲一区自拍
|
国产精品一区二区三区乱码
|
亚洲欧美成人网
|
亚洲国产欧美在线人成
|
老司机精品福利视频
|
久久久久9999亚洲精品
|
今天的高清视频免费播放成人
|
欧美自拍偷拍
|
久久久久九九视频
|
日韩视频中午一区
|
久久久欧美精品sm网站
|
亚洲欧美久久
|
亚洲一区高清
|
国产精品一区二区三区乱码
|
激情五月婷婷综合
|
免费毛片一区二区三区久久久
|
久久成人av少妇免费
|
亚洲国产毛片完整版
|
一本色道久久综合狠狠躁篇的优点
|
一区二区三区高清在线观看
|
欧美日韩国产一区二区
|
午夜精品一区二区三区四区
|
性色av一区二区三区红粉影视
|
精品不卡一区二区三区
|
亚洲一区二区少妇
|
亚洲日韩欧美视频
|
久久av一区二区三区亚洲
|
一本色道久久综合亚洲精品高清
|
久久免费视频网
|
国产精品日韩
|
一区二区福利
|