青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

面對現實,超越自己
逆水行舟,不進則退
posts - 269,comments - 32,trackbacks - 0
1、NameNode啟動加載元數據情景分析
  • NameNode函數里調用FSNamesystemm讀取dfs.namenode.name.dir和dfs.namenode.edits.dir構建FSDirectory。
  • FSImage類recoverTransitionRead和saveNameSpace分別實現了元數據的檢查、加載、內存合并和元數據的持久化存儲。
  • saveNameSpace將元數據寫入到磁盤,具體操作步驟:首先將current目錄重命名為lastcheckpoint.tmp;然后在創建新的current目錄,并保存文件;最后將lastcheckpoint.tmp重命名為privios.checkpoint.
  • checkPoint的過程:Secondary NameNode會通知nameNode產生一個edit log文件edits.new,之后所有的日志操作寫入到edits.new文件中。接下來Secondary NameNode會從namenode下載fsimage和edits文件,進行合并產生新的fsimage.ckpt;然后Secondary會將fsimage.ckpt文件上傳到namenode。最后namenode會重命名fsimage.ckpt為fsimage,edtis.new為edits;
2、元數據更新及日志寫入情景分析
以mkdir為例:
logSync代碼分析:
代碼:
  1. public void logSync () throws IOException {  
  2. ArrayList<EditLogOutputStream > errorStreams = null ;  
  3. long syncStart = 0;  
  4.   
  5. // Fetch the transactionId of this thread.  
  6. long mytxid = myTransactionId .get (). txid;  
  7. EditLogOutputStream streams[] = null;  
  8. boolean sync = false;  
  9. try {  
  10. synchronized (this) {  
  11. assert editStreams. size() > 0 : "no editlog streams" ;  
  12. printStatistics (false);  
  13. // if somebody is already syncing, then wait  
  14. while (mytxid > synctxid && isSyncRunning) {  
  15. try {  
  16. wait (1000 );  
  17. catch (InterruptedException ie ) {  
  18. }  
  19. }  
  20. //  
  21. // If this transaction was already flushed, then nothing to do  
  22. //  
  23. if (mytxid <= synctxid ) {  
  24. numTransactionsBatchedInSync ++;  
  25. if (metrics != null// Metrics is non-null only when used inside name node  
  26. metrics .transactionsBatchedInSync .inc ();  
  27. return;  
  28. }  
  29. // now, this thread will do the sync  
  30. syncStart = txid ;  
  31. isSyncRunning = true;  
  32. sync = true;  
  33. // swap buffers  
  34. for( EditLogOutputStream eStream : editStreams ) {  
  35. eStream .setReadyToFlush ();  
  36. }  
  37. streams =  
  38. editStreams .toArray (new EditLogOutputStream[editStreams. size()]) ;  
  39. }  
  40. // do the sync  
  41. long start = FSNamesystem.now();  
  42. for (int idx = 0; idx < streams. length; idx++ ) {  
  43. EditLogOutputStream eStream = streams [idx ];  
  44. try {  
  45. eStream .flush ();  
  46. catch (IOException ie ) {  
  47. FSNamesystem .LOG .error ("Unable to sync edit log." , ie );  
  48. //  
  49. // remember the streams that encountered an error.  
  50. //  
  51. if (errorStreams == null) {  
  52. errorStreams = new ArrayList <EditLogOutputStream >( 1) ;  
  53. }  
  54. errorStreams .add (eStream );  
  55. }  
  56. }  
  57. long elapsed = FSNamesystem.now() - start ;  
  58. processIOError (errorStreams , true);  
  59. if (metrics != null// Metrics non-null only when used inside name node  
  60. metrics .syncs .inc (elapsed );  
  61. finally {  
  62. synchronized (this) {  
  63. synctxid = syncStart ;  
  64. if (sync ) {  
  65. isSyncRunning = false;  
  66. }  
  67. this.notifyAll ();  
  68. }  
  69. }  
  70. }  

3、Backup Node 的checkpoint的過程分析:
  1. /** 
  2. * Create a new checkpoint 
  3. */  
  4. void doCheckpoint() throws IOException {  
  5. long startTime = FSNamesystem.now ();  
  6. NamenodeCommand cmd =  
  7. getNamenode().startCheckpoint( backupNode. getRegistration());  
  8. CheckpointCommand cpCmd = null;  
  9. switch( cmd. getAction()) {  
  10. case NamenodeProtocol .ACT_SHUTDOWN :  
  11. shutdown() ;  
  12. throw new IOException ("Name-node " + backupNode .nnRpcAddress  
  13. " requested shutdown.");  
  14. case NamenodeProtocol .ACT_CHECKPOINT :  
  15. cpCmd = (CheckpointCommand )cmd ;  
  16. break;  
  17. default:  
  18. throw new IOException ("Unsupported NamenodeCommand: "+cmd.getAction()) ;  
  19. }  
  20.   
  21. CheckpointSignature sig = cpCmd. getSignature();  
  22. assert FSConstants.LAYOUT_VERSION == sig .getLayoutVersion () :  
  23. "Signature should have current layout version. Expected: "  
  24. + FSConstants.LAYOUT_VERSION + " actual " + sig. getLayoutVersion();  
  25. assert !backupNode .isRole (NamenodeRole .CHECKPOINT ) ||  
  26. cpCmd. isImageObsolete() : "checkpoint node should always download image.";  
  27. backupNode. setCheckpointState(CheckpointStates .UPLOAD_START );  
  28. if( cpCmd. isImageObsolete()) {  
  29. // First reset storage on disk and memory state  
  30. backupNode. resetNamespace();  
  31. downloadCheckpoint(sig);  
  32. }  
  33.   
  34. BackupStorage bnImage = getFSImage() ;  
  35. bnImage. loadCheckpoint(sig);  
  36. sig.validateStorageInfo( bnImage) ;  
  37. bnImage. saveCheckpoint();  
  38.   
  39. if( cpCmd. needToReturnImage())  
  40. uploadCheckpoint(sig);  
  41.   
  42. getNamenode() .endCheckpoint (backupNode .getRegistration (), sig );  
  43.   
  44. bnImage. convergeJournalSpool();  
  45. backupNode. setRegistration(); // keep registration up to date  
  46. if( backupNode. isRole( NamenodeRole.CHECKPOINT ))  
  47. getFSImage() .getEditLog (). close() ;  
  48. LOG. info( "Checkpoint completed in "  
  49. + (FSNamesystem .now() - startTime )/ 1000 + " seconds."  
  50. " New Image Size: " + bnImage .getFsImageName (). length()) ;  
  51. }  
  52. }  

4、元數據可靠性機制。
  • 配置多個備份路徑。NameNode在更新日志或進行Checkpoint的過程,會將元數據放在多個目錄下。
  • 對于沒一個需要保存的元數據文件,都創建一個輸出流,對訪問過程中出現的異常輸出流進行處理,將其移除。并再合適的時機再次檢查移除的數據量是否恢復正常。有效的保證了備份輸出流的異常問題。
  • 采用了多種機制來保證元數據的可靠性。例如在checkpoint的過程中,分為幾個階段,通過不同的文件名來標識當前所處的狀態。為存儲失敗后進行恢復提供了可能。
5、元數據的一致性機制。
  • 首先從NameNode啟動時,對每個備份目錄是否格式化、目錄元數據文件名是否正確等進行檢查,確保元數據文件間的狀態一致性,然后選取最新的加載到內存,這樣可以確保HDFS當前狀態和最后一次關閉時的狀態一致性。
  • 其次,通過異常輸出流的處理,可以確保正常輸出流數據的一致性。
  • 運用同步機制,確保了輸出流一致性問題。

    本文轉自:
    http://blog.csdn.net/kntao/article/details/7770597
posted on 2013-05-24 15:29 王海光 閱讀(490) 評論(0)  編輯 收藏 引用 所屬分類: Linux
青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            亚洲激情社区| 一本色道久久99精品综合 | 亚洲精品之草原avav久久| 麻豆精品精品国产自在97香蕉| 久久精品亚洲一区二区| 麻豆av一区二区三区| 欧美大片va欧美在线播放| 欧美国产国产综合| 亚洲精品视频在线| 欧美一级视频精品观看| 久久色在线观看| 欧美国产日韩xxxxx| 国产精品国内视频| 国产日韩一区| av成人激情| 久久久99国产精品免费| 91久久国产综合久久蜜月精品 | 亚洲国产成人不卡| 亚洲国产成人av好男人在线观看| 亚洲精品国产视频| 午夜精品久久久久久久久久久久久 | 亚洲夜间福利| 久久这里有精品15一区二区三区| 亚洲电影专区| 亚洲欧美在线网| 模特精品裸拍一区| 国产日韩欧美在线播放不卡| 亚洲欧洲一区二区三区在线观看| 午夜国产不卡在线观看视频| 久久亚洲视频| 亚洲欧美日本日韩| 欧美女同视频| 亚洲电影在线观看| 久久精品天堂| 亚洲视频免费观看| 欧美精品一区视频| 最新中文字幕一区二区三区| 久久精品国产久精国产一老狼 | 亚洲一区国产视频| 欧美黑人国产人伦爽爽爽| 香蕉久久夜色精品国产| 国产精品国码视频| 99精品视频免费在线观看| 美女黄网久久| 欧美一级片一区| 国产精品理论片| 一本色道久久88综合日韩精品| 免费看的黄色欧美网站| 亚洲欧美一区二区三区久久| 欧美日韩国产一区| 一本色道久久| 99成人在线| 欧美日韩在线精品一区二区三区| 亚洲久久成人| 亚洲精品免费电影| 欧美日韩三级在线| 一区二区三区产品免费精品久久75| 欧美bbbxxxxx| 免费日韩视频| 日韩视频免费| 亚洲日本久久| 欧美四级在线观看| 亚洲一区二区视频| 在线综合+亚洲+欧美中文字幕| 欧美日韩在线直播| 午夜欧美理论片| 久久精品国产99国产精品| 国产一区二区三区的电影 | 久久福利电影| 亚洲欧美国产不卡| 亚洲精品久久久久久一区二区| 久久嫩草精品久久久精品| 好看的日韩视频| 牛牛国产精品| 欧美精品国产一区| 亚洲图片欧美午夜| 午夜免费在线观看精品视频| 国产麻豆精品theporn| 久久精品中文字幕免费mv| 久久精品一区二区三区四区 | 欧美福利视频| 亚洲网址在线| 亚洲欧美日韩精品久久奇米色影视| 国产一区二区久久久| 麻豆九一精品爱看视频在线观看免费| 久久久伊人欧美| a4yy欧美一区二区三区| 亚洲欧美国产高清| 精久久久久久| 99精品欧美| 激情久久五月| 一级成人国产| 亚洲国产一区二区三区在线播| 亚洲美女黄色| 伊人成人在线| 中文国产亚洲喷潮| 亚洲风情在线资源站| 亚洲在线观看视频网站| 亚洲国产精品一区二区尤物区| 日韩亚洲在线观看| 亚洲第一页在线| 亚洲免费网站| 一区二区三区欧美| 久久青草欧美一区二区三区| 亚洲私人影吧| 麻豆av一区二区三区| 欧美在线地址| 欧美日韩中文| 亚洲精品日产精品乱码不卡| 伊人天天综合| 性色av一区二区三区| 亚洲图片欧美日产| 欧美精品播放| 欧美国产日韩一区二区三区| 国产精品资源在线观看| 9l国产精品久久久久麻豆| 91久久精品国产91久久| 久久精品国产一区二区三区| 午夜亚洲精品| 国产精品s色| 亚洲乱码国产乱码精品精98午夜| 国内精品视频在线观看| 亚洲少妇中出一区| 亚洲网站在线观看| 欧美日韩国产成人在线91| 亚洲电影免费观看高清完整版在线观看 | 亚洲性感美女99在线| 亚洲欧洲另类| 美国十次成人| 亚洲丰满少妇videoshd| 1000精品久久久久久久久| 午夜精品亚洲| 久久精品国内一区二区三区| 国产精品视区| 亚洲欧美变态国产另类| 亚洲欧美日韩国产一区二区三区| 欧美视频在线观看视频极品| 亚洲乱码精品一二三四区日韩在线| 亚洲日本中文字幕区| 欧美激情一区二区三区不卡| 亚洲高清在线视频| 亚洲三级电影在线观看| 欧美不卡视频一区| 亚洲精品一区二区三区蜜桃久| 亚洲欧洲一区二区天堂久久| 欧美黑人多人双交| 夜夜嗨av一区二区三区中文字幕 | 在线观看久久av| 麻豆精品视频在线观看| 亚洲日本中文字幕免费在线不卡| 在线视频亚洲一区| 国产精品久久久久久久午夜 | 伊人狠狠色j香婷婷综合| 久久久久久亚洲精品不卡4k岛国| 欧美~级网站不卡| 亚洲欧洲一区二区在线观看| 欧美日韩大片一区二区三区| 亚洲一区视频在线| 久久这里只有| 99精品热6080yy久久 | 亚洲最新视频在线| 欧美视频一区二区| 午夜精品亚洲| 亚洲激情网址| 欧美专区亚洲专区| 亚洲福利视频在线| 欧美午夜久久久| 久久亚洲二区| 亚洲一区二区在线看| 欧美成人r级一区二区三区| 亚洲视频一二三| 一色屋精品亚洲香蕉网站| 欧美日韩免费观看一区二区三区 | 久久―日本道色综合久久| 亚洲日本欧美日韩高观看| 午夜在线精品偷拍| 亚洲国产欧美国产综合一区| 国产精品男女猛烈高潮激情 | 午夜精品美女自拍福到在线| 欧美激情亚洲自拍| 欧美中文字幕久久| 中国日韩欧美久久久久久久久| 欧美一区二区视频在线观看2020 | 亚洲国产女人aaa毛片在线| 亚洲欧美中文另类| 一区二区日韩精品| 亚洲电影免费在线| 国产欧美日韩亚洲精品| 欧美人与禽性xxxxx杂性| 久久久亚洲国产美女国产盗摄| 日韩午夜电影| 欧美大秀在线观看| 久久国产精品一区二区三区| 夜夜嗨av一区二区三区网站四季av| 国产日产精品一区二区三区四区的观看方式 | 国产精品综合视频| 欧美深夜福利| 欧美精品尤物在线| 免费不卡在线视频| 久久久噜噜噜久久狠狠50岁|