青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品

loop_in_codes

低調做技術__歡迎移步我的獨立博客 codemaro.com 微博 kevinlynx

淘寶分布式配置管理服務Diamond

在一個分布式環境中,同類型的服務往往會部署很多實例。這些實例使用了一些配置,為了更好地維護這些配置就產生了配置管理服務。通過這個服務可以輕松地管理這些應用服務的配置問題。應用場景可概括為:

zookeeper的一種應用就是分布式配置管理(基于ZooKeeper的配置信息存儲方案的設計與實現)。百度也有類似的實現:disconf

Diamond則是淘寶開源的一種分布式配置管理服務的實現。Diamond本質上是一個Java寫的Web應用,其對外提供接口都是基于HTTP協議的,在閱讀代碼時可以從實現各個接口的controller入手。

分布式配置管理

分布式配置管理的本質基本上就是一種推送-訂閱模式的運用。配置的應用方是訂閱者,配置管理服務則是推送方。概括為下圖:

其中,客戶端包括管理人員publish數據到配置管理服務,可以理解為添加/更新數據;配置管理服務notify數據到訂閱者,可以理解為推送。

配置管理服務往往會封裝一個客戶端庫,應用方則是基于該庫與配置管理服務進行交互。在實際實現時,客戶端庫可能是主動拉取(pull)數據,但對于應用方而言,一般是一種事件通知方式。

Diamond中的數據是簡單的key-value結構。應用方訂閱數據則是基于key來訂閱,未訂閱的數據當然不會被推送。數據從類型上又劃分為聚合和非聚合。因為數據推送者可能很多,在整個分布式環境中,可能有多個推送者在推送相同key的數據,這些數據如果是聚合的,那么所有這些推送者推送的數據會被合并在一起;反之如果是非聚合的,則會出現覆蓋。

數據的來源可能是人工通過管理端錄入,也可能是其他服務通過配置管理服務的推送接口自動錄入。

架構及實現

Diamond服務是一個集群,是一個去除了單點的協作集群。如圖:

圖中可分為以下部分講解:

服務之間同步

Diamond服務集群每一個實例都可以對外完整地提供服務,那么意味著每個實例上都有整個集群維護的數據。Diamond有兩種方式保證這一點:

  • 任何一個實例都有其他實例的地址;任何一個實例上的數據變更時,都會將改變的數據同步到mysql上,然后通知其他所有實例從mysql上進行一次數據拉取(DumpService::dump),這個過程只拉取改變了的數據
  • 任何一個實例啟動后都會以較長的時間間隔(幾小時),從mysql進行一次全量的數據拉取(DumpAllProcessor)

實現上為了一致性,通知其他實例實際上也包含自己。以服務器收到添加聚合數據為例,處理過程大致為:

DatumController::addDatum // /datum.do?method=addDatum
    PersistService::addAggrConfigInfo 
    MergeDatumService::addMergeTask // 添加一個MergeDataTask,異步處理

MergeTaskProcessor::process
    PersistService::insertOrUpdate
        EventDispatcher.fireEvent(new ConfigDataChangeEvent // 派發一個ConfigDataChangeEvent事件

NotifyService::onEvent // 接收事件并處理
    TaskManager::addTask(..., new NotifyTask // 由此,當數據發生變動,則最終創建了一個NoticyTask

// NotifyTask同樣異步處理
NotifyTaskProcessor::process
    foreach server in serverList // 包含自己
        notifyToDump // 調用 /notify.do?method=notifyConfigInfo 從mysql更新變動的數據

雖然Diamond去除了單點問題,不過問題都下降到了mysql上。但由于其作為配置管理的定位,其數據量就mysql的應用而言算小的了,所以可以一定程度上保證整個服務的可用性。

數據一致性

由于Diamond服務器沒有master,任何一個實例都可以讀寫數據,那么針對同一個key的數據則可能面臨沖突。這里應該是通過mysql來保證數據的一致性。每一次客戶端請求寫數據時,Diamond都將寫請求投遞給mysql,然后通知集群內所有Diamond實例(包括自己)從mysql拉取數據。當然,拉取數據則可能不是每一次寫入都能拉出來,也就是最終一致性。

Diamond中沒有把數據放入內存,但會放到本地文件。對于客戶端的讀操作而言,則是直接返回本地文件里的數據。

服務實例列表

Diamond服務實例列表是一份靜態數據,直接將每個實例的地址存放在一個web server上。無論是Diamond服務還是客戶端都從該web server上取出實例列表。

對于客戶端而言,當其取出了該列表后,則是隨機選擇一個節點(ServerListManager.java),以后的請求都會發往該節點。

數據同步

客戶端庫中以固定時間間隔從服務器拉取數據(ClientWorker::ClientWorkerClientWorker::checkServerConfigInfo)。只有應用方關心的數據才可能被拉取。另外,為了數據推送的及時,Diamond還使用了一種long polling的技術,其實也是為了突破HTTP協議的局限性。如果整個服務是基于TCP的自定義協議,客戶端與服務器保持長連接則沒有這些問題

數據的變更

Diamond中很多操作都會檢查數據是否發生了變化。標識數據變化則是基于數據對應的MD5值來實現的。

容災

在整個Diamond系統中,幾個角色為了提高容災性,都有自己的緩存,概括為下圖:

每一個角色出問題時,都可以盡量保證客戶端對應用層提供服務。

參考文檔

posted on 2014-10-12 12:57 Kevin Lynx 閱讀(2749) 評論(4)  編輯 收藏 引用 所屬分類: network

評論

# re: 淘寶分布式配置管理服務Diamond 2014-10-13 10:05 zuhd

每個dimond與mysql一個連接嗎?如果dimond節點不斷增添,mysql的壓力是不是要考慮?  回復  更多評論   

# re: 淘寶分布式配置管理服務Diamond[未登錄] 2014-10-14 00:30 楊粼波

mysql用redis來替換,可能會更好,redis也支持master-slave,而且支持數據的熱備,即可保證數據的安全性,又可以防止單點故障,而且性能是要比mysql要好一些的。  回復  更多評論   

# re: 淘寶分布式配置管理服務Diamond 2014-10-14 13:23 Kevin Lynx

@zuhd
diamond本身作為服務器不會太多的。  回復  更多評論   

# re: 淘寶分布式配置管理服務Diamond 2015-01-10 09:40 jogosdofriv

每個dimond與mysql一個連接嗎?  回復  更多評論   

青青草原综合久久大伊人导航_色综合久久天天综合_日日噜噜夜夜狠狠久久丁香五月_热久久这里只有精品
  • <ins id="pjuwb"></ins>
    <blockquote id="pjuwb"><pre id="pjuwb"></pre></blockquote>
    <noscript id="pjuwb"></noscript>
          <sup id="pjuwb"><pre id="pjuwb"></pre></sup>
            <dd id="pjuwb"></dd>
            <abbr id="pjuwb"></abbr>
            欧美激情一区二区| 亚洲欧美影音先锋| 国产精品高潮呻吟久久| 欧美成人情趣视频| 农夫在线精品视频免费观看| 免费成人毛片| 欧美午夜不卡视频| 欧美好吊妞视频| 久久xxxx| 久久综合狠狠综合久久综合88| 久久久综合精品| 欧美激情在线有限公司| 99视频精品在线| 亚欧成人在线| 巨乳诱惑日韩免费av| 欧美日产在线观看| 久久嫩草精品久久久精品| 久久久久国产精品一区三寸| 麻豆乱码国产一区二区三区| 亚洲精品激情| 亚洲深夜福利| 久久久蜜桃精品| 欧美精品一区在线播放| 国产区精品视频| 亚洲免费激情| 久久频这里精品99香蕉| 亚洲日本乱码在线观看| 午夜久久久久| 欧美日韩国产一区二区三区地区| 国产日韩久久| 亚洲综合首页| 91久久精品一区二区三区| 香蕉久久夜色精品国产| 欧美精品少妇一区二区三区| 国产亚洲美州欧州综合国| 一区二区三区视频观看| 欧美激情影院| 久久久99精品免费观看不卡| 国产精品久久久久久久一区探花| 亚洲国产精品久久久久秋霞蜜臀 | 欧美亚洲视频在线看网址| 美女免费视频一区| 午夜精品免费| 欧美午夜电影在线| 亚洲精品中文字幕有码专区| 久久久噜久噜久久综合| 一区二区三区日韩精品视频| 欧美成人免费全部观看天天性色| 国内精品视频在线播放| 久久av一区二区三区| 亚洲一区二区三区中文字幕在线 | 国产乱码精品一区二区三区不卡| 亚洲理论在线观看| 欧美国产欧美亚州国产日韩mv天天看完整| 亚洲一二三区在线| 国产精品初高中精品久久| 99视频一区二区三区| 欧美一区二区三区免费观看视频| 99精品视频一区二区三区| 中日韩美女免费视频网站在线观看| 久久国产乱子精品免费女| 国产精自产拍久久久久久| 亚洲深夜福利在线| 永久免费视频成人| 久久精品视频在线免费观看| 亚洲主播在线| 国产欧美在线看| 久久久999| 久久久www成人免费无遮挡大片| 国产日韩精品一区观看| 久久久久国产精品厨房| 午夜一区二区三区不卡视频| 国产日韩欧美91| 麻豆成人在线观看| 另类av一区二区| 夜夜嗨av一区二区三区网页| 一区二区三区.www| 国产片一区二区| 美国成人直播| 免费精品99久久国产综合精品| 亚洲人成高清| 中文在线一区| 尹人成人综合网| 亚洲人成艺术| 国产精品欧美日韩一区二区| 久久一区欧美| 欧美国产成人在线| 欧美一区二区三区免费大片| 久久久久久久综合狠狠综合| 999在线观看精品免费不卡网站| 夜夜嗨一区二区三区| 国内自拍一区| 国产最新精品精品你懂的| 欧美激情小视频| 国产精品久久久久av免费| 久久久国产午夜精品| 欧美国产亚洲视频| 国产婷婷色综合av蜜臀av| 欧美大片91| 国产欧美精品一区| 亚洲激情在线观看视频免费| 国产乱码精品| 亚洲精品视频一区| 国内揄拍国内精品少妇国语| 亚洲电影一级黄| 国产伦一区二区三区色一情| 亚洲国产导航| 国产在线观看91精品一区| 日韩手机在线导航| 曰韩精品一区二区| 亚洲一区二区三区精品在线 | 亚洲精品久久久久久久久久久久 | 欧美人与性动交α欧美精品济南到| 亚洲欧美成人综合| 欧美α欧美αv大片| 久久久久www| 国产精品www.| 亚洲人成人一区二区三区| 欧美jizzhd精品欧美巨大免费| 亚洲精品午夜| 在线观看视频一区二区| 一区二区电影免费在线观看| 在线观看日韩av电影| 亚洲一区二区在线视频| 亚洲三级免费观看| 久久久91精品国产一区二区三区 | 99视频在线观看一区三区| 久久精品网址| 香蕉尹人综合在线观看| 欧美午夜电影在线| 一区二区三区av| 亚洲尤物在线| 欧美午夜美女看片| 亚洲老司机av| 99国产精品久久久久久久成人热| 久久夜色精品亚洲噜噜国产mv| 久久精品免费播放| 国内精品免费在线观看| 久久国产日韩| 蜜桃av一区二区三区| 在线观看日韩av| 久久网站热最新地址| 老巨人导航500精品| 亚洲福利视频在线| 欧美二区在线| 日韩亚洲欧美成人| 午夜欧美精品| 韩日成人在线| 欧美mv日韩mv国产网站| 亚洲国产婷婷香蕉久久久久久99| 亚洲精品三级| 国产精品任我爽爆在线播放 | 欧美新色视频| 亚洲欧洲av一区二区| 久久九九全国免费精品观看| 精品动漫一区| 欧美人与禽性xxxxx杂性| 亚洲图片自拍偷拍| 久久国产精品久久久久久久久久| 国内精品国产成人| 欧美精品1区| 亚洲一区二区三区四区中文| 久久久久国产免费免费| 亚洲高清视频在线| 欧美精品自拍| 午夜精品久久久久久久蜜桃app| 久久综合狠狠综合久久综合88| 亚洲激情成人在线| 欧美亚洲第一区| 久久激情中文| 亚洲免费观看高清完整版在线观看熊 | 久久久久久高潮国产精品视| 欧美国产精品人人做人人爱| 9l国产精品久久久久麻豆| 国产精品jvid在线观看蜜臀| 性欧美在线看片a免费观看| 欧美国产亚洲精品久久久8v| 亚洲视频在线观看| 国产亚洲制服色| aa国产精品| 免费视频一区| 亚洲视频一区二区| 麻豆精品精华液| 亚洲午夜国产一区99re久久| 国产亚洲一区二区精品| 免费在线亚洲| 欧美一区国产一区| 99精品欧美| 亚洲激情另类| 男女av一区三区二区色多| 亚洲欧美另类在线| 亚洲精品一区二| 在线观看成人一级片| 国产九九精品视频| 国产精品国产三级国产aⅴ无密码| 久久久久久穴| 香蕉久久国产| 欧美一级二级三级蜜桃| 亚洲午夜精品福利| 在线一区欧美|