Gordooooon — Thu, 26 Jun 2014 10:27:00 GMT

�?/span>载地址�Q?http://blog.csdn.net/sparkliang/article/details/5279393

consistent hashing ��法早在 1997 �q�就在论�?/span> Consistent hashing and random trees 中被提出�Q�目前在cache �pȝ��中应用越来越�q�泛�Q?/span>

1 基本场景

比如你有 N �?/span> cache 服务器（后面��U?/span> cache �Q�，那么如何��一个对�?/span> object 映射�?/span> N �?/span> cache 上呢�Q�你很可能会采用�c�M��下面的通用�Ҏ��计算 object �?/span> hash ��|��然后均匀的映��到�?/span> N �?/span> cache �Q?/span>

hash(object)%N

一切都�q�行正常�Q�再考虑如下的两�U�情况；

1 一�?/span> cache 服务�?/span> m down 掉了�Q�在实际应用中必��要考虑�q�种情况�Q�，�q�样所有映��到 cache m 的对象都会失效，怎么办，需要把 cache m �?/span> cache 中移除，�q�时�?/span> cache �?/span> N-1 収ͼ�映射公式变成�?/span> hash(object)%(N-1) �Q?/span>

2 �׃��讉K��加重�Q�需要添�?/span> cache �Q�这时�?/span> cache �?/span> N+1 収ͼ�映射公式变成�?/span> hash(object)%(N+1) �Q?/span>

1 �?/span> 2 意味着什么？�q�意味着�H�然之间几乎所有的 cache 都失效了。对于服务器而言�Q�这是一场灾难，�z�水般的讉K��都会直接冲向后台服务器；

再来考虑�W�三个问题，�׃��g能力��来��强�Q�你可能惌��后面��d��的节点多做点�z�，昄��上面�?/span> hash ��法也做不到�?/span>

有什么方法可以改变这个状况呢�Q�这��是 consistent hashing...

2 hash ��法和单调�?/h2>
　　 Hash ��法的一个衡量指标是单调性（ Monotonicity �Q�，定义如下�Q?/span>
　　单调性是指如果已�l�有一些内定w��过哈希分派��C��相应的缓冲中�Q�又有新的缓冲加入到�pȝ��中。哈希的�l�果应能够保证原有已分配的内容可以被映射到新的缓冲中去，而不会被映射到旧的缓冲集合中的其他缓冲区�?/span>
�Ҏ��看到�Q�上面的��?/span> hash ��法 hash(object)%N 难以满��单调性要求�?/span>

3 consistent hashing ��法的原�?/h2>
consistent hashing 是一�U?/span> hash ��法�Q�简单的��_��在移�?/span> / ��d��一�?/span> cache �Ӟ��它能够尽可能��的改变已存�?/span> key 映射关系�Q�尽可能的满��_��调性的要求�?/span>
下面��来按照 5 个步骤简单讲�?/span> consistent hashing ��法的基本原理�?/span>

3.1 环�Şhash �I�间

考虑通常�?/span> hash ��法都是��?/span> value 映射��C��?/span> 32 为的 key ��|��也即�?/span> 0~2^32-1 �ơ方的数值空��_��我们可以��这个空间想象成一个首�Q?/span> 0 �Q�尾�Q?/span> 2^32-1 �Q�相接的圆环�Q�如下面�?/span> 1 所�C�的那样�?/span>

�?/span> 1 环�Ş hash �I�间

3.2 把对象映��到hash �I�间

接下来考虑 4 个对�?/span> object1~object4 �Q�通过 hash 函数计算出的 hash �?/span> key 在环上的分布如图 2 所�C��?/span>

hash(object1) = key1;

… …

hash(object4) = key4;

�?/span> 2 4 个对象的 key 值分�?/span>

3.3 把cache 映射到hash �I�间

Consistent hashing 的基本思想��是��对象和 cache 都映��到同一�?/span> hash 数值空间中�Q��ƈ且��用相同的 hash��法�?/span>

假设当前�?/span> A,B �?/span> C �?/span> 3 �?/span> cache �Q�那么其映射�l�果��如�?/span> 3 所�C�，他们�?/span> hash �I�间中，以对应的 hash 值排列�?/span>

hash(cache A) = key A;

… …

hash(cache C) = key C;

�?/span> 3 cache 和对象的 key 值分�?/span>

说到�q�里�Q�顺便提一�?/span> cache �?/span> hash 计算�Q�一般的�Ҏ��可以使用 cache 机器�?/span> IP 地址或者机器名作�ؓ hash输入�?/span>

3.4 把对象映��到cache

现在 cache 和对象都已经通过同一�?/span> hash ��法映射�?/span> hash 数值空间中了，接下来要考虑的就是如何将对象映射�?/span> cache 上面了�?/span>

在这个环形空间中�Q�如果沿着��时针方向从对象�?/span> key 值出发，直到遇见一�?/span> cache �Q�那么就��该对象存储在这�?/span> cache 上，因�ؓ对象�?/span> cache �?/span> hash 值是固定的，因此�q�个 cache 必然是唯一和确定的。这样不��找��C��对象�?/span> cache 的映��方法了吗？�Q?/span>

依然�l�箋上面的例子（参见�?/span> 3 �Q�，那么�Ҏ��上面的方法，对象 object1 ��被存储�?/span> cache A 上； object2 �?/span>object3 对应�?/span> cache C �Q?/span> object4 对应�?/span> cache B �Q?/span>

3.5 考察cache 的变�?/h3>
前面讲过�Q�通过 hash 然后求余的方法带来的最大问题就在于不能满��单调性，�?/span> cache 有所变动�Ӟ�� cache会失效，�q�而对后台服务器造成巨大的冲击，现在��来分析分析 consistent hashing ��法�?/span>
3.5.1 �U�除 cache
考虑假设 cache B 挂掉了，�Ҏ��上面讲到的映��方法，�q�时受媄响的��仅是那些沿 cache B 逆时针遍历直��C��一�?/span> cache �Q?/span> cache C �Q�之间的对象�Q�也��x��本来映射�?/span> cache B 上的那些对象�?/span>
因此�q�里仅需要变动对�?/span> object4 �Q�将光��新映��到 cache C 上即可；参见�?/span> 4 �?/span>
�?/span> 4 Cache B 被移除后�?/span> cache 映射
3.5.2 ��d�� cache
再考虑��d��一台新�?/span> cache D 的情况，假设在这个环�?/span> hash �I�间中， cache D 被映��在对象 object2 �?/span>object3 之间。这时受影响的将仅是那些�?/span> cache D 逆时针遍历直��C��一�?/span> cache �Q?/span> cache B �Q�之间的对象�Q�它们是也本来映��到 cache C 上对象的一部分�Q�，��这些对象重新映��到 cache D 上即可�?/span>

因此�q�里仅需要变动对�?/span> object2 �Q�将光��新映��到 cache D 上；参见�?/span> 5 �?/span>
�?/span> 5 ��d�� cache D 后的映射关系

4 虚拟节点

考量 Hash ��法的另一个指标是�q��?/span> (Balance) �Q�定义如下：

�q��?/span>

　　�q��性是指哈希的�l�果能够��可能分布到所有的�~�冲中去�Q�这样可以��得所有的�~�冲�I�间都得到利用�?/span>

hash ��法�q�不是保证绝对的�q��Q�如�?/span> cache 较少的话�Q�对象�ƈ不能被均匀的映��到 cache 上，比如在上面的例子中，仅部�|?/span> cache A �?/span> cache C 的情况下�Q�在 4 个对象中�Q?/span> cache A 仅存储了 object1 �Q��?/span> cache C 则存储了object2 �?/span> object3 �?/span> object4 �Q�分布是很不均衡的�?/span>

��Z��解决�q�种情况�Q?/span> consistent hashing 引入�?#8220;虚拟节点”的概念，它可以如下定义：

“虚拟节点”�Q?/span> virtual node �Q�是实际节点�?/span> hash �I�间的复制品�Q?/span> replica �Q�，一实际个节点对应了若干�?#8220;虚拟节点”�Q�这个对应个��C��成�ؓ“复制个数”�Q?#8220;虚拟节点”�?/span> hash �I�间中以 hash 值排列�?/span>

仍以仅部�|?/span> cache A �?/span> cache C 的情况�ؓ例，在图 4 中我们已�l�看刎ͼ� cache 分布�q�不均匀。现在我们引入虚拟节点，�q�设�|?#8220;复制个数”�?/span> 2 �Q�这��意味着一�׃��存在 4 �?#8220;虚拟节点”�Q?/span> cache A1, cache A2 代表�?/span>cache A �Q?/span> cache C1, cache C2 代表�?/span> cache C �Q�假设一�U�比较理想的情况�Q�参见图 6 �?/span>

�?/span> 6 引入“虚拟节点”后的映射关系

此时�Q�对象到“虚拟节点”的映��关�p�Mؓ�Q?/span>

objec1->cache A2 �Q?/span> objec2->cache A1 �Q?/span> objec3->cache C1 �Q?/span> objec4->cache C2 �Q?/span>

因此对象 object1 �?/span> object2 都被映射��C�� cache A 上，�?/span> object3 �?/span> object4 映射��C�� cache C 上；�q��性有了很大提高�?/span>

引入“虚拟节点”后，映射关系��׃�� { 对象 -> 节点 } 转换��C�� { 对象 -> 虚拟节点 } 。查询物体所�?/span> cache 时的映射关系如图 7 所�C��?/span>

�?/span> 7 查询对象所�?/span> cache

“虚拟节点”�?/span> hash 计算可以采用对应节点�?/span> IP 地址加数字后�~�的方式。例如假�?/span> cache A �?/span> IP 地址�?/span>202.168.14.241 �?/span>

引入“虚拟节点”前，计算 cache A �?/span> hash ��|��

Hash(“202.168.14.241”);

引入“虚拟节点”后，计算“虚拟�?#8221;�?/span> cache A1 �?/span> cache A2 �?/span> hash ��|��

Hash(“202.168.14.241#1”); // cache A1

Hash(“202.168.14.241#2”); // cache A2

5 ��结

Consistent hashing 的基本原理就是这些，具体的分布性等理论分析应该是很复杂的，不过一般也用不到�?/span>

http://weblogs.java.net/blog/2007/11/27/consistent-hashing 上面有一�?/span> java 版本的例子，可以参考�?/span>

http://blog.csdn.net/mayongzhan/archive/2009/06/25/4298834.aspx 转蝲了一�?/span> PHP 版的实现代码�?/span>

http://www.codeproject.com/KB/recipes/lib-conhash.aspx C语言版本

一些参考资料地址�Q?/span>

http://portal.acm.org/citation.cfm?id=258660

http://en.wikipedia.org/wiki/Consistent_hashing

http://www.spiteful.com/2008/03/17/programmers-toolbox-part-3-consistent-hashing/

http://weblogs.java.net/blog/2007/11/27/consistent-hashing

http://tech.idv2.com/2008/07/24/memcached-004/

http://blog.csdn.net/mayongzhan/archive/2009/06/25/4298834.aspx

Gordooooon 2014-06-26 18:27 发表评论

【�{载】Google Protocol Buffer 的��用和原理

Gordooooon — Thu, 19 Jun 2014 10:06:00 GMT

摘要: 原文链接�Q?http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/��介什么是 Google Protocol Buffer�Q?假如您在�|�上搜烦�Q�应该会得到�c�M��q�样的文字介�l�：Google Protocol Buffer( ��U?Protobuf) �?Google 公司内部的�؜合语�a�数据标准�Q�目前已�l�正在��用的有超�q?48,162 �U�报文格式定义和... 阅读全文

Gordooooon 2014-06-19 18:06 发表评论

Gordooooon — Tue, 22 May 2012 07:16:00 GMT

面试�q�程中，一些面试官对C++一些特�D�关键字很关注；
整理了一些比较有说头的关键字

explicit

用来声明构造函敎ͼ�被声明的构造函��Cؓ昄��构造函敎ͼ�不能在隐式�{换中使用�?br />C++中一个参数的构造函数或除第一个参数外均有默认值的多参构造函敎ͼ�有两个作用：1、构造对象；2、默认且隐式的类型�{换操作符�?font class="Apple-style-span" face="arial, 宋体, sans-serif">

1 class foo
2 {
3 public:
4     explicit foo( int a )
5         : _member( a )
6     {}
7
8     int _member;
9 };
10
11 int bar( const foo & f )
12 {
13     return f._member;
14 }
15
16 bar( 1 ); // ��p�|, explicit��止int到foo的隐�?implicit)�c�d��转换.
17
18 bar( foo( 1 ) ); // 正确, 昑ּ�调用explicit构造函�?
19
20 bar( static_cast<foo>( 1 ) );  // 正确, 通过static_cast调用explicit构造函�?
21
22 bar( foo( 1.0 ) );  // 正确, 昑ּ�调用explicit构造函�? 参数自动从��Q点�{换成整型.

mutable

用来声明一个成员变量，被mutable声明的成员变量，可以在被const修饰的成员函��C��修改�?br />mutable不可与const、static同时使用�?/span>

1 class foo
2 {
3 public:
4     foo()
5         : _member(0)
6     {}
7
8     void ExChange( int a ) const
9     {
10         _member = a;
11     }
12
13     mutable int _member;
14 }

volatile

用以声明一个变量，被volatile声明的变量意味着有可能被某些�~�译器未知的因素更改�Q�因此编译器不会对其做�Q何优化操作�?/div>

从而可以提供对�Ҏ��地址的稳定访问，多用于嵌入式�~�程中�?/div>

1 void foo()
2 {
3     //volatile int nData = 1;
4     int nData = 1;
5
6     int nData_b = nData;
7     printf("nData = %d\n",nData_b);
8
9     // c++嵌入asm参见�Q?/span>http://asm.sourceforge.net/articles/linasm.html
10     asm("movl $2, -4(%ebp)\n\r"); // 修改变量地址内容
11
12     int nData_a = nData;
13     printf("nData = %d\n",nData_a);
14 }
15
16 使用volatile输出�Q?br />17 nData = 1
18 nData = 2
19
20 不��用volatile输出为：
21 nData = 1
22 nData = 1

Gordooooon 2012-05-22 15:16 发表评论

男人的天堂成人在线,91久久综合,日韩视频一区二区