久久久久久久综合日本亚洲,久久精品国产99国产精品,国内精品久久久久久久久电影网

hadoop0.20.2在eclipse中的�~�译

鑫龙 — Mon, 24 Jun 2013 10:58:00 GMT

1. 下蝲Hadoop源代�?br />Hadoop 各成员源代码下蝲地址�Q?a style="color: #336699; text-decoration: initial;">http://svn.apache.org/repos/asf/hadoop�Q�请使用SVN下蝲�Q�在SVN��览器中��trunk目录下的源代码check-out 出来卛_��。请注意只check-out出SVN 上的tag 目录下的内容�Q�如�Q?br />http://svn.apache.org/repos/asf/hadoop/common/tag/release-0.20.2�Q?/p>

2. 准备�~�译环境

2.1. �pȝ��

CentOS5.5

2.2. Hadoop代码版本
hadoop-0.20.2-release

2.3. 联网
�~�译Hadoop 会依赖很多第三方库，但编译工具Ant 会自动从�|�上下蝲�~�少的库�Q�所以必��M��证机器能够访问Internet�?br />2.4. java
�~�译Hadoop要用JDK1.6 以上�Q�网址�Q?a style="color: #336699; text-decoration: initial;">http://java.sun.com/javase/downloads/index.jsp�?br />安装好之后，误��|�好JAVA_HOME 环境变量�?br />2.5. Ant
需要��用Ant 工具来编译Hadoop�Q�可以从�Q?a style="color: #336699; text-decoration: initial;">http://ant.apache.org/ivy/download.cgi 下蝲Ant

安装好之后，误��|�好ANT_HOME 环境变量�?/p>

2.6. Eclipse

Eclipse 则可以从http://www.eclipse.org/downloads/上下载�?/p>

3. �~�译Hadoop

3.1. �~�译Hadoop
步骤1) 在Elipse 的Package 视图中单��d��键，选择New->Java Project�Q�如下图所�C�：

在上图所�C�的对话框中�Q�点击Browse 按钮�Q�选择hadoop-0.20.2 源代码目录，�q�设�|�Projectname 为hadoop-0.20.2-dev。工�E�导入完成后�Q�进入Eclipse �ȝ��面，可以看到hadoop-0.20.2 已经导入�q�来�Q�但可以看到目录上有�U�叉叉，是因为Elipse默认使用了Java Builder�Q�而不是Ant Builder�Q�所以下一步就是设�|��用Ant Builder�?/p>

步骤3) 讄��Builder 为Ant�Q�右键hadoop-0.20.2-dev>Properties->Builders:

点击Browse File System 按钮�Q�选择hadoop-0.20.2源代码目录下的build.xml 文�g�Q��ƈ讄��Name 为Ant_Builder�Q�Name 可以�Ҏ��其它的，但徏议��用Ant_Builder�Q�因��样名副其实）�Q�操作结果如下图所�C�：

Hadoop 各成员都需要编译成jar�Q�所以做如下图所�C�的一个修改：

上面完成后，回到Builder 的主对话框，再将对话框中的Java Builder 下移�Q��ƈ��它前面的勾��L��?/span>
�q�入Eclipse �ȝ��面，�׃��之前选择了Manual Build�Q�所以需要�h工方式驱动编译，�~�译成功后，可以看到BUILDSUCCESSFUL 字样�?/span>

　��h��意：如果上图所�C�的菜单中的BuildAutomatically 被勾中，则在common的右键菜单中可能不会出现Build 子菜单�?br /> 在编译过�E�中�Q�Ant 会自动从�|�上下蝲所依赖的库。hadoop-0.20.2 �~�译成功�l�束后，可以在build 目录下找到编译后生成的文件hadoop-core-0.20.2-dev.jar�?/p>

3.2�~�译�q�程中出现错�?/strong>

1、可能有时候因为eclipse版本或者操作系�l�版本的问题使得hadoop提供的eclipse plugin不太好用�?br />解决�Ҏ��Q?br />1�Q�修�?HADOOP_HOME/src/contrib/build-contrib.xml
增加一行：
上句后面�?home/gushui/eclipse��p��q��$ECLIPSE_HOME代替

2�Q�修�?HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java
注释掉原来的//importorg.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
改�ؓimportorg.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;

2、报错：

Buildfailed

Cannot write to the specified tarfile!

解决�Ҏ��Q?/p>

hadoop-0.20.2-dev目录下的Build.xml�?br />

注销掉，�q�行成功�?/p>

参�?nbsp;http://blog.csdn.net/basicthinker/article/details/6174442

参考： http://hi.baidu.com/xxjjyy2008/blog/item/7b5ed10f20e6a9346059f335.html

参考：http://hadoop.hadoopor.com/thread-941-1-1.html
http://trac.nchc.org.tw/cloud/wiki/waue/2010/0211

转自http://www.cnblogs.com/zyumeng/archive/2013/03/22/2975165.html

鑫龙 2013-06-24 18:58 发表评论

在HADOOP中��用MRUNIT�q�行单元��试

鑫龙 — Wed, 03 Apr 2013 03:27:00 GMT

本文地址�Q�博客园逖靖�?nbsp;http://gpcuster.cnblogs.com
前提
1. 了解JUnit4.x的��用�?/span>
2. 了解Mock的概念在单元��试中的应用�?/span>
3. 了解Hadoop中MapReduce的编�E�模型�?/span>
如果您对Junit和Mock不了解，可以先阅�?a style="color: #993300;">[��译]Unit testing with JUnit 4.x and EasyMock in Eclipse - Tutorial�?/p>
如果您对Hadoop中MapReduce的编�E�模型不了解�Q�可以先阅读Map/Reduce Tutorial�?/p>
介绍
MRUnit是一�Ƅ��Couldera公司开发的专门针对Hadoop中编写MapReduce单元��试的框架�?/p>
它可以用�?.18.x版本中的�l�典org.apache.hadoop.mapred.*的模型，也能�?.20.x版本org.apache.hadoop.mapreduce.*的新模型中��用�?/p>
官方的介�l�如下：
MRUnit is a unit test library designed to facilitate easy integration between your MapReduce development process and standard development and testing tools such as JUnit. MRUnit contains mock objects that behave like classes you interact with during MapReduce execution (e.g., InputSplit and OutputCollector) as well as test harness "drivers" that test your program's correctness while maintaining compliance with the MapReduce semantics. Mapper and Reducer implementations can be tested individually, as well as together to form a full MapReduce job.
安装
在目前Hadoop的发行版中，�q�没有默认包含MRUnit。你需要去Couldera公司的官�|�中��M��载一个由他们再次发行的版本�?/p>
推荐的版本�ؓ�Q?a style="color: #993300;">hadoop-0.20.1+133.tar.gz�?/p>
下蝲�q�个文�g后，你将在hadoop-0.20.1+133\contrib\mrunit目录中找到我们需要的jar包：hadoop-0.20.1+133-mrunit.jar�?/p>
��Z��使用MRUnit�Q�我们需要将hadoop-0.20.1+133-mrunit.jar和Junit4.x使用的jar包：junit.jar都添加到我们开发Hadoop�E�序��目的classpath中�?/p>
�C�Z��
代码是最好的文档�Q�我们先看一个简单的map单元��试�C�Z��Q�代码如下：
package gpcuster.cnblogs.com;

import junit.framework.TestCase;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.Mapper;
import org.apache.hadoop.mapred.lib.IdentityMapper;
import org.junit.Before;
import org.junit.Test;
import org.apache.hadoop.mrunit.MapDriver;

public class TestExample extends TestCase {

private Mapper mapper;
private MapDriver driver;

@Before
public void setUp() {
mapper = new IdentityMapper();
driver = new MapDriver(mapper);
}

@Test
public void testIdentityMapper() {
driver.withInput(new Text("foo"), new Text("bar"))
.withOutput(new Text("foo"), new Text("bar"))
.runTest();
}
}
在这�D늤�例代码中�Q�我们��用的map是org.apache.hadoop.mapred.lib.IdentityMapper。这是一个非常简单的map函数�Q�输入什么，��p��Z��么�?/p>
org.apache.hadoop.mrunit.MapDriver是我们从MRUnit框架中导入的一个专门用于测试map的类�?/p>
我们通过withInput指定输入的参敎ͼ�通过withOutput指定我们期望的输出，然后通过runTest�q�行我们的测试�?/p>
功能
1. ��试Map�Q�我们可以��用MapDriver�?/span>
2. ��试Reduce�Q�我们可以��用ReduceDriver�?/span>
3. ��试一个完整的MapReduce�Q�我们可以��用MapReduceDriver�?/span>
4. ��试多个MapReduce�l�合而成的操作，我们可以使用PipelineMapReduceDriver�?/span>
实现
MRUnit框架非常�_��Q�其核心的单元测试依赖于JUnit�?/p>
�׃��我们�~�写的MapReduce函数中包含有一个OutputCollector的对象，所以MRUnit自己实现了一套Mock对象来控制OutputCollector的操作�?/p>
局�?/h2>
通过阅读MRUnit的源代码我们会发玎ͼ�
1. 不支持MapReduce框架中的分区和排序操作：从Map输出的值经�q�shuffle处理后直接就导入Reduce中了�?/span>
2. 不支持Streaming实现的MapReduce操作�?/span>
虽然MRUnit有这些局限，但是��以完成大多数的需求�?/p>
参考资�?/h2>
http://www.cloudera.com/hadoop-mrunit

本文地址�Q�博客园逖靖�?nbsp;http://gpcuster.cnblogs.com

鑫龙 2013-04-03 11:27 发表评论

Mapreduce-Partition分析

鑫龙 — Mon, 01 Apr 2013 13:10:00 GMT
摘要: 转自:http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用��是��map的结果发送到相应的reduce。这��对partition有两个要求：1�Q�均衡负载，��量的将工作均匀的分配给不同的reduce�?�Q�效率，分配速度一定要快。Ma... 阅读全文

鑫龙 2013-04-01 21:10 发表评论

鑫龙 — Thu, 28 Mar 2013 10:52:00 GMT

NameNode中几个关键的数据�l�构
FSImage
Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二�q�制文�g中，每次保存fsimage之后��C��ơ保存之间的所有hdfs操作�Q�将会记录在editlog文�g中，当editlog辑ֈ�一定的大小�Q�bytes�Q�由fs.checkpoint.size参数定义�Q�或从上�ơ保存过后一定时间段�q�后�Q�sec�Q�由fs.checkpoint.period参数定义�Q�，namenode会重新将内存中对整个HDFS的目录树和文件元数据刷到fsimage文�g中。Namenode��是通过�q�种方式来保证HDFS中元数据信息的安全性�?/p>
Fsimage是一个二�q�制文�g�Q�当中记录了HDFS中所有文件和目录的元数据信息�Q�在我的hadoop的HDFS版中�Q�该文�g的中保存文�g和目录的格式如下�Q?/p>

当namenode重启加蝲fsimage�Ӟ��是按照如下格式协议从文件流中加载元数据信息。从fsimag的存储格式可以看出，fsimage保存有如下信息：
1.         首先是一个image head�Q�其中包含：
a)         imgVersion(int)�Q�当前image的版本信�?/p>
b)        namespaceID(int)�Q�用来确保别的HDFS instance中的datanode不会误连上当前NN�?/p>
c)         numFiles(long)�Q�整个文件系�l�中包含有多��文件和目录
d)        genStamp(long)�Q�生成该image时的旉��戳信息�?/p>
2.         接下来便是对每个文�g或目录的源数据信息，如果是目录，则包含以下信息：
a)         path(String)�Q�该目录的�\径，�?#8221;/user/build/build-index”
b)        replications(short)�Q�副本数�Q�目录虽然没有副本，但这里记录的目录副本��C��?�Q?/p>
c)         mtime(long)�Q�该目录的修�Ҏ��间的旉��戳信�?/p>
d)        atime(long)�Q�该目录的访问时间的旉��戳信�?/p>
e)         blocksize(long)�Q�目录的blocksize都�ؓ0
f)         numBlocks(int)�Q�实际有多少个文件块�Q�目录的该值都�?1�Q�表�C��item为目�?/p>
g)        nsQuota(long)�Q�namespace Quota��|��若没加Quota限制则�ؓ-1
h)        dsQuota(long)�Q�disk Quota��|��若没加限制则也�ؓ-1
i)          username(String)�Q�该目录的所属用户名
j)          group(String)�Q�该目录的所属组
k)        permission(short)�Q�该目录的permission信息�Q�如644�{�，有一个short来记录�?/p>
3.         若从fsimage中读到的item是一个文�Ӟ��则还会额外包含如下信息：
a)         blockid(long)�Q�属于该文�g的block的blockid�Q?/p>
b)        numBytes(long)�Q�该block的大��?/p>
c)         genStamp(long)�Q�该block的时间戳
当该文�g对应的numBlocks��C��?�Q�而是大于1�Ӟ��表示该文件对应有多个block信息�Q�此时紧接在该fsimage之后的就会有多个blockid�Q�numBytes和genStamp信息�?/p>
因此�Q�在namenode启动�Ӟ��需要对fsimage按照如下格式�q�行��序的加载，以将fsimage中记录的HDFS元数据信息加载到内存中�?/p>
BlockMap
从以上fsimage中加载如namenode内存中的信息中可以很明显的看出，在fsimage中，�q�没有记录每一个block对应到哪几个datanodes的对应表信息�Q�而只是存储了所有的关于namespace的相关信息。而真正每个block对应到datanodes列表的信息在hadoop中�ƈ没有�q�行持久化存储，而是在所有datanode启动�Ӟ��每个datanode�Ҏ��地磁盘进行扫描，��本datanode上保存的block信息汇报�l�namenode�Q�namenode在接收到每个datanode的块信息汇报后，��接收到的块信息�Q�以及其所在的datanode信息�{�保存在内存中。HDFS��是通过�q�种块信息汇报的方式来完�?nbsp;block -> datanodes list的对应表构徏。Datanode向namenode汇报块信息的�q�程叫做blockReport�Q�而namenode��block -> datanodes list的对应表信息保存在一个叫BlocksMap的数据结构中�?/p>
BlocksMap的内部数据结构如下：


如上图显�C�，BlocksMap实际上就是一个Block对象对BlockInfo对象的一个Map表，其中Block对象中只记录了blockid�Q�block大小以及旉��戳信息，�q�些信息在fsimage中都有记录。而BlockInfo是从Block对象�l�承而来�Q�因此除了Block对象中保存的信息外，�q�包括代表该block所属的HDFS文�g的INodeFile对象引用以及该block所属datanodes列表的信息（即上图中的DN1�Q�DN2�Q�DN3�Q�该数据�l�构会在下文详述�Q��?/p>
因此在namenode启动�q�加载fsimage完成之后�Q�实际上BlocksMap中的key�Q�也��是Block对象都已�l�加载到BlocksMap中，每个key对应的value(BlockInfo)中，除了表示其所属的datanodes列表的数�l��ؓ�I�外�Q�其他信息也都已�l�成功加载。所以可以说�Q�fsimage加蝲完毕后，BlocksMap中仅�~�少每个块对应到其所属的datanodes list的对应关�p�M��息。所�~��些信息，��是通过上文提到的从各datanode接收blockReport来构建。当所有的datanode汇报�l�namenode的blockReport处理完毕后，BlocksMap整个�l�构也就构徏完成�?/p>
BlockMap中datanode列表数据�l�构
在BlockInfo中，��该block所属的datanodes列表保存在一个Object[]数组中，但该数组不仅仅保存了datanodes列表�Q�还包含了额外的信息。实际上该数�l�保存了如下信息�Q?/p>

上图表示一个block包含有三个副本，分别攄��在DN1�Q�DN2和DN3三个datanode上，每个datanode对应一个三元组�Q�该三元�l�中的第二个元素�Q�即上图中prev block所指的是该block在该datanode上的前一个BlockInfo引用。第三个元素�Q�也��是上图中next Block所指的是该block在该datanode上的下一个BlockInfo引用。每个block有多��个副本�Q�其对应的BlockInfo对象中就会有多少个这�U�三元组�?/p>
       Namenode采用�q�种�l�构来保存block->datanode list的目的在于节�U�namenode内存。由于namenode��block->datanodes的对应关�p�M��存在了内存当中，随着HDFS中文件数的增加，block��C��会相应的增加�Q�namenode��Z��保存block->datanodes的信息已�l�耗费了相当多的内存，如果�q�像�q�种方式一��L��保存datanode->block list的对应表�Q�势必耗费更多的内存，而且在实际应用中�Q�要查一个datanode上保存的block list的应用实际上非常的少�Q�大部分情况下是要根据block来查datanode列表�Q�所以namenode中通过上图的方式来保存block->datanode list的对应关�p�，当需要查询datanode->block list的对应关�p�L��Q�只需要沿着该数据结构中next Block的指向关�p�，��p��得出�l�果�Q�而又无需保存datanode->block list在内存中�?/p>
NameNode启动�q�程
fsimage加蝲�q�程
Fsimage加蝲�q�程完成的操作主要是��Z��Q?/p>
1.         从fsimage中读取该HDFS中保存的每一个目录和每一个文�?/p>
2.         初始化每个目录和文�g的元数据信息
3.         �Ҏ��目录和文件的路径�Q�构造出整个namespace在内存中的镜�?/p>
4.         如果是文�Ӟ��则读取出该文件包含的所有blockid�Q��ƈ插入到BlocksMap中�?/p>
整个加蝲��程如下图所�C�：

如上图所�C�，namenode在加载fsimage�q�程其实非常��单，��是从fsimage中不停的��序��d��文�g和目录的元数据信息，�q�在内存中构建整个namespace�Q�同时将每个文�g对应的blockid保存入BlocksMap中，此时BlocksMap中每个block对应的datanodes列表暂时为空。当fsimage加蝲完毕后，整个HDFS的目录结构在内存中就已经初始化完毕，所�~�的��是每个文�g对应的block对应的datanode列表信息。这些信息需要从datanode的blockReport中获取，所以加载fsimage完毕后，namenode�q�程�q�入rpc�{�待状态，�{�待所有的datanodes发送blockReports�?/p>
blockReport阶段
每个datanode在启动时都会扫描其机器上对应保存hdfs block的目录下(dfs.data.dir)所保存的所有文件块�Q�然后通过namenode的rpc调用��这些block信息以一个long数组的方式发送给namenode�Q�namenode在接收到一个datanode的blockReport rpc调用后，从rpc中解析出block数组�Q��ƈ��这些接收到的blocks插入到BlocksMap表中�Q�由于此时BlocksMap�~�少的仅仅是每个block对应的datanode信息�Q�而namenoe能从report中获知当前report上来的是哪个datanode的块信息�Q�所以，blockReport�q�程实际上就是namenode在接收到块信息汇报后�Q�填充BlocksMap中每个block对应的datanodes列表的三元组信息的过�E�。其��程如下图所�C?

当所有的datanode汇报完block�Q�namenode针对每个datanode的汇报进行过处理后，namenode的启动过�E�到此结束。此时BlocksMap中block->datanodes的对应关�p�d��l�初始化完毕。如果此时已�l�达到安全模式的推出阈��|��则hdfs��d��退出安全模式，开始提供服务�?/p>
启动�q�程数据采集和瓶颈分�?/a>
对namenode的整个启动过�E�有了详�l�了解之后，��可以对其启动过�E�中各阶�D�各函数的调用耗时�q�行profiling的采集，数据的profiling仍然分�ؓ两个阶段�Q�即fsimage加蝲阶段和blockReport阶段�?/p>

fsimage加蝲阶段性能数据采集和瓶颈分�?/h2>
以下是对建库集群真实的fsimage加蝲�q�程的的性能采集数据�Q?/p>

从上囑֏�以看出，fsimage的加载过�E�那个中�Q�主要耗时的操作分别分布在FSDirectory.addToParent�Q?strong style="margin: 0px; padding: 0px; ">FSImage.readString�Q�以�?strong style="margin: 0px; padding: 0px; ">PermissionStatus.read三个操作�Q�这三个操作分别占用了加载过�E�的73%�Q?5%以及8%�Q�加��h��d��消耗了整个加蝲�q�程�?6%。而其�?strong style="margin: 0px; padding: 0px; ">FSImage.readString�?strong style="margin: 0px; padding: 0px; ">PermissionStatus.read操作都是从fsimage的文件流中读取数据（分别是读取String和short�Q�的操作�Q�这�U�操作优化的�I�间不大�Q�但是通过调整该文件流的Buffer大小来提高少许性能。�?strong style="margin: 0px; padding: 0px; ">FSDirectory.addToParent的调用却占用了整个加载过�E�的73%�Q�所以该调用中的优化�I�间比较大�?/p>
       以下是addToParent调用中的profiling数据�Q?/p>

从以上数据可以看出addToParent调用占用�?3%的耗时中，�?6%都耗在了INode.getPathComponents调用上，而这66%分别�?6%消耗在INode.getPathNames调用�Q?0%消耗在INode.getPathComponents调用。这两个耗时操作的具体分布如以下数据所�C�：

可以看出�Q�消耗了36%的处理时间的INode.getPathNames操作�Q�全部都是在通过String.split函数调用来对文�g或目录�\径进行切分。另外消耗了30%左右的处理时间在INode.getPathComponents中，该函��C��最�l�耗时都耗在获取字符串的byte数组的java原生操作中�?/p>
blockReport阶段性能数据采集和瓶颈分�?/h2>
�׃��blockReport的调用是通过datanode调用namenode的rpc调用�Q�所以在namenode�q�入到等待blockreport阶段后，会分别开启rpc调用的监听线�E�和rpc调用的处理线�E�。其中rpc处理和rpc鉴定的调用耗时分布如下图所�C�：

而其中rpc的监听线�E�的优化是另外一个话题，在其他的issue中再详细讨论�Q�且�׃��blockReport的操作实际上是触发的rpc处理�U�程�Q�所以这里只兛_��rpc处理�U�程的性能数据�?/p>
       在namenode处理blockReport�q�程中的调用耗时性能数据如下�Q?/p>

可以看出�Q�在namenode启动阶段�Q�处理从各个datanode汇报上来的blockReport耗费了整个rpc处理�q�程中的�l�大部分旉��(48/49)�Q�blockReport处理逻辑中的耗时分布如下图：

从上图数据中可以发现�Q�blockReport阶段中耗时分布主要耗时在FSNamesystem.addStoredBlock调用以及DatanodeDescriptor.reportDiff�q�程中，分别耗时37/48�?0/48�Q�其中FSNamesystem.addStoredBlock所�q�行的操作时�Ҏ��一个汇报上来的block�Q�将其于汇报上来的datanode的对应关�p�d��始化到namenode内存中的BlocksMap表中。所以对于每一个block��׃��调用一�ơ该�Ҏ��。所以可以看到该�Ҏ��在整个过�E�中调用�?strong style="margin: 0px; padding: 0px; ">774819�ơ，而另一个耗时的操作，即DatanodeDescriptor.reportDiff�Q�该操作的过�E�在上文中有详细介绍�Q�主要是��Z��该datanode汇报上来的blocks跟namenode内存中的BlocksMap中进行对比，以决定那个哪些是需要添加到BlocksMap中的block�Q�哪些是需要添加到toRemove队列中的block�Q�以及哪些是��d��到toValidate队列中的block。由于这个操作需要针�Ҏ��一个汇报上来的block��L��询BlocksMap�Q�以及namenode中的其他几个map�Q�所以该�q�程也非常的耗时。而且从调用次��C��可以看出�Q�reportDiff调用在启动过�E�中仅调用了14��?�?4个datanode�q�行块汇�?�Q�却耗费�?0/48的时间。所以reportDiff也是整个blockReport�q�程中非常耗时的瓶颈所在�?/p>
       同时可以看到�Q�出了reportDiff�Q�addStoredBlock的调用耗费�?7%的时��_��也就是耗费了整个blockReport旉��?7/48�Q�该�Ҏ��的调用目的是��Z��从datanode汇报上来的每一个block插入到BlocksMap中的操作。从该方法调用的�q�行数据如下图所�C�：

从上囑֏�以看出，addStoredBlock中，主要耗时的两个阶�D�分别是FSNamesystem.countNode和DatanodeDescriptor.addBlock�Q�后者是java中的插表操作�Q�而FSNamesystem.countNode调用的目的是��Z��l�计在BlocksMap中，每一个block对应的各副本中，有几个是live状态，几个是decommission状态，几个是Corrupt状态。而在namenode的启动初始化阶段�Q�用来保存corrput状态和decommission状态的block的map都还是空状态，�q�且�E�序逻辑中要得到的仅仅是��Z��live状态的block敎ͼ�所以，�q�里的countNoes调用在namenode启动初始化阶�D��ƈ无需�l�计每个block对应的副本中的corrrput数和decommission敎ͼ�而仅仅需要统计live状态的block副本数即可，�q�样countNodes能够在namenode启动阶段变得更轻量，以节省启动时间�?/p>
瓉��分析�ȝ��
从profiling数据和瓶颈分歧情冉|��看，fsimage加蝲阶段的瓶颈除了在分切路径的过�E�中不够优以外，其他耗时的地方几乎都是在java原生接口的调用中�Q�如从字节流��L��据，以及从String对象中获取byte[]数组的操作�?/p>
       而blockReport阶段的耗时其实很大的原因是跟当前的namenode设计以及内存�l�构有关�Q�比较明昄��不优之处��是在namenode启动阶段的countNode和reportDiff的必要性，�q�两处在namenode初始化时的blockReport阶段有一些不必要的操作浪费了旉��。可以针对namenode启动阶段��必要的操作抽取出来�Q�定制成namenode启动阶段才调用的方式�Q�以优化namenode启动性能�?/p>

Ref: http://blog.csdn.net/ae86_fc/article/details/5842020

鑫龙 2013-03-28 18:52 发表评论

hadoop二次排序 (Map/Reduce中分区和分组的问�?

鑫龙 — Mon, 25 Mar 2013 11:38:00 GMT

1.二次排序概念�Q?/p>

首先按照�W�一字段排序�Q�然后再对第一字段相同的行按照�W�二字段排序�Q�注意不能破坏第一�ơ排�?/em>的结�?�?/p>

如：输入文�g�Q?/p>

20 21
50 51
50 52
50 53
50 54
60 51
60 53
60 52
60 56
60 57
70 58
60 61
70 54
70 55
70 56
70 57
70 58
1 2
3 4
5 6
7 82
203 21
50 512
50 522
50 53
530 54
40 511
20 53
20 522
60 56
60 57
740 58
63 61
730 54
71 55
71 56
73 57
74 58
12 211
31 42
50 62
7 8

输出�Q�需要分割线�Q�：

------------------------------------------------
1       2
------------------------------------------------
3       4
------------------------------------------------
5       6
------------------------------------------------
7       8
7       82
------------------------------------------------
12      211
------------------------------------------------
20      21
20      53
20      522
------------------------------------------------
31      42
------------------------------------------------
40      511
------------------------------------------------
50      51
50      52
50      53
50      53
50      54
50      62
50      512
50      522
------------------------------------------------
60      51
60      52
60      53
60      56
60      56
60      57
60      57
60      61
------------------------------------------------
63      61
------------------------------------------------
70      54
70      55
70      56
70      57
70      58
70      58
------------------------------------------------
71      55
71      56
------------------------------------------------
73      57
------------------------------------------------
74      58
------------------------------------------------
203     21
------------------------------------------------
530     54
------------------------------------------------
730     54
------------------------------------------------
740     58

2.工作原理

使用如下map和reduce�Q�（特别注意输入输出�c�d��Q?其中IntPair��定义�c�d��Q?/p>

public static class Map extends Mapper
public static class Reduce extends Reducer

在map阶段�Q��用job.setInputFormatClass(TextInputFormat)做�ؓ输入格式。注意输出应该符合自定义Map中定义的输出。最�l�是生成一个List。在map阶段的最后，会先调用job.setPartitionerClass对这个List�q�行分区�Q�每个分区映��到一个reducer。每个分区内又调用job.setSortComparatorClass讄��的key比较函数�c�L��序。可以看刎ͼ��q�本�w�就是一个二�ơ排序。如果没有通过job.setSortComparatorClass讄��key比较函数�c�，则��用key的实现的compareTo�Ҏ��。在随后的例子中�Q�第一个例子中�Q��用了IntPair实现的compareTo�Ҏ��Q�而在下一个例子中�Q�专门定义了key比较函数�c�R�?/p>

在reduce阶段�Q�reducer接收到所有映��到�q�个reducer的map输出后，也是会调用job.setSortComparatorClass讄��的key比较函数�c�d��所有数据对排序。然后开始构造一个key对应的value�q�代器。这时就要用到分�l�，使用jobjob.setGroupingComparatorClass讄��的分�l�函数类。只要这个比较器比较的两个key相同�Q�他们就属于同一个组�Q�它们的value攑֜�一个value�q�代器，而这个�P代器的key使用属于同一个组的所有key的第一个key。最后就是进入Reducer的reduce�Ҏ��Q�reduce�Ҏ��的输入是所有的�Q�key和它的value�q�代器）。同��h��意输入与输出的类型必��M��自定义的Reducer中声明的一致�?/p>

3�Q�具体步�?/p>

�Q?�Q�自定义key

在mr中，所有的key是需要被比较和排序的�Q��ƈ且是二次�Q�先�Ҏ��partitione�Q�再�Ҏ��大小。而本例中也是要比较两�ơ。先按照�W�一字段排序�Q�然后再对第一字段相同的按照第二字�D�|��序。根据这一点，我们可以构造一个复合类IntPair�Q�他有两个字�D�，先利用分区对�W�一字段排序�Q�再利用分区内的比较对第二字�D�|��序�?nbsp;
所有自定义的key应该实现接口WritableComparable�Q�因为是可序列的�q�且可比较的。�ƈ重蝲�Ҏ��Q?br />

//反序列化�Q�从��中的二�q�制转换成IntPair
public void readFields(DataInput in) throws IOException
//序列化，��IntPair转化成��用流传送的二进�?nbsp;
public void write(DataOutput out)
//key的比�?nbsp;
public int compareTo(IntPair o)
//另外新定义的�c�d��该重写的两个�Ҏ��
//The hashCode() method is used by the HashPartitioner (the default partitioner in MapReduce)
public int hashCode()
public boolean equals(Object right)

�Q?�Q�由于key是自定义的，所以还需要自定义一下类�Q?nbsp;
�Q?.1�Q�分区函数类。这是key的第一�ơ比较�?nbsp;
public static class FirstPartitioner extends Partitioner
在job中��用setPartitionerClasss讄��Partitioner�?nbsp;
�Q?.2�Q�key比较函数�c�R��这是key的第二次比较。这是一个比较器�Q�需要��承WritableComparator�Q�也��是实现RawComprator接口�Q��?/p>
�Q�这个就是前面说的第二种�Ҏ��Q�但是在�W�三部分的代码中�q�没有实现此函数�Q�而是直接使用compareTo�Ҏ��q�行比较�Q�所以也��׃��怸�面一行的讄��Q?nbsp;
在job中��用setSortComparatorClass讄��key比较函数�c�R�?/p>
public static class KeyComparator extends WritableComparator
2.3�Q�分�l�函数类。在reduce阶段�Q�构造一个key对应的value�q�代器的时候，只要first相同��属于同一个组�Q�放在一个value�q�代器。这是一个比较器�Q�需要��承WritableComparator�?nbsp;
public static class GroupingComparator extends WritableComparator
分组函数�c�M��必须有一个构造函敎ͼ��q�且重蝲 public int compare(WritableComparable w1, WritableComparable w2)
分组函数�cȝ��另一�U�方法是实现接口RawComparator�?nbsp;
在job中��用setGroupingComparatorClass讄��分组函数�c�R�?nbsp;
另外注意的是�Q�如果reduce的输入与输出不是同一�U�类型，则不要定义Combiner也��用reduce�Q�因为Combiner的输出是reduce的输入。除非重新定义一个Combiner�?nbsp;

转自�Q?a style="font-family: Arial; line-height: 26px; ">http://www.cnblogs.com/dandingyy/archive/2013/03/08/2950703.html

鑫龙 2013-03-25 19:38 发表评论

hadoop面试时可能遇到的问题

鑫龙 — Mon, 18 Mar 2013 05:03:00 GMT

面试hadoop可能被问到的问题�Q�你能回�{�出几个 ?
1、hadoop�q�行的原�?
2、mapreduce的原�?
3、HDFS存储的机�?
4、�D一个简单的例子说明mapreduce是怎么来运行的 ?
5、面试的人给你出一些问�?让你用mapreduce来实玎ͼ�
      比如:现在�?0个文件夹,每个文�g多w��?000000个url.现在让你扑և�top1000000url�?/p>
6、hadoop中Combiner的作�?
Src�Q?nbsp;http://p-x1984.javaeye.com/blog/859843

Q1. Name the most common InputFormats defined in Hadoop? Which one is default ?
Following 2 are most common InputFormats defined in Hadoop
- TextInputFormat
- KeyValueInputFormat
- SequenceFileInputFormat
Q2. What is the difference between TextInputFormatand KeyValueInputFormat class
TextInputFormat: It reads lines of text files and provides the offset of the line as key to the Mapper and actual line as Value to the mapper
KeyValueInputFormat: Reads text file and parses lines into key, val pairs. Everything up to the first tab character is sent as key to the Mapper and the remainder of the line is sent as value to the mapper.
Q3. What is InputSplit in Hadoop
When a hadoop job is run, it splits input files into chunks and assign each split to a mapper to process. This is called Input Split
Q4. How is the splitting of file invoked in Hadoop Framework
It is invoked by the Hadoop framework by running getInputSplit()method of the Input format class (like FileInputFormat) defined by the user
Q5. Consider case scenario: In M/R system,
   - HDFS block size is 64 MB
   - Input format is FileInputFormat
   - We have 3 files of size 64K, 65Mb and 127Mb
then how many input splits will be made by Hadoop framework?
Hadoop will make 5 splits as follows
- 1 split for 64K files
- 2 splits for 65Mb files
- 2 splits for 127Mb file
Q6. What is the purpose of RecordReader in Hadoop
The InputSplithas defined a slice of work, but does not describe how to access it. The RecordReaderclass actually loads the data from its source and converts it into (key, value) pairs suitable for reading by the Mapper. The RecordReader instance is defined by the InputFormat
Q7. After the Map phase finishes, the hadoop framework does "Partitioning, Shuffle and sort". Explain what happens in this phase?
- Partitioning
Partitioning is the process of determining which reducer instance will receive which intermediate keys and values. Each mapper must determine for all of its output (key, value) pairs which reducer will receive them. It is necessary that for any key, regardless of which mapper instance generated it, the destination partition is the same

- Shuffle
After the first map tasks have completed, the nodes may still be performing several more map tasks each. But they also begin exchanging the intermediate outputs from the map tasks to where they are required by the reducers. This process of moving map outputs to the reducers is known as shuffling.
- Sort
Each reduce task is responsible for reducing the values associated with several intermediate keys. The set of intermediate keys on a single node is automatically sorted by Hadoop before they are presented to the Reducer
Q9. If no custom partitioner is defined in the hadoop then how is data partitioned before its sent to the reducer
The default partitioner computes a hash value for the key and assigns the partition based on this result
Q10. What is a Combiner
The Combiner is a "mini-reduce" process which operates only on data generated by a mapper. The Combiner will receive as input all data emitted by the Mapper instances on a given node. The output from the Combiner is then sent to the Reducers, instead of the output from the Mappers.
Q11. Give an example scenario where a cobiner can be used and where it cannot be used
There can be several examples following are the most common ones
- Scenario where you can use combiner
  Getting list of distinct words in a file
- Scenario where you cannot use a combiner
  Calculating mean of a list of numbers
Q12. What is job tracker
Job Tracker is the service within Hadoop that runs Map Reduce jobs on the cluster
Q13. What are some typical functions of Job Tracker
The following are some typical tasks of Job Tracker
- Accepts jobs from clients
- It talks to the NameNode to determine the location of the data
- It locates TaskTracker nodes with available slots at or near the data
- It submits the work to the chosen Task Tracker nodes and monitors progress of each task by receiving heartbeat signals from Task tracker
Q14. What is task tracker
Task Tracker is a node in the cluster that accepts tasks like Map, Reduce and Shuffle operations - from a JobTracker

Q15. Whats the relationship between Jobs and Tasks in Hadoop
One job is broken down into one or many tasks in Hadoop.
Q16. Suppose Hadoop spawned 100 tasks for a job and one of the task failed. What willhadoop do ?
It will restart the task again on some other task tracker and only if the task fails more than 4 (default setting and can be changed) times will it kill the job
Q17. Hadoop achieves parallelism by dividing the tasks across many nodes, it is possible for a few slow nodes to rate-limit the rest of the program and slow down the program. What mechanism Hadoop provides to combat this
Speculative Execution
Q18. How does speculative execution works in Hadoop
Job tracker makes different task trackers process same input. When tasks complete, they announce this fact to the Job Tracker. Whichever copy of a task finishes first becomes the definitive copy. If other copies were executing speculatively, Hadoop tells the Task Trackers to abandon the tasks and discard their outputs. The Reducers then receive their inputs from whichever Mapper completed successfully, first.
Q19. Using command line in Linux, how will you
- see all jobs running in the hadoop cluster
- kill a job
- hadoop job -list
- hadoop job -kill jobid
Q20. What is Hadoop Streaming
Streaming is a generic API that allows programs written in virtually any language to be used asHadoop Mapper and Reducer implementations

Q21. What is the characteristic of streaming API that makes it flexible run map reduce jobs in languages like perl, ruby, awk etc.
Hadoop Streaming allows to use arbitrary programs for the Mapper and Reducer phases of a Map Reduce job by having both Mappers and Reducers receive their input on stdin and emit output (key, value) pairs on stdout.
Q22. Whats is Distributed Cache in Hadoop
Distributed Cache is a facility provided by the Map/Reduce framework to cache files (text, archives, jars and so on) needed by applications during execution of the job. The framework will copy the necessary files to the slave node before any tasks for the job are executed on that node.
Q23. What is the benifit of Distributed cache, why can we just have the file in HDFS and have the application read it
This is because distributed cache is much faster. It copies the file to all trackers at the start of the job. Now if the task tracker runs 10 or 100 mappers or reducer, it will use the same copy of distributed cache. On the other hand, if you put code in file to read it from HDFS in the MR job then every mapper will try to access it from HDFS hence if a task tracker run 100 map jobs then it will try to read this file 100 times from HDFS. Also HDFS is not very efficient when used like this.

Q.24 What mechanism does Hadoop framework provides to synchronize changes made in Distribution Cache during runtime of the application
This is a trick questions. There is no such mechanism. Distributed Cache by design is read only during the time of Job execution

Q25. Have you ever used Counters in Hadoop. Give us an example scenario
Anybody who claims to have worked on a Hadoop project is expected to use counters

Q26. Is it possible to provide multiple input to Hadoop? If yes then how can you give multiple directories as input to the Hadoop job
Yes, The input format class provides methods to add multiple directories as input to a Hadoop job

Q27. Is it possible to have Hadoop job output in multiple directories. If yes then how
Yes, by using Multiple Outputs class

Q28. What will a hadoop job do if you try to run it with an output directory that is already present? Will it
- overwrite it
- warn you and continue
- throw an exception and exit
The hadoop job will throw an exception and exit.

Q29. How can you set an arbitary number of mappers to be created for a job in Hadoop
This is a trick question. You cannot set it

Q30. How can you set an arbitary number of reducers to be created for a job in Hadoop
You can either do it progamatically by using method setNumReduceTasksin the JobConfclass or set it up as a configuration setting

Src:http://xsh8637.blog.163.com/blog/#m=0&t=1&c=fks_084065087084081065083083087095086082081074093080080069

鑫龙 2013-03-18 13:03 发表评论

��Z��Hadoop Sequencefile的小文�g解决�Ҏ��

鑫龙 — Mon, 04 Mar 2013 11:28:00 GMT

��Z��Hadoop Sequencefile的小文�g解决�Ҏ��

一�?/strong> 概述

   ��文件是指文�?/span>size��于HDFS�?/span>block大小的文件。这��L��文�g会给hadoop的扩展性和性能带来严重问题。首先，�?/span>HDFS中，��M��block�Q�文件或者目录在内存中均以对象的形式存储�Q�每个对象约�?/span>150byte�Q�如果有1000 0000个小文�g�Q�每个文件占用一�?/span>block�Q�则namenode大约需�?/span>2G�I�间。如果存�?/span>1亿个文�g�Q�则namenode需�?/span>20G�I�间。这�?/span>namenode内存定w��严重制约了集��的扩展�?/span> 其次�Q�访问大量小文�g速度�q�远��于讉K��几个大文件�?/span>HDFS最初是为流式访问大文�g开发的�Q�如果访问大量小文�g�Q�需要不断的从一�?/span>datanode跛_��另一�?/span>datanode�Q�严重媄响性能。最后，处理大量��文仉��度�q�远��于处理同等大小的大文�g的速度。每一个小文�g要占用一�?/span>slot�Q��?/span>task启动��耗费大量旉��甚至大部分时间都耗费在启�?/span>task和释�?/span>task上�?/span>

二�?/strong>Hadoop自带的解��x��?/strong>

对于��文仉��题，Hadoop本��n也提供了几个解决�Ҏ��Q�分别�ؓ�Q?/span>Hadoop Archive�Q?/span>Sequence file�?/span>CombineFileInputFormat�?/span>

�Q?/span>1�Q?/span> Hadoop Archive

Hadoop Archive或�?/span>HAR�Q�是一个高效地��小文�g攑օ�HDFS块中的文件存档工��P��它能够将多个��文件打包成一�?/span>HAR文�g�Q�这样在减少namenode内存使用的同�Ӟ��仍然允许�Ҏ��件进行透明的访问�?/span>

使用HAR旉��要两点，�W�一�Q�对��文件进行存档后�Q�原文�g�q�不会自动被删除�Q�需要用戯��己删除；�W�二�Q�创�?/span>HAR文�g的过�E�实际上是在�q�行一�?/span>mapreduce作业�Q�因而需要有一�?/span>hadoop集群�q�行此命令�?/span>

该方案需人工�q�行�l�护�Q�适用��理人员的操作，而且har文�g一旦创建，Archives便不可改变，不能应用于多用户的互联网操作�?/span>

�Q?/span>2�Q?/span> Sequence file

sequence file�׃��p�d��的二�q�制key/value�l�成�Q�如果�ؓkey��文件名�Q?/span>value为文件内容，则可以将大批��文件合�q�成一个大文�g�?/span>

Hadoop-0.21.0中提供了SequenceFile�Q�包�?/span>Writer�Q?/span>Reader�?/span>SequenceFileSorter�c�进行写�Q�读和排序操作。如�?/span>hadoop版本低于0.21.0的版本，实现�Ҏ��可参�?/span>[3]�?/span>

该方案对于小文�g的存取都比较自由�Q�不限制用户和文件的多少�Q�但�?/span>SequenceFile文�g不能�q�加写入�Q�适用于一�ơ性写入大量小文�g的操作�?/span>

�Q?/span>3�Q?/span>CombineFileInputFormat

CombineFileInputFormat是一�U�新�?/span>inputformat�Q�用于将多个文�g合�ƈ成一个单独的split�Q�另外，它会考虑数据的存储位�|��?/span>

该方案版本比较老，�|�上资料甚少�Q�从资料来看应该没有�W�二�U�方案好�?/span>

三�?strong>��文仉��题解��x��?/strong>

在原�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">HDFS基础上添加一个小文�g处理模块�Q�具体操作流�E�如�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">:

1.   当用户上传文件时�Q�判断该文�g是否属于��文�Ӟ��如果是，则交�l�小文�g处理模块处理�Q�否则，交给通用文�g处理模块处理�?/p>
2.  在小文�g模块中开启一定时��d��Q�其主要功能是当模块中文件�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">size大于HDFS�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">block大小的文件时�Q�则通过SequenceFile�l��g以文件名�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">key�Q�相应的文�g内容�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">value��这些小文�g一�ơ性写�?span style="font-size: 9pt; font-family: Verdana,sans-serif;">hdfs模块�?/p>
3. 同时删除已处理的文�g�Q��ƈ��结果写入数据库�?/p>
4.  当用戯��行读取操作时�Q�可�Ҏ��数据库中的结果标志来��d��文�g�?/p>

转自:http://lxm63972012.iteye.com/blog/1429011

鑫龙 2013-03-04 19:28 发表评论

hadoop jar xxxx.jar的流�E?

鑫龙 — Sat, 02 Mar 2013 09:28:00 GMT

jar -cvf xxx.jar .
hadopp jar xxx.jar clalss-name [input] [output]
----------------------------------------------------------------------
hadoop jar hadoop-0.20.2-examples.jar [class name]的实质是:
1.利用hadoop�q�个脚本启动一个jvm�q�程;
2.jvm�q�程去运行org.apache.hadoop.util.RunJar�q�个java�c?
3.org.apache.hadoop.util.RunJar解压hadoop-0.20.2-examples.jar到hadoop.tmp.dir/hadoop-unjar*/目录�?
4.org.apache.hadoop.util.RunJar动态的加蝲�q�运行Main-Class或指定的Class;
5.Main-Class或指定的Class中设定Job的各��属�?/div>
6.提交job到JobTracker上�ƈ监视�q�行情况�?/div>
注意�Q�以上都是在jobClient上执行的�?/div>
�q�行jar文�g的时候，jar会被解压到hadoop.tmp.dir/hadoop-unjar*/目录下（如：/home/hadoop/hadoop-fs/dfs/temp/hadoop-unjar693919842639653083, 注意�Q�这个目录是JobClient的目录，不是JobTracker的目录）。解压后的文件�ؓ�Q?/div>
drwxr-xr-x 2 hadoop hadoop 4096 Jul 30 15:40 META-INF
drwxr-xr-x 3 hadoop hadoop 4096 Jul 30 15:40 org
有图有真相：

提交job的实质是�Q?/div>
生成${job-id}/job.xml文�g到hdfs://${mapred.system.dir}/�Q�比如hdfs://bcn152:9990/home/hadoop/hadoop-fs/dfs/temp/mapred/system/job_201007301137_0012/job.xml�Q�，job的描�q�包括jar文�g的�\径，map|reduce�c��\径等�{?
上传${job-id}/job.jar文�g到hdfs://${mapred.system.dir}/�Q�比如hdfs://bcn152:9990/home/hadoop/hadoop-fs/dfs/temp/mapred/system/job_201007301137_0012/job.jar�Q?/div>
有图有真相：

生成job之后�Q�通过static JobClient.runJob()��׃��向jobTracker提交job:
JobClient jc = new JobClient(job);
RunningJob rj = jc.submitJob(job);
之后JobTracker��׃��调度此job�Q?/div>
提交job之后�Q��用下面的代码获取job的进度：
try {
if (!jc.monitorAndPrintJob(job, rj)) {
throw new IOException("Job failed!");
}
} catch (InterruptedException ie) {
Thread.currentThread().interrupt();
}

鑫龙 2013-03-02 17:28 发表评论

hadoop 序列化源码浅�?(�?

鑫龙 — Tue, 15 Jan 2013 13:48:00 GMT
     摘要: 转自�Q�http://my.oschina.net/tuzibuluo/blog?catalog=1278261.Writable接口 Hadoop �q�没有��?nbsp;JAVA 的序列化�Q�而是引入了自己实的序列化�pȝ��Q?nbsp;package org.apache.hadoop.io �q�个...  阅读全文

鑫龙 2013-01-15 21:48 发表评论

HADOOP_CLASSPATH讄��(�?

鑫龙 — Fri, 28 Dec 2012 12:44:00 GMT

在写hadoop�E�序�~�译�Ӟ��往往需要HADOOP_CLASSPATH路径�Q�可通过以下方式�q�行在编译脚本中讄��Q?/div>
for f in $HADOOP_HOME/hadoop-*.jar; do
CLASSPATH=${CLASSPATH}:$f
done

for f in $HADOOP_HOME/lib/*.jar; do
CLASSPATH=${CLASSPATH}:$f
done

for f in $HIVE_HOME/lib/*.jar; do
CLASSPATH=${CLASSPATH}:$f
done

转自�Q?a >http://blog.sina.com.cn/s/blog_62a9902f01017x7j.html

鑫龙 2012-12-28 20:44 发表评论

CentOS 5.5 安装hadoop-0.21.0(�?

鑫龙 — Tue, 25 Dec 2012 12:54:00 GMT

倒腾了一天，�l�于在CentOS上装上了hadoop-0.21.0�Q�特此记录，以备后用�?/p>
操作�pȝ��Q�CentOS 5.5
Hadoop�Q�hadoop-0.21.0
JDK�Q?.6.0_17
namenode��L��?master�Q�namenode的IP:192.168.90.91
datanode��L��?slave�Q�datanode的IP:192.168.90.94

�W�一步：安装�q�启动ssh服务
CentOS 5.5安装完毕之后以及默认启动了sshd服务�Q�可以在“�pȝ��”�Q?gt;“��理”->“服务”中查看sshd服务是否启动。当然了�Q�如果机器上没有安装ssh服务�Q�则执行命��osudo yum install ssh来安装。安�?/span>rsync�Q�它是一个远�E�数据同步工��P��可通过 LAN/WAN 快速同步多��C��机间的文�?/span>�Q�执行命�?span style="color: #0055ff; ">sudo yum install rsync。修�Ҏ��个节点的/etc/hosts文�g�Q�将 namenode和datanode的IP信息加入到该文�g的尾部：
192.168.90.91 master
192.168.90.94 slave
�W�二步，配置SSH服务
�Q?�Q�，�Q?�Q�是针对每一台机�?/p>
�Q?�Q�创建hadoop用户名与用户�l?/p>
     �q�行命��osu - root�Q�注意，不是命��osu root�Q�后者不能携带root用户的参��C��息，是不能执行创建用��L��和用户命令的。执行命令：groupadd hadoop和命�?span style="color: #0055ff; ">useradd -g hadoop hadoop�?span style="color: #ff0000; ">注意不能�?home目录下创建hadoop目录�Q�否则创建hadoop用户会失败。创建好用户以后最好是重新启动计算机，以hadoop用户��d��pȝ��。这样在之后的操作中��׃��需要su到hadoop用户下，而且也不会纠�~�于文�g的owner问题�?/span>
�Q?�Q�生成ssh密钥
     如果是其他用��L��录的则切换到hadoop用户下，执行命��osu - hadoop�Q�在/home/hadoop目录下执行命令：ssh-keygen -t rsa�Q�一路回车，选择默认的保存�\径）�Q�密钥生成成功之后，�q�入.ssh目录�Q�执�?span style="color: #0055ff; ">cd .ssh�Q�执行命令：cp id_rsa.pub authorized_keys。这个时候运行ssh localhost�Q�让�pȝ��C��用户�Q�之后ssh localhost��׃��需要再输入密码了�?/p>
�Q?�Q�交换公�?/p>
     ��namenode上的公钥拯��到datanode�Q�在hadoop用户的用��L��录下�Q?home/hadoop�Q�下执行命��ossh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@slave。同理，也可以将datanode上的公钥拯��到namenode�Q�但�q�不是必��ȝ��。这样两台机器在hadoop用户下互相ssh��׃��需要密码了�?/p>

�W�三步，安装JDK1.6或以上（每台机器�Q?/span>
�Q?�Q�执行命令yum install jdk
�Q?�Q�如果第一步没有找到源码包�Q�那么就需要到官网上下载了�Q�https://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/ViewProductDetail-Start?ProductRef=jdk-6u22-oth-JPR@CDS-CDS_Developer�?/p>
�Q?�Q�新建目�?usr/java�Q�将源码包jdk-6u22-linux-i586.bin复制到该目录下，执行命��ochmod a+x jdk-6u22-linux-i586.bin
      使当前用��h��有对jdk-6u22-linux-i586.bin的执行权限。执行命�?span style="color: #0055ff; ">sudo ./jdk-6u22-linux-i586.bin�q�行安装
�Q?�Q�修�?etc/profile来添加环境变量，/etc/profile中设�|�的环境变量��像Windows下环境变量中的系�l�变量一��P��所有用户都可以使用�?br />      用文本编辑器打开/etc/profile
      # vi /etc/profile
      在最后加入以下几行：
      export JAVA_HOME=/usr/java/jdk1.6.0_22
      export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      export PATH=$PATH:$JAVA_HOME/bin
      �q�样我们��p��|�好了JDK�Q�在centos�?nbsp;source /etc/profile ��可以生效了.
�q�行命��ojava -version可以判断是否安装成功

�W�四步，安装hadoop
原来现在才开始安装hadoop�Q�准备工作也作得太多了，废话��说�?/p>
�Q?�Q�新建目�?usr/local/hadoop�Q�将hadoop-0.21.0.tar.gz解压�~�到该目录下�Q�执行命�?span style="color: #0055ff; ">sudo tar -xvzf hadoop-0.21.0.tar.gz�Q�修�?etc/profile文�g�Q�将hadoop的安装目录append到文件最后：
export HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH
�Q?�Q�配�|?conf/hadoop-env.sh文�g�Q�修改java_home环境变量
export JAVA_HOME=/usr/java/jdk1.6.0_22/
export HADOOP_CLASSPATH=.
�Q?�Q�配�|?core-site.xml 文�g


            hadoop.tmp.dir
            /usr/local/hadoop/hadoop-0.21.0/tmp
           (注意�Q�请先在 hadoopinstall 目录下徏�?tmp 文�g�?
            A base for other temporary directories.



            fs.default.name
      hdfs://master:54310


�Q?�Q�配�|?hdfs-site.xml 文�g


            dfs.replication
            1�Q�这里共两台机器�Q�如果将主节点也配置为datanode�Q�则�q�里可以�?�Q?/span>


�Q?�Q�配�|?mapred-site.xml 文�g


            mapred.job.tracker
            master:54311


�Q?�Q�配�|?conf/masters 文�g�Q�加�?namenode �?ip 地址
master
�Q?�Q�配�|?slaves 文�g, 加入所�?datanode �?ip 地址
slave

(如果之前�?/span>hdfs-site.xml文�g中的拯��数设�|��ؓ2�Q�则需要将master也加入到slaves文�g�?/span>)
�Q?�Q�将 namenode �?�?�|?�?�?hadoop 所 �?�?�?�?hadoop�Q?.21.0 �?�?�?br />datanode �?usr/lcoal/hadoop/目录下（实际�?masters,slavers 文�g时不必要的，复制了也
没问题）�?br />�Q?�Q�配�|�datanode�?etc/profile 文�g�Q�在文�g��append下列内容�Q?br />export HADOOP_HOME=/usr/local/hadoop/hadoop-0.21.0
export PATH=$HADOOP_HOME/bin:$PATH

�W�五步，启动hadoop
首先记得关闭�pȝ��的防火墙�Q�root用户下执行命�?/span>/etc/init.d/iptables stop�Q�运行命�?span style="color: #0055ff; ">/etc/init.d/iptables status��查防火墙状态�?span style="color: #000000; ">hadoop用户下，在namenode�?usr/local/hadoop/hadoop-0.21.0/bin目录下打开�l�端�Q�执行命�?span style="color: #0055ff; ">hadoop namenode -format�Q?span style="color: #000000; ">格式化目录节炏V�?span style="color: #ff0000; ">注意�Q?/span>/usr/local/hadoop/hadoop-0.21.0/tmp目录是可以写的，否则在格式化时会出现异常�?/span>执行命��ostart-all.sh启动hadoop集群�Q�执行命�?span style="color: #0055ff; ">jps查看�q�程�Q�执行命�?span style="color: #0055ff; ">hadoop dfsadmin -report查看状态。在��览器中输入http://master:50070以web方式查看集群状态。查看jobtraker的运行状态：http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/index.html
PS�Q�格式化namenode的时候最好将节点的tmp目录清空、删除logs目录中的文�g�?br />
到这里，��Z��CentOS5.5的hadoop集群搭徏完毕�Q?/span>

参考资料：http://www.ibm.com/developerworks/cn/linux/l-hadoop-2/index.html

鑫龙 2012-12-25 20:54 发表评论

从Hadoop框架与MapReduce模式中谈��量数据处理�Q�含淘宝技术架构）(�?

鑫龙 — Sun, 23 Dec 2012 11:55:00 GMT

从hadoop框架与MapReduce模式中谈��量数据处理
前言
    几周前，当我最初听刎ͼ�以致后来初次接触Hadoop与MapReduce�q�两个东西，我便�E�显兴奋�Q�觉得它们很是神�U�，而神�U�的东西常能勾�v我的兴趣�Q�在看过介绍它们的文章或论文之后�Q�觉得Hadoop是一��富有趣呛_��挑战性的技术，且它�q�牵扯到了一个我更加感兴��的话题�Q��v量数据处理�?/p>
    由此�Q�最�q�凡是空闲时�Q�便在看“Hadoop”�Q?#8220;MapReduce”“��量数据处理”�q�方面的论文。但在看论文的过�E�中�Q�总觉得那些论文都是浅��辄止，常常看的很不�q�瘾�Q��L��一个东西刚要讲到紧要处�Q�它便结束了�Q�让我好�?#8220;愤懑”�?/p>
    ��管我对�q�个Hadoop与MapReduce知之甚浅�Q�但我还是想记录自己的学习过�E�，说不定，关于�q�个东西的学习能督促我最�l�写成和“�l�典��法研究�p�d��”一般的一�p�d��文章�?/p>
    Ok�Q�闲话少说。本文从最基本的mapreduce模式�Q�Hadoop框架开始谈��P��然后由各自的架构引申开来，谈到��量数据处理�Q�最后谈谈淘宝的��量数据产品技术架构，以�ؓ了兼备浅��Z��深入之效�Q�最�l�，希望得到读者的喜欢与支持。谢谢�?/p>
    �׃��本�h是初�ơ接触这两项技术，文章有�Q何问题，�Ƣ迎不吝指正。再谢一�ơ。Ok�Q�咱们开始吧�?/p>
�W�一部分、mapreduce模式与hadoop框架深入��出
架构��D��
         惌��懂此文，读者必��d��要明��以下几点，以作为阅��d��l�内容的基础知识储备�Q?/p>
Mapreduce是一�U�模式�?/li>
Hadoop是一�U�框架�?/li>
Hadoop是一个实��C��mapreduce模式的开源的分布式�ƈ行编�E�框架�?/li>
    所以，你现在，知道了什么是mapreduce�Q�什么是hadoop�Q�以及这两者之间最��单的联系�Q�而本文的��L��x��Q�一句话概括�Q?strong>在hadoop的框架上采取mapreduce的模式处理�v量数�?/strong>。下面，�׃��可以依次深入学习和了解mapreduce和hadoop�q�两个东西了�?/p>
Mapreduce模式
    前面说了�Q�mapreduce是一�U�模式，一�U�什么模式呢?一�U�云计算的核心计��模式，一�U�分布式�q�算技术，也是��化的分布式编�E�模式，它主要用于解决问题的�E�序开发模型，也是开发�h员拆解问题的�Ҏ��?/p>
    Ok�Q�光说不上图�Q�没用。如下图所�C�，mapreduce模式的主要思想是将自动分割要执行的问题�Q�例如程序）拆解成map�Q�映��）和reduce�Q�化��Q�的方式�Q�流�E�图如下�?所�C�：
    在数据被分割后通过Map 函数的程序将数据映射成不同的区块�Q�分配给计算机机��处理达到分布式�q�算的效果，在通过Reduce 函数的程序将�l�果汇整�Q�从而输出开发者需要的�l�果�?/p>
    MapReduce 借鉴了函数式�E�序设计语言的设计思想�Q�其软�g实现是指定一个Map 函数�Q�把键值对(key/value)映射成新的键值对(key/value)�Q��Ş成一�p�d��中间�l�果形式的key/value 对，然后把它们传�l�Reduce(规约)函数�Q�把��h��相同中间形式key 的value 合�ƈ在一赗��Map 和Reduce 函数��h��一定的兌��性。函数描�q�如�? 所�C�：
    MapReduce致力于解军_��规模数据处理的问题，因此在设计之初就考虑了数据的局部性原理，利用局部性原理将整个问题分而治之。MapReduce集群由普通PC机构成，�?span style="font-family: 'Times New Roman'; ">无共享式架构�?/span>在处理之前，��数据集分布臛_��个节炏V��处理时�Q�每个节点就�q�读取本地存储的数据处理�Q�map�Q�，��处理后的数据进行合�qӞ��combine�Q�、排序（shuffle and sort�Q�后再分发（至reduce节点�Q�，避免了大量数据的传输�Q�提高了处理效率。无�׃�n式架构的另一个好处是配合复制�Q�replication�Q�策略，集群可以��h��良好的容错性，一部分节点的down机对集群的正常工作不会造成影响�?/p>
    ok�Q�你可以再简单看看下副图�Q�整�q�图是有关hadoop的作业调优参数及原理�Q�图的左�Ҏ��MapTask�q�行�C�意图，双��是ReduceTask�q�行�C�意图：
    如上图所�C�，其中map阶段�Q�当map task开始运��，�q��生中间数据后�q��直接而简单的写入��盘�Q�它首先利用内存buffer来对已经产生的buffer�q�行�~�存�Q��ƈ在内存buffer中进行一些预排序来优化整个map的性能。而上囑֏�边的reduce阶段则经历了三个阶段�Q�分别Copy->Sort->reduce。我们能明显的看出，其中的Sort是采用的归�ƈ排序�Q�即merge sort�?/p>
    了解了什么是mapreduce�Q�接下来�Q�咱们可以来了解实现了mapreduce模式的开源框�?#8212;hadoop�?/p>
Hadoop框架
    前面说了�Q�hadoop是一个框�Ӟ��一个什么样的框架呢?Hadoop 是一个实��C��MapReduce 计算模型的开源分布式�q�行�~�程框架�Q�程序员可以借助Hadoop �~�写�E�序�Q�将所�~�写的程序运行于计算机机��上�Q�从而实现对��量数据的处理�?/p>
    此外�Q�Hadoop �q�提供一个分布式文�g�pȝ��(HDFS�Q�及分布式数据库�Q�HBase�Q�用来将数据存储或部�|�到各个计算节点上。所以，你可以大致认为：Hadoop=HDFS�Q�文件系�l�，数据存储技术相养I��+HBase�Q�数据库�Q?MapReduce�Q�数据处�?/u>�Q�。Hadoop 框架如图2 所�C�：
    借助Hadoop 框架及云计算核心技术MapReduce 来实现数据的计算和存储，�q�且��HDFS 分布式文件系�l�和HBase 分布式数据库很好的融入到云计��框架中�Q�从而实��C��计算的分布式、�ƈ行计��和存储�Q��ƈ且得以实现很好的处理大规模数据的能力�?/p>
Hadoop的组成部�?/h3>
    我们已经知道�Q�Hadoop是Google的MapReduce一个Java实现。MapReduce是一�U�简化的分布式编�E�模式，让程序自动分布到一个由普通机器组成的��大集群上�ƈ发执行�?strong>Hadoop主要由HDFS、MapReduce和HBase�{�组成。具体的hadoop的组成如下图�Q?/p>
    �׃��图，我们可以看到�Q?/p>
    1�?nbsp;            Hadoop HDFS是Google GFS存储�pȝ��的开源实玎ͼ�主要应用场景是作为�ƈ行计��环境（MapReduce�Q�的基础�l��g�Q�同时也是BigTable�Q�如HBase、HyperTable�Q�的底层分布式文件系�l�。HDFS采用master/slave架构。一个HDFS集群是有�׃��个Namenode和一定数目的Datanode�l�成。Namenode是一个中心服务器�Q�负责管理文件系�l�的namespace和客��L��Ҏ��件的讉K��?em>Datanode在集��中一般是一个节点一个，负责��理节点上它们附带的存储。在内部�Q�一个文件其实分成一个或多个block�Q�这些block存储在Datanode集合里。如下图所�C�（HDFS体系�l�构�?/u>�Q�：
    2�?nbsp;            Hadoop MapReduce是一个��用简易的软�g框架�Q�基于它写出来的应用�E�序能够�q�行在由上千个商用机器组成的大型集群上，�q�以一�U�可靠容错的方式�q�行处理上TB�U�别的数据集�?/p>
    一个MapReduce作业�Q�job�Q�通常会把输入的数据集切分��q�独立的数据块，�?Map��d��Q�task�Q�以完全�q�行的方式处理它们。框架会对Map的输�?strong>先进行排�?/strong>�Q�然后把�l�果输入�l�Reduce��d��。通常作业的输入和输出都会被存储在文�g�pȝ��中。整个框架负责�Q务的调度和监控，以及重新执行已经��p�|的�Q务。如下图所�C�（Hadoop MapReduce处理��程�?/u>�Q�：
    3�?nbsp;            Hive是基于Hadoop的一个数据仓库工��P��处理能力��且成本低廉�?/strong>
主要特点�Q?/p>
存储方式是将�l�构化的数据文�g映射��Z��张数据库表。提供类SQL语言�Q�实现完整的SQL查询功能。可以将SQL语句转换为MapReduce��d��q�行�Q�十分适合数据仓库的统计分析�?/p>
不��之处�Q?/strong>
采用行存储的方式�Q�SequenceFile�Q�来存储和读取数据。效率低�Q�当要读取数据表某一列数据时需要先取出所有数据然后再提取出某一列的数据�Q�效率很低。同�Ӟ��它还占用较多的磁盘空间�?/p>
�׃��以上的不��I��有�h�Q�查�C�博士）介绍了一�U�将分布式数据处理系�l�中以记录�ؓ单位的存储结构变��Z��列�ؓ单位的存储结构，�q�而减��磁盘访问数量，提高查询处理性能。这��P��׃��相同属性值具有相同数据类型和相近的数据特性，以属性��gؓ单位�q�行压羃存储的压�~�比更高�Q�能节省更多的存储空间。如下图所�C�（行列存储的比较图�Q�：
4�?nbsp;            HBase
    HBase是一个分布式的、面向列的开源数据库�Q�它不同于一般的关系数据�?是一个适合于非�l�构化数据存储的数据库。另一个不同的是HBase��Z��列的而不是基于行的模式。HBase使用�?BigTable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和�Q意数量的列，一个或多个列组成一个ColumnFamily�Q�一个Fmaily下的列位于一个HFile中，易于�~�存数据。表是疏杄��存储的，因此用户可以�l�行定义各种不同的列。在HBase中数据按主键排序�Q�同时表按主键划分�ؓ多个HRegion�Q�如下图所�C�（HBase数据表结构图�Q�：
    Ok�Q�行文至此，看似�z�洋�z�洒�q�千里，但若�l�读者造成阅读上的负担�Q�则不是我本意。接下来的内容，我不会再引用诸多�J�杂的专业术语，以给读者心里上造成不良影响�?/p>
    我再�l�出一副图�Q�算是对上文所说的hadoop框架及其�l�成部分做个�ȝ��Q�如下图所�C�，便是hadoop的内部结构，我们可以看到�Q��v量的数据交给hadoop处理后，在hadoop的内部中�Q�正如上文所�q�ͼ�hadoop提供一个分布式文�g�pȝ��Q�HDFS�Q�及分布式数据库�Q�Hbase�Q�用来存储或部��v到各个计��点上，最�l�在内部采取mapreduce的模式对其数据进行处理，然后输出处理�l�果�Q?/p>

�W�二部分、淘宝�v量数据��品技术架构解�?#8212;学习��量数据处理�l�验
    在上面的本文的第一部分中，我们已经对mapreduce模式及hadoop框架有了一个深入而全面的了解。不�q�，如果一个东西，或者一个概念不攑ֈ�实际应用中去�Q�那么你对这个理忉|��q�只是停留在理论之内�Q�无法向实践�q�进�?/p>
    Ok�Q�接下来�Q�本文的�W�二部分�Q�咱们以淘宝的数据魔�Ҏ��术架构�ؓ依托�Q�通过介绍淘宝的�v量数据��品技术架构，来进一步学习和了解��量数据处理的经验�?/p>
淘宝��量数据产品技术架�?/h3>
    如下�?-1所�C�，��x��淘宝的�v量数据��品技术架构，�׃��下面要针对这个架构来一一剖析与解诅R�?/p>
    �怿��Q�看�q�本博客内其它文章的�l�心读者，定会发现�Q�图2-1最初见于本博客内的此篇文章�Q�从几幅架构图中偷得半点��量数据处理�l�验之上�Q�同�Ӟ��此图2-1最初发表于《程序员�?月刊�Q�作者：朋春�?/p>
    在此之前�Q�有一点必��说明的是：本文下面的内容大都是参考自朋春先生的这��文章：淘宝数据��方技术架构解�?/u>所写，我个人所作的工作是对�q�篇文章的一�U�解��M��关键技术和内容的抽取，以�ؓ读者更好的理解淘宝的�v量数据��品技术架构。与此同�Ӟ��q�能展示我自��p��此篇的思�\与感悟，��带学习�Q�何乐而不为呢?�?/p>
    Ok�Q�不�q�，与本博客内之前的那篇文章�Q�几�q�架构图中偷得半�Ҏ�v量数据处理经验）不同�Q�本文接下来�Q�要详细阐述�q�个架构。我也做了不��准备工作（如把�q�图2-1打印了下来，�l�常琢磨�Q�：

                                            �?-1 淘宝��量数据产品技术架�?/p>
    好的�Q�如上图所�C�，我们可以看到�Q�淘宝的��量数据产品技术架构，分�ؓ以下五个层次�Q�从上至下来看，它们分别是：数据源，计算层，存储层，查询层和产品层。我们来一一了解�q�五层：
数据来源层。存攄��淘宝各店的交易数据。在数据源层产生的数据，通过DataX�Q�DbSync和Timetunel准实时的传输��C��面第2�Ҏ��q�的“云梯”�?/li>
计算层。在�q�个计算层内�Q�淘宝采用的是hadoop集群�Q�这个集��，我们暂且�U�C��Z��梯，是计��层的主要组成部分。在云梯上，�pȝ��每天会对数据产品�q�行不同的mapreduce计算�?/li>
存储层。在�q�一层，淘宝采用了两个东西，一个��MyFox�Q�一个是Prom。MyFox是基于MySQL的分布式关系型数据库的集��，Prom是基于hadoop Hbase技�?的（读者可别忘了，在上文第一部分中，�׃��介绍��C��q�个hadoop的组成部分之一�Q�Hbase—在hadoop之内的一个分布式的开源数据库�Q�的一个NoSQL的存储集��?/li>
查询层。在�q�一层中�Q�有一个叫做glider的东西，�q�个glider是以HTTP协议对外提供restful方式的接口。数据��品通过一个唯一的URL来获取到它想要的数据。同�Ӟ��数据查询��x��通过MyFox来查询的。下文将具体介绍MyFox的数据查询过�E��?/li>
产品层。简单理解，不作�q�多介绍�?/li>
    接下来，�׃��重点来了解第三层-存储层中的MyFox与Prom�Q�然后会�E�带分析下glide的技术架构，最后，再了解下�~�存。文章即宣告�l�束�?/p>
    我们知道�Q�关�p�d��数据库在我们现在的工业生产中有着�q�泛的引用，它包括Oracle�Q�MySQL、DB2、Sybase和SQL Server�{�等�?/p>
MyFOX
    淘宝选择了MySQL的MyISAM引擎作�ؓ底层的数据存储引擎。且��Z��应对��量数据�Q�他们设计了分布式MySQL集群的查询代理层-MyFOX�?/p>
如下图所�C�，是MySQL的数据查询过�E�：
                                                            �?-2 MyFOX的数据查询过�E?/p>
    在MyFOX的每一个节点中�Q�存攄��热节点和冯��点两�U�节�Ҏ��据。顾名思义�Q�热节点存放着最新的�Q�被讉K��频率较高的数据；冯��点，存放着相对而来比较旧的�Q�访问频率比较低的数据。而�ؓ了存储这两种节点数据�Q�出于硬件条件和存储成本的考虑�Q�你当然会考虑选择两种不同的硬盘，来存储这两种讉K��频率不同的节�Ҏ��据。如下图所�C�：
                                                           �?-3 MyFOX节点�l�构
    “热节�?#8221;�Q�选择每分�?5000转的SAS��盘�Q�按照一个节点两台机器来计算�Q�单位数据的存储成本�U��ؓ4.5W/TB。相对应圎ͼ�“��h��?#8221;我们选择了每分钟7500转的SATA��盘�Q�单��上能够存放更多的数据，存储成本�U��ؓ1.6W/TB�?/p>
Prom
��Z��文章��幅的考虑�Q�本文接下来不再�q�多阐述�q�个Prom了。如下面两幅图所�C�，他们分别表示的是Prom的存储结构以及Prom查询�q�程�Q?/p>
                                              �?-4 Prom的存储结�?/p>

                                                          �?-5 Prom查询�q�程
glide的技术架�?/strong>

                                             �?-6 glider的技术架�?/p>
    在这一�?查询层中�Q�淘宝主要是��Z��用中间层隔离前后端的理念而考虑。Glider�q�个中间层负责各个异构表之间的数据JOIN和UNION�{�计��，�q�且负责隔离前端产品和后端存储，提供�l�一的数据查询服务�?/p>
�~�存
    除了起到隔离前后端以及异�?#8220;�?#8221;之间的数据整合的作用之外�Q�glider的另外一个不容忽视的作用便是�~�存��理。我们有一炚w��了解�Q�在特定的时间段内，我们认�ؓ数据产品中的数据是只�ȝ��Q�这是利用缓存来提高性能的理论基��?/p>
在上文图2-6中我们看刎ͼ�glider中存在两层缓存，分别是基于各个异�?#8220;�?#8221;�Q�datasource�Q�的二��~�存和整合之后基于独立请求的一�U�缓存。除此之外，各个异构“�?#8221;内部可能�q�存在自��q��~�存机制�?/p>
                                                           �?-7 �~�存控制体系
    �?-7向我们展�C�Z��数据��方在缓存控制方面的设计思�\。用��L��h��中一定是带了�~�存控制�?#8220;命��o”的，�q�包括URL中的query string�Q�和HTTP头中�?#8220;If-None-Match”信息。�ƈ且，�q�个�~�存控制“命��o”一定会�l�过层层传递，最�l�传递到底层存储的异�?#8220;�?#8221;模块�?/p>
    �~�存�pȝ��往往有两个问题需要面对和考虑�Q�缓存穿透与失效时的雪崩效应�?/p>
�~�存�I�K��是指查询一个一定不存在的数据，�׃��~�存是不命中时被动写的，�q�且��Z��定w��考虑�Q�如果从存储层查不到数据则不写入�~�存�Q�这��导致这个不存在的数据每�ơ请求都要到存储层去查询�Q�失��M��~�存的意义。至于如何有效地解决�~�存�I�K��问题，最常见的则是采用布隆过滤器�Q�这个东西，在我的此��文章中有介�l�：�Q�，��所有可能存在的数据哈希��C��个��够大的bitmap中，一个一定不存在的数据会被这个bitmap拦截掉，从而避免了对底层存储系�l�的查询压力�?/div>
    而在数据��方里，淘宝采用了一个更为简单粗暴的�Ҏ��Q�如果一个查询返回的数据为空�Q�不��是数据不存在，�q�是�pȝ��故障�Q�，我们仍然把这个空�l�果�q�行�~�存�Q�但它的�q�期旉��会很短，最长不��过五分钟�?/p>
      2、缓存失效时的雪崩效应尽��对底层�pȝ��的冲击非常可怕。但遗憾的是�Q�这个问题目前�ƈ没有很完��的解决�Ҏ��。大多数�pȝ��设计者考虑用加锁或者队列的方式保证�~�存的单�U�程�Q�进�E�）写，从而避免失效时大量的�ƈ发请求落到底层存储系�l�上�?/p>
    在数据魔方中�Q�淘宝设计的�~�存�q�期机制理论上能够将各个客户端的数据失效旉��均匀地分布在旉��轴上�Q�一定程度上能够避免�~�存同时失效带来的雪崩效应�?/p>
本文参考：
��Z��云计��的��量数据存储模型�Q�侯建等�?/div>
��Z��hadoop的�v量日志数据处理，王小��?/div>
��Z��hadoop的大规模数据处理�pȝ��Q�王丽兵�?/div>
淘宝数据��方技术架构解析，朋春�?/div>
Hadoop作业调优参数整理及原理，guili�?/div>
读者点�?/strong>@xdylxdyl�Q?/p>
We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That's map. The more people we get, the faster it goes. Now we get together and add our individual counts. That's reduce�?/div>
数据��方里的�~�存�I�K�?架构,�I�数据缓存这些和Hadoop一点关�p�都么有�Q�如果是惌��一个Hadoop的具体应用的�?数据��方�q�部分其实没讲清楚的�?/div>
感觉你是把两个东西�؜在一起了。不�q�这两个都是挺有价值的东西,或者说数据��方的架构比Hadoop可能更重要一�?基本上大的互联网公司都会选择�q�么做。Null对象的缓存保留五分钟未必会有好的�l�果�?如果Null对象不是特别�?数据的更新和插入不多也可以考虑实时�l�护�?/div>
Hadoop本��n很笨重，不知道在数据��方里是否是在扮演着实时数据处理的角�?�q�是只是在做�U�下的数据分析的�Q?/div>
�l�语�Q�写文章是一�U�学习的�q�程�?strong>��重他�h力_��成果�Q��{载请注明出处。谢谢。July�?011/8/20。完�?br />
转自: http://blog.csdn.net/v_july_v/article/details/6704077

鑫龙 2012-12-23 19:55 发表评论

久久久久久久综合日本亚洲,久久精品国产99国产精品,国内精品久久久久久久久电影网

hadoop0.20.2在eclipse中的�~�译

在HADOOP中��用MRUNIT�q�行单元���试

前提

介绍

安装

�C�Z��

功能

实现

参考资�?/h2>http://www.cloudera.com/hadoop-mrunit 本文地址�Q�博客园 逖靖�?nbsp;http://gpcuster.cnblogs.com鑫龙 2013-04-03 11:27 发表评论

Mapreduce-Partition分析

NameNode中几个关键的数据�l�构

FSImage

BlockMap

BlockMap中datanode列表数据�l�构

NameNode启动�q�程

fsimage加蝲�q�程

blockReport阶段

启动�q�程数据采集和瓶颈分�?/a>

瓉���分析�ȝ��

hadoop二次排序 (Map/Reduce中分区和分组的问�?

hadoop面试时可能遇到的问题

��Z��Hadoop Sequencefile的小文�g解决�Ҏ��

hadoop jar xxxx.jar的流�E?

hadoop 序列化源码浅�?(�?

HADOOP_CLASSPATH讄���(�?

CentOS 5.5 安装hadoop-0.21.0(�?

从Hadoop框架与MapReduce模式中谈���量数据处理�Q�含淘宝技术架构）(�?

从hadoop框架与MapReduce模式中谈���量数据处理

前言

�W�一部分、mapreduce模式与hadoop框架深入���出

架构��D��

Mapreduce模式

Hadoop框架

�W�二部分、淘宝�v量数据��品技术架构解�?#8212;学习���量数据处理�l�验

在HADOOP中��用MRUNIT�q�行单元��试

参考资�?/h2>
http://www.cloudera.com/hadoop-mrunit

本文地址�Q�博客园逖靖�?nbsp;http://gpcuster.cnblogs.com

鑫龙 2013-04-03 11:27 发表评论

瓉��分析�ȝ��

HADOOP_CLASSPATH讄��(�?

从Hadoop框架与MapReduce模式中谈��量数据处理�Q�含淘宝技术架构）(�?

从hadoop框架与MapReduce模式中谈��量数据处理

�W�一部分、mapreduce模式与hadoop框架深入��出

�W�二部分、淘宝�v量数据��品技术架构解�?#8212;学习��量数据处理�l�验