转载:http://blog.sina.com.cn/s/blog_4ed630e801000bi3.html
分布式系统漫谈一 —— Google三驾马车: GFS,mapreduce,Bigtable
<wbr></wbr>
谈到分布式系统,就不得不提Google的三驾马车:Google fs[1],Mapreduce[2],Bigtable[3]。
虽然Google没有公布这三个产品的源码,但是他发布了这三个产品的详细设计论文。而且,Yahoo资助的Hadoop也有按照这三篇论文的开源Java实现:Hadoop对应Mapreduce, Hadoop Distributed File System (HDFS)对应Google fs,Hbase对应Bigtable。不过在性能上Hadoop比Google要差很多,参见表1。
Experiment
|
HBase20070916
|
BigTable
|
random reads
|
272
|
1212
|
random reads (mem)
|
Not implemented
|
10811
|
random writes
|
1460
|
8850
|
sequential reads
|
267
|
4425
|
sequential writes
|
1278
|
8547
|
Scans
|
3692
|
15385
|
表1。Hbase和BigTable性能比较(来源于http://wiki.apache.org/lucene-hadoop/Hbase/PerformanceEvaluation)
以下分别介绍这三个产品:
一 Google fs
GFS是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。
图1 GFS Architecture
(1)GFS的结构
1. GFS的结构图见图1,由一个master和大量的chunkserver构成,
2. 不像Amazon Dynamo的没有主的设计,Google设置一个主来保存目录和索引信息,这是为了简化系统结果,提高性能来考虑的,但是这就会造成主成为单点故障或者瓶颈。为了消除主的单点故障Google把每个chunk设置的很大(64M),这样,由于代码访问数据的本地性,application端和master的交互会减少,而主要数据流量都是Application和chunkserver之间的访问。
3. 另外,master所有信息都存储在内存里,启动时信息从chunkserver中获取。提高了master的性能和吞吐量,也有利于master当掉后,很容易把后备j机器切换成master。
4. 客户端和chunkserver都不对文件数据单独做缓存,只是用linux文件系统自己的缓存
“The master stores three major types of metadata: the file and chunk namespaces, the mapping from files to chunks, and the locations of each chunk’s replicas.”
<wbr></wbr>
“Having a single master vastly simplifies our design and enables the master to make sophisticated chunk placement and replication decisions using global knowledge. However,we must minimize its involvement in reads and writes so that it does not become a
bottleneck. Clients never read and write file data through the master. Instead, a client asks the master which chunkservers it should contact. It caches this information for a limited time and interacts with the chunkservers directly for many subsequent operations.”
<wbr></wbr>
“Neither the client nor the chunkserver caches file data.Client caches offer little benefit because most applications stream through huge files or have working sets too large to be cached. Not having them simplifies the client and the overall system by
eliminating cache coherence issues.(Clients do cache metadata, however.) Chunkservers need not cache file data because chunks are stored as local files and so Linux’s buffer cache already keeps frequently accessed data in memory.”
<wbr></wbr>
(2)GFS的复制
GFS典型的复制到3台机器上,参看图2
图2 一次写操作的控制流和数据流
(3) 对外的接口
和文件系统类似,GFS对外提供create, delete,open, close, read, 和 write 操作
另外,GFS还新增了两个接口snapshot and record append,snapshot是做一个
“Moreover, GFS has snapshot and record append operations.
Snapshot creates a copy of a file or a directory tree at low cost.
Record append allows multiple clients to append data to the same file concurrently while guaranteeing the atomicity of each individual client’s append.”
<wbr></wbr>
二 Mapreduce
Mapreduce是针对分布式并行计算的一套编程模型。
讲到并行计算,就不能不谈到微软的Herb Sutter在2005年发表的文章” The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software”[6],主要意思是通过提高cpu主频的方式来提高程序的性能很快就要过去了,cpu的设计方向也主要是多核,超线程等并发上。但是以前的程序并不能自动的得到多核的好处,只有编写并发程序,才能真正获得多核的好处。分布式计算也是一样。
图3 Mapreduce Execution overview
<wbr></wbr>
1.Mapreduce是由Map和reduce组成,来自于Lisp,Map是影射,把指令分发到多个worker上去,reduce是规约,把Map的worker计算出来的结果合并。(参见图3)
2.Google的Mapreduce实现使用GFS存储数据。
3.Mapreduce可用于Distributed Grep,Count of URL Access Frequency,ReverseWeb-Link Graph,Distributed Sort,Inverted Index
三 Bigtable
就像文件系统需要数据库来存储结构化数据一样,GFS也需要Bigtable来存储结构化数据。
1.<wbr>BigTable 是建立在 GFS ,Scheduler ,Lock Service 和 MapReduce 之上的。</wbr>
2.<wbr>每个Table都是一个多维的稀疏图</wbr>
3.<wbr>为了管理巨大的Table,把Table根据行分割,这些分割后的数据统称为:Tablets。每个Tablets大概有 100-200 MB,每个机器存储100个左右的 Tablets。底层的架构是:GFS。由于GFS是一种分布式的文件系统,采用Tablets的机制后,可以获得很好的负载均衡。比如:可以把经常响应的表移动到其他空闲机器上,然后快速重建。</wbr>
<wbr></wbr>
<wbr></wbr>
参考文献
[1]<wbr><wbr><wbr><wbr><wbr><wbr>The Google File System;<a href="http://labs.google.com/papers/gfs-sosp2003.pdf" style="text-decoration:none; color:rgb(27,113,155)">http://labs.google.com/papers/gfs-sosp2003.pdf</a></wbr></wbr></wbr></wbr></wbr></wbr>
[2]<wbr><wbr><wbr><wbr><wbr><wbr>MapReduce: Simplifed Data Processing on Large Clusters;<wbr><a href="http://labs.google.com/papers/mapreduce-osdi04.pdf" style="text-decoration:none; color:rgb(27,113,155)">http://labs.google.com/papers/mapreduce-osdi04.pdf</a></wbr></wbr></wbr></wbr></wbr></wbr></wbr>
[3]<wbr><wbr><wbr><wbr><wbr><wbr>Bigtable: A Distributed Storage System for Structured Data;<a href="http://labs.google.com/papers/bigtable-osdi06.pdf" style="text-decoration:none; color:rgb(27,113,155)">http://labs.google.com/papers/bigtable-osdi06.pdf</a></wbr></wbr></wbr></wbr></wbr></wbr>
[4]<wbr><wbr><wbr><wbr><wbr><wbr>Hadoop ;<a href="http://lucene.apache.org/hadoop/" style="text-decoration:none; color:rgb(27,113,155)">http://lucene.apache.org/hadoop/</a></wbr></wbr></wbr></wbr></wbr></wbr>
[5]<wbr><wbr><wbr><wbr><wbr><wbr>Hbase: Bigtable-like structured storage for Hadoop HDFS;<a href="http://wiki.apache.org/lucene-hadoop/Hbase" style="text-decoration:none; color:rgb(27,113,155)">http://wiki.apache.org/lucene-hadoop/Hbase</a></wbr></wbr></wbr></wbr></wbr></wbr>
[6]<wbr><wbr><wbr><wbr><wbr><wbr>The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software;<a href="http://www.gotw.ca/publications/concurrency-ddj.htm" style="text-decoration:none; color:rgb(27,113,155)">http://www.gotw.ca/publications/concurrency-ddj.htm</a></wbr></wbr></wbr></wbr></wbr></wbr>
分享到:
相关推荐
Google谷歌分布式系统三驾马车-mapreduce,bigtable,GFS,三篇论文原文,分布式绕不开的文章
Google大数据三大论文 三合一 中文版 GFS MapReduce BigTable
GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车,这三项革命性的技术不仅在大数据领域广为人知,更直接或间接性的推动了大数据、云计算、乃至如今火爆的人工智能领域的发展。
Google分布式系统的三驾马车:GFS、Map/Reduce、BigTable的经典论文(压缩包中包含三个PDF文档)
GFS BigTable MapReduce中文版
Google云计算三大论文英文版,GFS,Bigtable,MapReduce
6个pdf,Google官方发布的。 [1]Bigtable: A Distributed Storage System for Structured Data [2]MapReduce: Simplified Data Processing on Large Clusters [3]The Google File System [4]Large-scale Incremental...
Google三大篇著名论文Paper 机器学习AI必读 GFS MapReduce BigTable 辛苦整理的
1. 2003年,Google发布Google File System论文,这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。从根本上说:文件被分割成很多块,...
谷歌GFS+Mapreduce+Bigtable三大论文中英文+PDF+WORD版本集合,2021年修正版
Google大数据三大论文中文版下载,Google三篇论文MapReduce、GFS、Bigtable pdf下载
云计算三大论文(GFS,MapReduce,BigTable),中文及英文
学习大数据知识点经典论文!google发表的MapReduce、GFS、Bigtable三大论文中文版。
谷歌三大论文,bigtable,File-system, mapreduce的中文版论文
支撑Google的三架马车,MapReduce,GFS ,Bigtable
Google大数据三大论文英文版下载,Google三篇论文MapReduce、GFS、Bigtable pdf下载
谷歌的三驾马车的中文版,翻译质量很不错,希望能够帮到你们
Google大数据三大论文(GFS/BigTable/MapReduce)中英文下载 资源是关于Google大数据三大经典论文GFS/BigTable/MapReduce 中英文版文档
Bigtable:一个分布式的结构化数据存储系统; The Google File System; MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现