谷歌三大核心技术（一）Google File System中文版 - MapReduce - 服务器软件 - 深度开源
open-open.com · 1,162 words · saved by 1 readers
我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。
The Google File System中文版 译者：alex 摘要 我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础 的，不管现在还是将来，GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择，衍生出了完全不同的设计 思路。 GFS完全满足了我们对存储的需求。GFS作为存储平台已经被广泛的部署在Google内部，存储我们的服务产生和处理的数据，同时还用于那些 需要大规模数据集的研究和开发工作。目前为止，最大的一个集群利用数千台机器的数千个硬盘，提供了数百TB的存储空间，同时为数百个客户机服务。 在本论文中，我们展示了能够支持分布式应用的文件系统接口的扩展，讨论我们设计的许多方面，最后列出了小规模性能测试以及真实生产系统中性能相关数据。 分类和主题描述 D [4]: 3—D分布文件系统 常用术语 设计，可靠性，性能，测量 关键词 容错，可伸缩性，数据存储，集群存储 1. 简介…
saved by
related reading
- Google File Systempdos.csail.mit.edu
- Git at any scalecursor.com
- The Friendship That Made Google Huge | The New Yorkernewyorker.com
- Google SRE - SRE best practices for production environmentsre.google
- NYSRGnotes.ekzhang.com
- GitHub - donnemartin/system-design-primer: Learn how to design large-scale systems. Prep for the system design interview. Includes Anki flashcards.github.com
- Files are harddanluu.com
- FFS-annotated.pdfdsf.berkeley.edu
- Chain Replication for Supporting High Throughput and Availabilitycs.cornell.edu
- Building and operating a pretty big storage system called S3 | All Things Distributedallthingsdistributed.com
- Google Drive: Sign-indrive.google.com
- Google Graveyard - Killed by Googlekilledbygoogle.com