Google Megastore – 3 Billion Writes and 20 Billion Read Transactions Daily
Tuesday, January 11, 2011 at 11:39PM
http://highscalability.com/blog/2011/1/11/google-megastore-3-billion-writes-and-20-billion-read-transa.html
A giant step into the fully distributed future has been taken by the Google App Engine team with the release of their High Replication Datastore. The HRD is targeted at mission critical applications that require data replicated to at least three datacenters, full ACID semantics for entity groups, and lower consistency guarantees across entity groups.
未来へ向けた完全な分散環境への大いなる第一歩が、High Replication Datastore（HRD）をリリースする、Google App Engine チームにより達成された。 この HRD は、少なくとも 3ヶ所のデータセンターにデータをリプリケートする、ミッション･クリティカルなアプリケーションをターゲットにしたものであり、完全な ACID セマンティクスがグループ全体に適用されるが、コンシステンシーに関する保証は引き下げられる。
This is a major accomplishment. Few organizations can implement a true multi-datacenter datastore. Other than SimpleDB, how many other publicly accessible database services can operate out of multiple datacenters? Now that capability can be had by anyone. But there is a price, literally and otherwise. Because the HRD uses three times the resources as Google App Engine’s Master/Slave datastatore, it will cost three times as much. And because it is a distributed database, with all that implies in the CAP sense, developers will have to be very careful in how they architect their applications because as costs increased, reliability increased, complexity has increased, and performance has decreased. This is why HRD is targeted ay mission critical applications, you gotta want it, otherwise the Master/Slave datastore makes a lot more sense.
それは、賞賛されるべき業績である。 なぜなら、ほとんど組織が、本当の意味でのマルチ･データセンター･データストアを実装ができないからだ。 誰もがアクセスできるデータベース･サービスにおいて、マルチ･データセンターを取り込んだものが、SimpleDB 以外に、どれだけあるのだろうか？ そして、いま、その能力を、誰もが手にすることが出来るようになった。 しかし、その反面、まさに価格の問題がある。 HRD では、Google App Engine の Master/Slave データストアとして、3倍のリソースが用いられるため、3倍のコストが掛かるだろう。 そして、その全てが、CAP 定理の意味する分散データベースであるため、デベロッパーはアプリケーション構築において、きわめて注意深く対応する必要がある。さもないと、信頼性が高まっても、コストと複雑さが増大し、パフォーマンスは劣化してしまう。そこに、ミッション･クリティカル･アプリケーションに狙いを定めた、HRD の存在理由がある。つまり、必要なものが手に入る。 言い方を変えれば、この Master/Slave データストアは、はるかに意味深いものをもたらす。
The technical details behind the HRD are described in this paper, Megastore: Providing Scalable, Highly Available Storage for Interactive Services. This is a wonderfully written and accessible paper, chocked full of useful and interesting details. James Hamilton wrote an excellent summary of the paper in Google Megastore: The Data Engine Behind GAE. There are also a few useful threads in Google Groups that go into some more details about how it works, costs, and performance (the original announcement, performance comparison).
HRD に込められたテクニカルな詳細は、この Megastore: Providing Scalable, Highly Available Storage for Interactive Services に記載されている。それは、解りやすく記述されたドキュメントであり、有益で興味深い内容となっている。 また、James Hamilton も、Google Megastore: The Data Engine Behind GAE という、素晴らしいサマリーを提供している。 さらに、Google Groups には、いくつかの有益なスレッドが立てられており、用法／コスト／パフォーマンスに関する詳細が提供されている（original announcement, performance comparison）。
この Megastore のハイライトは、High Scalability サイトで、ど～ぞ。
ーーーーー
ついに、ここまで来ましたか、、、という思いで訳しました。 素晴らしい、前進だと思います。 それにしても、SimpleDB も大したものですね。ーーー 
ーーーーー
＜関連＞
Google は 1000万台のサーバーを目指す ?
Google 的 クラウド連携の ABC ?
Stonebraker と CAP Theorem と Databases
DB エラー と Eventual Consistency と CAP Theorem
