Facebook Retools Messaging Infrastructure
November 15th, 2010 : Rich Miller
http://www.datacenterknowledge.com/archives/2010/11/15/facebook-retools-messaging-infrastructure/
Tech web sites are abuzz today with Facebook’s announcement of a new messaging system designed to seamlessly incorporate email, messages, chat and SMS. It turns out that the new messaging product required a new back-end as well. That provided the Facebook Engineering team with an opportunity to redesign its messaging infrastructure from the ground up.
今日の Tech 系 Web サイトは、電子メール／メッセージ／チャット／SMS をシームレスに統合する、新しくデザインされた Facebook のメッセージ･システムの発表で沸き返っている。 ころから分かることは、この新しいメッセージ･プロダクトが、新しいバックエンドをも必要としていることだ。そのための、メッセージ･インフラストラクチャのデザインを、ゼロから再構成する機会を、Facebook エンジニアリング･チームは得たことになる。
“When we started investigating a replacement for the existing Messages infrastructure, we wanted to take an objective approach to storage for these two usage patterns,” writes Kannan Muthukkaruppan. “In 2008 we open-sourced Cassandra, an eventual-consistency key-value store that was already in production serving traffic for Inbox Search. Our Operations and Databases teams have extensive knowledge in managing and running MySQL, so switching off of either technology was a serious concern. We either had to move away from our investment in Cassandra or train our Operations teams to support a new, large system.
『 既存の Messages インフラストラクチャを置き換えるための調査を開始したとき、ストレージ用法に関する ２つのパターンに対して、客観的なアプローチをとることを望んだ 』と、Kannan Muthukkaruppan は述べている。 『 私たちは 2008年に Cassandra オープンソース化したが、Inbox Search のためのトラフィックを提供する eventual-consistency key-value は、すでに完成していたことになる。 私たちの Operations と Databases のチームは、MySQL の管理と実行について幅広い知識を持っているが、それらのテクノロジーをスイッチ OFF することは、きわめて重大な関心事であった。 そして私たちは、新規の大規模システムをサポートするために、Cassandra への投資から距離をおくか、Operation チームにトレーニングを施す必要があった。
The process started with an analysis of existing usage patters, according to the Facebook Engineering blog. The legacy Messages infrastructure supported over 350 million users sending over 15 billion person-to-person messages per month, while the Facebook chat service has 300 million users sending more than 120 billion messages per month. Messaging has been growing at a far faster rate than the Facebook user base.
Facebook Engineering blog によると、そのプロセスは、既存の用法パターンを解析するところから開始された。 そのレガシーな Messages インフラストラクチャは、150億以上の person-to-person メッセージを送受信する、3億5000万人以上のユーザーを、１ヶ月あたりにサポートしている。 その一方で、Facebook チャットサービスでは、3億人のユーザーが 1200億以上のメッセージを、１ヶ月に送信している。 こうしたメッセージは、Facebook ユーザー･ベースと比較して、はるかに速いスピードで成長してきた。
“We spent a few weeks setting up a test framework to evaluate clusters of MySQL, Apache Cassandra, Apache HBase, and a couple of other systems,” he continues. “We ultimately chose HBase.”
『 私たちは、MySQL および、 Apache Cassandra、Apache HBase などによるクラスタを評価するために、数週間をかけてテスト･フレームワークを構築した。 そして、最終的に HBase を選択した 』と、彼は発言している。
Read Kannan’s post, The Underlying Technology of Messages, for more details about the new infrastructure and how it is being deployed.
Kannan のポストである、The Underlying Technology of Messages を読んで欲しい。そこには、この新しいインフラストラクチャと、ディプロイのための方式が詳述されている。
ーーーーー
今回の Social Inbox を構築するために、MySQL と Cassandra と HBase を並べて手際よく最適解を見つけ出すという、この Facebook の能力って、ただ ひたすら スゴイ と思ってしまいますね。 Facebook 探検隊： どのようなソフトウェアでスケールを達成しているのか は、必読かも？ ーーー A.C.
ーーーーー
＜関連＞
Facebook の HBase は、毎月 1350億 メッセージを処理する！
Facebook の Social Inbox は、単なる Email ではない！
Google vs. Facebook のメール対決で盛り上がる全米
これが Facabook の Mail Server、Project Titan なのか？
Facebook は Google キラーを発表するのか？
いずれにせよ、Facebook は Gmail データをインポートし、Google は落胆する
私たちはオープンだと Facebook は言い、Google の措置に反撃するが
