わずか四半期の間に、サーバー数が倍増した Facebook の事情

Facebook Server Count: 60,000 or More
June 28th, 2010 : Rich Miller
http://www.datacenterknowledge.com/archives/2010/06/28/facebook-server-count-60000-or-more/

It’s said that a picture is worth a thousand words. Sometimes a PowerPoint slide can tell the story of thousands of servers.

百聞は一見にしかずである。 ときおり、一枚の PowerPoint スライドが、きわめて重要なサーバー･ストーリーを語ることがある。

That was the case with a presentation from Facebook’s Tom Cook at last week’s  Velocity 2010 conference, which depicted the growth of the company’s server footprint. Designed to illustrate Facebook’s insatiable need for more servers to support its 400 million users, the chart didn’t include any numbers, seeking not to reveal the actual server count.

これは、先週に開催された Velocity 2010 カンファレンスで、Facebook の Tom Cook がプレゼンテーションで用いたものであり、同社のサーバー･フットプリントの成長を描いている。 このグラフは、4億人のユーザーをサポートする Facebook の、貪欲なニーズを例証するようデザインされてはいるが、実際のサーバー数を明示するような情報は含んでいない。

Dates Provide A Clue

But the chart included dates, which allows us to do some math to fill in the blanks. In a presentation in November 2009, Facebook vice president of technology Jeff Rothschild disclosed that the company had more than 30,000 servers. Cook’s chart shows a brief plateau in Facebook’s server growth at about that time, followed by a sharp upward spike in the growth line through the first quarter of 2010 that effectively doubles the total number of servers.

けれども、このグラフには日付が含まれており、それにより、空白を埋めるための計算が可能になる。 2009年11月に行われたプレゼンテーションでは、Facebook の Vice President of Technology である Jeff Rothschild が、30,000 台以上のサーバーを保有していることを明らかにしている。 今回の Cook のグラフからは、そのときの短い安定期を読み取ることができる。 そして、その後に、つまり、2010年の第1四半期に急激な成長の跡があり、サーバーの合計数が2倍に伸びている。

That suggests that Facebook now has 60,000 or more servers. The sharp acceleration in Facebook’s server growth in late 2009 also helps explain the company’s move to lease large chunks of data center space in northern Virginia and Silicon Valley in March. The growth spurt occurred after Facebook announced plans to construct its own data center in Prineville, Oregon.

Facebook は、いまでは 60,000 台以上のサーバーを保有していると示唆される。 2009年の広範囲おける、Facebook サーバー数の急激な成長は、この 3月に Virginia 北部と Silicon Valley にいおいて、膨大なデータセンター･スペースをリースしたとする、同社の動きを説明するにも役立つ。 そして、急激な成長は、Facebook が Prineville, Oregon に、自社のデータセンタを建設するという、計画を発表した後に起こっている。

That places Facebook among the largest Internet companies that have publicly discussed their server growth, but still well behind Intel, which has more than 100,000 servers. See Who Has The Most Web Servers for more data on the largest Internet infrastructures.

それにより、Facebook は最大級のインターネット企業の仲間入りを果たすことになり、そのサーバー成長率も公に議論されているが、100,000 台以上とも言われるサーバー群は、Intel の影に隠れてしまっている。 大規模インターネット･インフラストラクチャの詳細については、Who Has The Most Web Servers を参照してほしい。

Why so many servers? Facebook now has more than 400 million active users, including more than 200 million who use the service every day. Here are some other data points from Cook’s presentation and a talk last Thursday at Structure 2010 by Facebook’s Jonathan Heiliger.

何故に、それほどまでのサーバーが必要なのだろうか？ 現時点において、Facebook は 4億人以上のアクティブ･ユーザーを持っており、その中には、彼らのサービスを毎日使う、2億人以上の超アクティブ･ユーザーが含まれる。 以下に示すのは、Cook のプレゼンテーションとは別に、Facebook の Jonathan Heiliger が、先週の木曜日に Structure 2010において説明したものである。

Users spend more than 16 billion minutes on Facebook each day
Every week users share more than 6 billion pieces of content, including status updates, photos and notes.
Each month more than 3 billion photos are uploaded to Facebook.
Users view more than 1 million photos every second
Facebook’s servers perform more than 50 million operations per second, primarily between the caching tier and web servers
More than 1 million web sites have implemented features of Facebook Connect

ユーザーが Facebook で費やす合計時間は、160億時間／日となる。
ユーザーが共有するコンテンツは 60億／週であり、そこにはステータス／写真／ノートなどが含まれる。
30 億枚の写真が、毎月のようにアップロードされる。
写真の参照は、100万枚／秒である。
Facebook のサーバーは、5000万件／秒のオペレーションを処理しており、その大半がキャッシュ層とWebサーバーの間で行われる。
100万以上の Web サイトが、Facebook Connect を実装している。

Here’s a look at some of our past coverage of the growth of Facebook’s infrastructure:

Facebook におけるインフラストラクチャの成長については、Data Center Knowledge の、これまでのポストを参照してほしい:

Facebook Amassing Data Center Space: The company has moved to lock down much of the available data center space in two major markets, leasing large chunks of space in Santa Clara, Calif. and Ashburn, Va.
Facebook Building Its Own Data Center in Oregon: Facebook’s first company-built data center will be in Prineville, Oregon, and will be among the most energy efficient in the industry.
Should Servers Come With Batteries? Will the data center of the future have no central UPS units, and be filled with servers with on-board batteries? The data center team at Facebook believes it should
Facebook: Managing Epic Growth in Real-Time: CTO Jonathan Heiliger presents an overview of Facebook’s back-end operations at the Velocity 2009 conference in June.
A Look Inside Facebook’s Data Center: A recruitment video provides a glimpse inside the server-packed racks and aisles of a Facebook data center.
Facebook Pushes Limits on Memcached: Caching is key to massive web scalabilty. Here’s how Facebook is extending a popular caching technology.

Facebook VP of Technical Operations Jonathan Heiliger discusses the infrastructure for the social network at Structure 2010 (Photo by Colleen Miller).

 

ーーーーー

＜関連＞
Facebook の HDFS クラスターは 21 PB ！！！
Facebook のスケール感覚に驚愕！ _1
Facebook のスケール感覚に驚愕！ _2
Facebook で Office ドキュメントを共有する Docs.com を触ってみた
Microsoft TownHall : Windows Azure と Facebook の連携が始まった！
Facebook は RFID タグで、アメリカ版 お財布ケータイを狙うのか？
ーーーーー
10億人のユーザーを目指す、Twitter の 6つの戦略とは？ _1
10億人のユーザーを目指す、Twitter の 6つの戦略とは？ _2
10億人のユーザーを目指す、Twitter の 6つの戦略とは？ _3
10億人のユーザーを目指す、Twitter の 6つの戦略とは？ _4

Infragistics : ユーザーのためのデータ･ビジュアライゼーション Part_2 – 円グラフとピザ効果

Blog series: User-Centered Data Visualization. Part 2 – The Pizza Effect
http://blogs.infragistics.com/error.htm?aspxerrorpath=/blogs/ux/archive/2010/01/05/blog-series-user-centered-data-visualization-part-2-the-pizza-effect.aspx

The underlying data set is pretty simple. It consists of just 8 numbers which are used for four target/actual comparisons: how many swine flu vaccinations 4 organizations have requested and how many they actually received. And still, the way the data was visualized is problematic.

この、基礎となるデータセットは、かなり単純なものである。 それは、4つのターゲットと、現実的な比較のために使われる、8種類の数値だけで構成されている。つまり、4つの組織において、ブタ･インフルエンザ･ワクチンンの接種を求めた人数と、実際に接種できた人数を表現している。 そして、データのがビジュアライズには、依然として問題が残されている。

Estimating the area of a circle is hard. The area of a circle grows quadratically with the radius. You double a circle’s radius and the area gets four times as large. You may know this from ordering pizza: the diffe

サークルの面積を推測することは困難である。 サークルの面積は、その半径に比例して拡大する。 たとえば、サークルの半径を 2倍にするなら、その面積は 4倍の広さとなる。 ピザを注文するときに、この事実に気づくことになる。 つまり、14インチのピザ（medium）と 16インチのピザ（large）の違いについて、数字だけを並べてみても実感がない。 結局のところ、それは 2インチの違いに過ぎない。 しかし、16インチのピザ（large）を食べることは、14インチのピザ（medium）のときと比べて、まったく別次元の挑戦となる。これが、『半径を 2倍にするなら面積は 4倍』の効果である。

Columbia University requested twice as many vaccines than Goldman Sachs. This is very hard to see in the circle sizes: with both red circles being the same size (showing that they both received the same number of vaccines), Columbia’s large dotted circle does not look twice as large as Goldman’s – but it is. That’s the pizza effect. Were the actual numbers not shown below the circles, the visualization would be not very expressive. Because estimating the area of circles is so difficult, it’s also tough to compare the size of the red circles against the dotted circles for all of the organizations.

Columbia University は Goldman Sachs と比べて、2倍の量のワクチンを求めた。 それを、サークルのサイズで見きわめることは、きわめて困難である。 双方の赤いサークルは同じサイズ（双方が同じ数のワクチンを受け取ったことを示す）であるが、Columbia の点線によりサークルが、Goldman のそれと比べて、2倍の大きさに見えることはない。   実際には 2倍の大きさなのに、そう見えないことがピザ効果の結果である。 もし、サークルの下に実際の数量が示されていなければ、このビジュアライゼーションの効果は半減する。 それほどに、サークルの面積を推測することは難しい。 そのため、点線によるサークルを基準にして、赤いサークルのサイズを判断することも難しくなる。

Here’s one suggestion to visualize the data in an easier to interpret manner:

ここでは、データをビジュアライズするため方式を示唆するが、それは、データの説明を容易にするためのものとなる。

Because it’s much easier to estimate the length of a bar than the area of a circle, this graph makes it easy to see that Columbia ordered twice as many vaccines than Goldman – even without data labels next to the bars. It’s still a challenge to estimate the number of received vaccines for Goldman and Columbia. A logarithmic scale could resolve this problem, but people have hard times understanding log scales (see the first blog of this series).

サークルの面積を見積るより、バーの長さを見積もる方が、ずっと容易である。 そのため、Columbia が Goldman に対して、2倍の量のワクチンを発注したことが、このグラフから容易に読み取れる。 数値による説明がなくても、それが判るだろう。 しかし、Goldman と Columbia が受け取ったワクチンの数を見積もることが、まだ解決されていない課題として残される。 対数のスケールを用いれば、この問題を解決することが可能だが、一般的に受け入れられるものではない。 (see the first blog of this series )

People often say that bar charts or column charts are too standard and therefore boring ("not sexy"). These chart types are standard because they are superior to other ways of visualizing data. There are still ways (within limits) to make them attractive, but from a user-centered design perspective I believe that usability has the top priority.

バー･グラフやカラム･チャートは、あまりにも標準的であり面白くないという（not sexy）、数多くの声がある。 しかし、これらのチャート･タイプがスタンダードとして用いられるのは、データのビジュアライズにおいて、他の方法より優れているからという理由がある。これらのグラフを、さらに（適度に）魅力的にする方法はあるが、ユーザーを中心としたデザインの見地からは、有用性が最優先にされすべきだと信じる。

Here’s another interesting fact that neither the original visualization nor the bar chart reveal. It doesn’t seem like it was the intention of Time to focus on this, but since the ratios between requested and received vaccines are shown, it’s straight forward to calculate the actual value which then makes it very easy to see which of the four organizations got better off than the others. Here’s what the result looks like:

オリジナルのサークルでも、追加されたバーでも明らかにされていない、もう1つの面白い事実がある。 ワクチンに対する要求と受け取りの比率を表示できるのだが、そこに焦点を合わせることが、Time 誌の意図になかったように思われる。この比率を、4つの組織において比較することは、実際の数値を計算することで、シンプルかつ容易に行える。 つまり、以下のような結果が導き出せる：

Again I didn’t put data labels next to the bars. Not necessary. It’s obvious that the cancer center and Goldman Sachs have approximately the same ratio between requested and received vaccines – roughly 5% and that’s a third of what Citigroup got and twice as much as Columbia. It’s interesting that, unlike pie charts, bar charts require you to think about how to scale the x-axis. I put it to 100% max to show the distance between the optimum relative return (100%) and the best achieved relative return (17%). So the message is that none of the four organizations got a good portion of what they had asked for. If I had put the max on the x-axis to 20% it would’ve shown more clearly the differences between the organizations. So the message had been: Citigroup got a much higher relative return than the others. Which scaling is better? There is no right or wrong answer. It depends on the underlying question at hand and what you want to express. Doesn’t this demonstrate how manipulative data visualization can be? You betcha.

繰り返すが、バーの横にデータ･ラベルは配置していない。 なぜなら、必要とは思えないからである。 ワクチンに関する要求と結果において Cancer Center と Goldman Sachs が、ほぼ同じ比率となっている。 この、約 5% という値が、Citigroup の 1/3 に近く、Columbia の2倍に近いという事実が明らかになる。 サークル･グラフでは不可能であるが、バー･グラフにおける x軸のスケールを考えると面白い。 ここでは、最大値を 100％ にして、最良の結果である 17％ との対比を示している。 つまり、4つの組織のいずれもが、最良の結果を得られなかったというメッセージが発信される。 もし、x 軸のスケールを 20％ にしたなら、今度は組織間の相違が明らかになる。 そして、Citigroup が、他と比較して高いリターンを得ていることも、メッセージとして発信される。 どちらのスケールのが適切なのだろうか？ そこには、正解もなければ不正解もない。 それは、取り組んでいる基本的な問題と、明らかにするものに依存する。 つまり、データ･ビジュアライゼーションを、どれだけ巧みに操れるのかということが、証明されているのはないだろうか？ そこに賭けるべきだ。

ーーーーー

 

ーーーーー

＜関連＞
Infragistics : ユーザーのためのデータ･ビジュアライゼーション Part_1
カラー と ユーザー･エクスペリエンス _1
カラー と ユーザー･エクスペリエンス _2

5月の Web アクセス TOP-50 ：1位 Google、2位 Yahoo!、3位 Microsoft、、、

comScore Media Metrix Ranks Top 50 U.S. Web Properties for May 2010
http://www.comscore.com/content/download/5457/100205/file/comScore%20Media%20Metrix%20Ranks%20Top%2050%20US%20Web%20Properties%20for%20May%202010.pdf

母の日があったり、NBA の盛り上りがあったりという、2010年 5月の Web アクセスデータに関するレポートが提供されています。 その中から、Table 3 の Top 50 Properties という表をご紹介します。 1位 Google、2位 Yahoo!、3位 Microsoft に続いて、4位には Facebook が付けています。 ずっと下がって、12位から Amazon、New York Times、eBay、Apple という、おなじみのサイトが並んでいます。我らが WordPress は 27位で、Agile_Cat の分も、下二桁くらいには影響するのかと思うと、ちょっと誇らしげな気分になります

↑ クリックで拡大します ↑

でも、こうして見ていると、Twitter がいないことに気づきましたが、どうなっているのでしょう？ その答えは、ココ 6: Ubiquity – ユビキタスを実現する  にあるようです。

もし、その目的が、この世界に張り巡らされる動脈になることなら、すべてにおいてユビキタスにならなければならない。 その目標へ向けて、Twitter は他者とは異なる戦略を追求している。 それは、自身のフロントページへ向けてトラフィックを集約する、大半の Web サイトとは別の発想である。 Twitter を利用するための選択肢を、ユーザーに提供することで、ほとんど正反対の方向へ向かっている。 その結果として、トラフィックの約 75% が、サードパーティのサービスと Twitter API を介したものとなる。 驚くべきことに、Twitter.com Web サイトでのトラフィックは 25% にしか過ぎない。

それにしても、comScore の TOP-50 に入っていないのは不思議ですよね。 こんな調査は、Twitter にとっては意味が無いのだと、協力していない可能性もありますね。。。

ーーーーー

＜関連＞
ワールドカップとインターネット･アクセス: キックオフ偏
ワールドカップとインターネット･アクセス
GIGAOM のクラウド調査：1位 AWS、2位 Rackspace、、、
アメリカのスマートフォン･シェアは、iPhone 4 で変化するのか？
アメリカの 新聞／TV 幹部への意識調査：先行きの見えないジャーナリズム
App Store を凌駕する、Touch Screen Web サイトの成長
ISACA のクラウド･セキュリティ 調査結果
ISACA のクラウド･セキュリティ 調査結果

Facebook の HDFS クラスターは 21 PB ！！！

Facebook has the world’s largest Hadoop cluster!
http://hadoopblog.blogspot.com/2010/05/facebook-has-worlds-largest-hadoop.html

なにげなく Facebook を見ていたら、こんなポストが ･･･ これまでは秘密だったみたいですね。 スゴイ！ ーーー A.C.

ーーーーー

It is not a secret anymore!

The Datawarehouse Hadoop cluster at Facebook has become the largest known Hadoop storage cluster in the world. Here are some of the details about this single HDFS cluster:

• 21 PB of storage in a single HDFS cluster
• 2000 machines
• 12 TB per machine (a few machines have 24 TB each)
• 1200 machines with 8 cores each + 800 machines with 16 cores each
• 32 GB of RAM per machine
• 15 map-reduce tasks per machine

That’s a total of more than 21 PB of configured storage capacity! This is larger than the previously known Yahoo!’s cluster of 14 PB. Here are the cluster statistics from the HDFS cluster at Facebook:

ーーーーー

立てこんでまして、英語のままでスミマセン。

ーーーーー

＜関連＞
HDFS のスケーラビリティを考察する _1
Hadoop DFS _ Introduction

アメリカ政府が Microsoft と Google の採用を検討

Federal Agencies Shift Into Cloud Adoption
Posted by John Foley on June 14, 2010 11:37 AM
http://www.informationweek.com/blog/main/archives/2010/06/federal_agencie.html

Technology leaders with the Department of Energy, the Defense Information Systems Agency, and GSA will outline their next steps in cloud computing on June 15 at InformationWeek’s Government IT Leadership Forum in Washington, D.C. With new implementations of infrastructure as a service and software as a service, including hosted apps from Google and Microsoft, the feds appear to be shifting aggressively into full-scale adoption of the cloud services model.

Department of Energy（DoE）および、Defense Information Systems Agency（DISA）、GSA などのテクノロジー・リーダーは、6月15日に Washington, D.C で開催される InformationWeek Government IT Leadership Forum において、クラウド・コンピューティングに関する次のステップを概説する。Google と Microsoft がホストするアプリケーションを含めて、サービスとしてのインフラストラクチャおよび SaaS（software as a service）を新たに実装することで、連邦政府はクラウド・サービス･モデルの全面的な採用へ向けて、積極的に取り組んでいると思われる。

As we’ve been documenting for the past year, Uncle Sam has been investigating the potential benefits of cloud computing and agencies have been planning their first steps into the cloud. As we approach mid 2010, the mood is shifting from discussion and pilot projects into actual deployment.

私たちが昨年に紹介したように、アメリカ政府（Uncle Sam）はクラウド･コンピューティングの潜在的なメリットを調査しており、また、各種の政府機関はクラウドへの第一歩を記すべく計画してきた。 そして、2010年の半ばに私たちがアプローチしたとき、こうした方向性は、ディスカッションやパイロット･プロジェクトというより、具体的なディプロイメントへと移行していた。

A recent InformationWeek Government survey of IT managers in federal government found that 22% planned to implement cloud computing over the next 12 months and another 22% within two years, so it’s not surprising that evidence of the trend is quickly building up. Following are some of the new developments to be discussed at the Government IT Leadership Forum during a session titled "Cloud Computing Implementers’ Guide," which is meant to help government IT pros move past the planning phase.

連邦政府の IT マネージャーに対する、最新の InformationWeek Government 調査では、今後の 12カ月間において 22%のクラウド･コンピューティング実装が計画され、また、2年以内に更に 22％の実装が計画されていることが分かった。しかし、こうした方向性が迅速に具体化され、証明されていることに驚きはない。 下記は、Government IT Leadership Forum の "Cloud Computing Implementers’ Guide" というセッションで議論される、つまり、政府機関の IT プロが計画フェーズを速やかに通り抜けるための、いくつかの新しい計画である。

Katie Lewin, director of the General Services Administration’s cloud computing program, will provide an update on GSA’s pending launch of infrastructure as a service (Iaas) on the Apps.gov cloud services portal. The deadline for GSA’s revised RFQ for IaaS services is June 15. Once GSA approves cloud service providers for participation, agencies will be able to access virtualized servers and storage on demand at Apps.gov. Lewin will also discuss GSA’s plans to issue an RFP as a first step in providing hosted e-mail services to government agencies.

General Services Administration のクラウド･コンピューティング･プログラムにおいて、ディレクターを務める Katie Lewin は、まもなく GSA が着手する Apps.gov クラウド･サービス･ポータル上での IaaS について、その情報をアップデートするだろう。 この IaaS サービスに対して、GSA が修正した RFQ（Request for Question） の期限は 6月 15日である。 GSA がクラウド･サービス･プロバイダーの参加を認可した後に、Apps.gov において仮想化されたサーバーとストレージに対して、それぞれの政府機関はオンデマンドでアクセスできるようになる。 さらに Lewin は、行政機関にホストされた電子メール・サービスを提供するための、最初のステップとしての RFP （Request for Proposal）を、GSA が発行する計画についても議論するだろう。

Henry Sienkiewicz, CIO of DISA, will provide an overview of DISA’s expanding portfolio of cloud services. DISA provides cloud services to the Department of Defense via its Rapid Access Computing Environment and its Forge.mil site for software development. The agency is adding new capabilities to its Global Content Delivery Service (GCDS), which it describes as its first cloud service, and offering Microsoft’s SharePoint and Office apps (Word, Excel, PowerPoint, OneNote) as hosted services.

DISA の CIO である Henry Sienkiewicz は、DISA が拡張していくクラウド･サービスのポートフォリオについて、その概要を提供するだろう。 DISA はソフトウェア開発において、Rapid Access Computing Environment と Forge.mil サイトを介して、Department of Defense にクラウド･サービスを提供する。 政府機関における最初のクラウド･サービスと表現される Global Content Delivery Service（GCDS）に新しい機能が加えられ、また、ホスティング･サービスとして、Microsoft の SharePoint と Office（Word／Excel／PowerPoint／OneNote）が提供される。

Lawrence Berkeley National Lab is midway through the deployment of Google Apps to 5,000 lab employees, the first unit within the Department of Energy to adopt Google’s hosted apps in a big way. Rosio Alvarez, CIO of Lawrence Berkeley, will explain the rationale behind the move and give an update on how it’s going. So far, there have been a "few bumps" but otherwise the rollout has been relatively smooth, she tells me. Lawrence Berkeley and Argonne National Lab are also building private clouds for high-performance computing using $32 million in Recovery Act funds.

Lawrence Berkeley National Lab では、5,000人の従業員に対して Google Apps をディプロイメントしている。Google にホストされたアプリケーションを、それは、Department of Energy 内で採用する、最初のユニットとなる。 Lawrence Berkeley の CIO である Rosio Alvarez は、この移行ににおける合理性を説明し、また、その進捗について情報を更新するだろう。 これまでのところ、若干の問題は生じても、その他は比較的に円滑に進んでいると、彼女は語っている。 また、Lawrence Berkeley と Argonne National Lab は、Recovery Act の資金から 3200万ドルを費やすことで、ハイパフォーマンスなプライベート･クラウドも構築している。

These are just some of the latest developments in the U.S. government’s accelerating use of commercial cloud services and deployment of private clouds, both for internal use and as a base from which to offer cloud services to other departments and agencies. InformationWeek will provide continued coverage this week from the Government IT Leadership Forum and through our ongoing editorial series on private clouds in government.

これまでに説明してきたことは、商用クラウド･サービスとプライベート･クラウドのディプロイメントを加速する、アメリカ政府における最新の開発事例に過ぎない。どちらも、内部で使用されるものであり、また、他の機関や部門にクラウド･サービスを提供するための基盤になる。 InformationWeek では、Government IT Leadership Forum の週に特集を提供し、また、政府のプライベート･クラウドを紹介するシリーズを介して、このテーマについて継続的に報道していく。

ーーーーー

以下の、Recovery.gov に続いて、ガンガン 行っちゃうようですね！ ーーー A.C.

ーーーーー

＜関連＞
米政府の Recovry.gov が Amazon EC2 へ移行する！
とても重要な NIST のクラウド定義：対訳
総務省 自治体 クラウド ポータル サイトって、これで良いの？
台湾政府のしたたかなクラウド戦略
総務省と経済産業省は共振している: @ytaniwaki 氏のまとめ
経産省の Twitter に掲載された、とても真摯なメッセージ
総務省 スマート･クラウドに対するパブコメと議論 on Twitter （まとめ）