Agile Cat — in the cloud

November 30, 2010

Amazon AWS 上の Data as a Service を、粛々と進めてきた NASDAQ の戦略

Filed under: Amazon — Agile Cat @ 7:16 am
Tags: ,

NASDAQ Continues the Data as a Service Trend
Phil Leggetter, November 8th, 2010
http://blog.programmableweb.com/2010/11/08/nasdaq-continues-the-data-as-a-service-trend/

image

Over the past few months at PW we’ve noticed steady increase in the number of mentions of Data as a Service (DaaS) and this trend looks to continue. Our first post on the subject was by a guest author Pete Soderling who introduced us to the concept and discussed pricing models. Then we continued the theme by posting about a partnership between a stock data site and an open data platform, working together to deliver a stock historical data API. The latest big move in this area sees NASDAQ creating a Data-On-Demand service accessible through a Web API.

Amazon私たち Programable Web は、 Data as a Service(DaaS)について執筆する機会が、この数ヶ月において着実に増加し、また、その傾向が継続していくことに気付いていた。このテーマに関する最初のポストは、その概念と価格決定モデルを紹介してくれた、ゲスト執筆者である Pete Soderling によるものだった。 続いて私たちは、株式ヒストリー・データの配信 API を利用する、株式データ・サイトとオープン・データプ・ラットフォームの協調関係についてポストすることで、このテーマを追い続けてきた。 そして、Web API を介してアクセス可能な Data-On-Demand サービスを、この領域における大きなムーブメントとして、NASDAQ が開発しているのを確認するにいたった。

image

This is a progressive move for NASDAQ who have previously made the data available in a much less accessible and flexible format, as SearchCloudComputing writes:

SearchCloudComputing に記載されているように、これまではデータへのアクセスとフォーマットに柔軟性を欠いていたNASDAQ にとって、この方式はきわめて大きな進歩となる:

The NASDAQ Data-On-Demand service will allow users to connect programmatically to NASDAQ’s massive data store instead of having to either look at it online or download giant chunks of raw data and sort it themselves.

この NASDAQ Data-On-Demand と呼ばれるサービスにより、NASDAQ の巨大なデータ・ストアに対する、プログラムを介した接続が実現される。 したがって、オンラインやダウンロードという手法を用いて、膨大な生データを自ら分類する必要性はなくなる。

It’s really interesting to see a large finance sector organization trust the cloud. Many banks and other financial institutions seem to be holding off from a move to the cloud. The general concensus about the reason for this is that they have a concern about cloud service security. This move by NASDAQ could potentially pave the way for other similar organizations to start considering the cloud as a viable, and secure, option. However, in this case it might have been cost saving that has been a real motivating factor.

このように巨大な金融分野が、クラウドを信頼するようになったのは、きわめて興味深いことである。 そして、数多くの銀行や、その他の金融機関は、クラウドへの移行において、依然として手控えているように思える。 そのような判断をもたらす一般的な理由として、それらの企業が、クラウド・サービスのセキュリティについて不安視していることが挙げられる。 しかし、今回の NASDAQ の動きにより、それらの類似する企業が、クラウドの価値と安全性について考え始める、キッカケがもたらされたとも考えられる。 しかし、そのようなケースにおいて、本当の意味でのモチベーションをもたらすのは、コスト削減にあったかもしれない。

Also from the SearchCloudComputing story:

以下も、SearchCloudComputing からの引用である:

Since NASDAQ has so much historical data, the costs to store and use the data on Amazon Web Services (AWS) can add up to hundreds or possibly thousands of dollars per month; spare change from an enterprise perspective on operating costs.

NASDAQ は膨大なヒストリー・データを保有しているが、Amazon Web Services(AWS)を利用すれば、それらのデータを保存/利用するコストは、1カ月当たり数百ドルから数千ドルに収まる。つまり、エンタープライズの運営コストとしては、取るに足らない金額になる。

How long will it be until we start to see more financial institutions moving services to the cloud? Will the DaaS trend continue as more organizations realize the value of their data and build, or use third party services, to expose that data? And will we see a convergence with a massive trend of the past few years, the real-time web, as companies start to expose real-time data services?

さらに多くの金融機関が、そのサービスをクラウドに移行するまで、どれぐらいの期間が必要なのだろうか? さらに言えば、そのデータの価値を理解し、サードパーティによる構築と利用のために、データをエクスポーズするという DaaS のトレンドに、どれだけの組織が乗ってくるのだろうか?  そして、それらの企業がリアルタイム・データサービスをエクスポーズし始めるとき、これまでの何年かにおける大きなトレンドであるリアルタイム Web への収束を、私たちは確認することになるのだろうか?

ーーーーー

何年か前から、NASDAQ は AWS 上の Market Replay という、Flash を用いて株価をビジュアルに表示するサービスを提供していましたが、今回の報道によると、そこで用いられる株式データへの API アクセスが実現されたようですね。

かなり乱暴な言い方をすると、Twitter などと同じ戦略であり、たとえば HootSuite のような 有償の Web クライアント・サービスが出てくるでしょう。 ただし、本命は社内システムとして API を利用する企業であり、そこから利用料を取るのが狙いだと思われます。

それにしても、この Programmable Web というサイトは面白いですねぇ。 API News とか、API Directory とか、かなりイケてる タブが並んでいます :) ーーー A.C.

ーーーーー

<関連>
NASDAQ、Amazon S3で株式市場データをクラウドに移行
Amazon Web Services Achieves ISO 27001 Certification
Amazon AWSがISO 27001を認証
InfoQ Case Study: NASDAQ Market Replay

 

November 29, 2010

Google は Groupon の買収を、$2.5 billion で完了したのか?

Filed under: Cloud Businesses,Google — Agile Cat @ 11:26 pm
Tags: , , , , ,

Google buys Groupon for $2.5 billion?
While neither company has confirmed the story, the acquisition follows a week of buyout rumors

clip_image001

Financial trends and news by Faith Merino
November 29, 2010
Short URL:
http://vator.tv/n/142f

image

Google has just purchased Groupon for $2.5 billion, according to an unnamed insider who spoke with VatorNews.  Neither Google nor Groupon could be reached for comment to confirm the report, but Vator’s source is reliable and the report falls in line with the recent string of Groupon acquisition rumors.

VatorNews に語った匿名のインサイダーによると、Google は $2.5 billion で Groupon の買収を完了したようだ。  Google も Groupon も、この報道を確認するコメントを発していないが、Vator の情報源は信頼性が高く、また、このレポートは、最近の Groupon 買収のウワサと合致している

Talk about a possible acquisition by Google has been bubbling since November 19, when rumors first emerged that Google had made an offer of some $2 billion to $3 billion.  The rumors were first reported by Kara Swisher of All Things D, who claimed that Google and Groupon were already in acquisitions discussions.

Google による買収の可能性については、11月19日からウワサが溢れており、すでに Google は  $2 billion ~ $3 billion をオファーしているというのが、最初の話であった。  そのウワサは、Google と Groupon は合意に至っていると主張する、All Things D の Kara Swisher により、最初にレポートされた。

Groupon has been quite the hot topic these days.  Earlier this month, Groupon was rumored to be considering raising funds that would value the company at $3 billion.  That rumor was followed by reports that Yahoo was looking to woo Groupon for as much as $4 billion—the second reported attempt by Yahoo to buy the social shopping company.  Earlier this year, All Things D reported that Yahoo and Groupon were in discussions about a possible acquisition for $1.7 billion, but Groupon ultimately rebuffed the low-balled offer and backed out of the deal.

この数日の Groupon は、まさにホットなトピックであった。  今月のはじめに Groupon は、その評価額を $3 billionに引き上げようとしていると、そんなウワサを流されていた。  そのウワサは、このソーシャル・ショッピング会社を Yahoo が $4 billion で買収するという、2番目のレポートに引き継がれた。  All Things D は 今年のはじめに、Yahoo と Groupon が  $1.7 billion での買収について協議していると報じたが、最終的には Groupon 側が、意図的に安く見積もられたオファーを拒否し、その話を解消した。

Founded in 2008, Groupon’s revenues are said to be upward of $50 million a month, and an enormous round of fundraising in April raised Groupon’s valuation to $1 billion.  With 20 million subscribers and footholds in 29 countries across Europe, North America, Latin America, and Asia, Groupon has inspired hundreds of clones, some of which have, in recent months, begun outpacing Groupon (think LivingSocial).  Despite the dozens of rumors about acquisitions by Google, Yahoo, and eBay, Groupon has maintained that it wishes to stay independent.

All Things D は 今年のはじめに、Yahoo と Groupon が  $1.7 billion での買収について協議していると報じたが、最終的には Groupon 側が、意図的に安く見積もられたオファーを拒否し、その話を解消した。2008年に設立された Groupon の収入は、多めに見て $50 million / month と言われ、また、4月に開催された大規模なファンド・ラウンドは、Groupon の評価を $1 billion に引き上げている。  Europe/North America/Latin America/Asia の 29カ国に広がる、2千万人のサブスクライバーを足がかりとする Groupon は、この数ヶ月の間に 何100というクローンを生み出し、その中の何社かは Groupon よりも速く進み始めている(LivingSocial を考える)。Google/Yahoo/eBay による買収のウワサが流れたが、Groupon は独立した状態でいたいと主張していた。

While many were anticipating a buyout by eBay, many were surprised when, in October, Groupon partnered with eBay to bring local deals to eBay shoppers, using geo-targeting to find offers for the user’s specific geographic location.  Users who are members of the eBay Bucks Rewards Program who purchase a Groupon deal through eBay can earn 5% back in eBay Bucks.

多く人々が eBay による買収を予想していたが、それらの人々は、この 10月に驚かされることになった。 なぜなら、geo-targeting を用いることで、特定の地域に住むユーザーに対するオファーを探し出すパートナーシップを、Groupon が eBay と結んだからである。  eBay  Bucks Rewards Program のメンバーであるユーザーは、eBay を介して Groupon での取引を購入することで、5% のバックマージンを eBay  Bucks で得ることになる。

VatorNews will follow this story and report on any further developments.

さらなる進展があれば、VatorNews が続報を発信するだろう。

More Vator News

ーーーーー

<関連>
2010 年の クラウド企業 大型買収 一覧表
Google が Twitter 買収を画策しているという ウワサ
Google TV には、なんと Twitter チャネル もあるらしい!
Google 先生 13 歳を祝ったビジュアル年表など

数字で見る、2010 Web 2.0 Summit のポイント

Filed under: .Chronicle,Events,Research — Agile Cat @ 3:32 pm
Tags: , , , , ,

2010 Web 2.0 Summit: By the Numbers
Thursday, November 18, 2010
http://practicalquant.blogspot.com/2010/11/2010-web-20-summit-by-numbers.html

clip_image001[4]

I’ll let the pundits do the analysis and stick to factoids and statistics. Here’s a sampling of I what heard at the sessions I attended this week.

2010 Web Summit の個々のセッションにおいて、私が見聞きした分析などを、以下に記載する。

ーーーーー

Google CEO  Eric Schmidt :

  • AdMob serves 1 billion impressions daily
  • Google hires 200 people per week
  • Amount of video uploaded onto Youtube: 35 hours of video per minute
  • AdMob は、1日あたり 1 billion インプレッションを提供する
  • Google は 1週間あたり 200人を雇用している
  • Youtube へのアップロードとして、1分あたり 35時間分のビデオが送信される

Zynga CEO  Marc Pincus

  • Zynga currently has 1,300 employees
  • 320 million users have played a Zynga game
  • There are 650,000 same-sex marriages in Frontierville
  • On average there are 3 million peak concurrent users each day
  • On average 4 of your (social network) "friends" are playing a Zynga game with you
  • Zynga の従業員は 1,300人に達した
  • 320 million のユーザーが、Zynga のゲームで楽しんでいる
  • Frontierville には、650,000 人の同性結婚者が住んでいる
  • 毎日のピークタイムには、3 million のユーザーがログインしている
  • ソーシャル・ネットワーク・ユーザーの、4人に1人は Zynga のユーザーである

Chief Globablization Officer at Cisco,  Wim Elfrink

  • By 2020 there will be 1 trillion connected devices
  • 700 million people will move to urban centers over the next decade
  • A math tutor in South Korea  earns 4 million U.S. dollars per year
  • 2020年までに、1 trillion のデバイスが接続される
  • 次の10年間に、700 million の人々が urban center に移住する
  • 韓国の数学家庭教師は、年間に $4 million を稼ぐ

image

Baidu CEO,  Robin Li 

  • There are  a mere 420 million internet users in China, so there is still quite a bit of growth available. Broadband access is even lower.
  • 99% of Chinese internet users are Baidu users
  • 100 million questions have been posed and answered on Baidu’s Q&A service (Baidu Notes).
  • There are 800 million mobile phone users in China
  • There are 150 million mobile internet users in China, most use 2G phones which are slow and have expensive data plans
  • China のインターネット・ユーザーは 420 million に過ぎないが、大きな成長が見込まれる。
  • 99% の中国人インターネット・ユーザーは、Baidu のユーザーでもある
  • Baidu の Q&A には、100 million の質問と回答が蓄積されている
  • Chinaには、800 million のモバイルフォン・ユーザーがいる
  • Chinaには、150 million のモバイルフォン・インターネット・ユーザーがいるが、その大半が高額の 2G を使っている

Yahoo! CEO  Carol Bartz

  • Yahoo! serves 18 billion ads daily
  • On any given month 600 million people land on a Yahoo! domain
  • Yahoo! serves 6 million different versions of its homepage each day. Machine-learning is used to match users to an optimal home page.
  • Yahoo が提供する1日あたりの広告は 18 billion
  • 毎月のように、600 million の人々が Yahoo ドメインを取得する
  • Yahoo は毎日のように、6 million 種類のホームページを提供する。

Facebook CEO  Mark Zuckerberg

  • On any given day  50% of active Facebook members use the service
  • 200 million access Facebook with mobile devices
  • Zuckerberg’s Ratio to measure the speed and agility of the company: Ratio of active users (500+ million) to engineers (a few hundred) remains over a million users per engineer.

  • 毎日のように、Facebook ユーザーの 50% が何らかのサービスを使用する
  • 200 million のユーザーが、モバイルから Facebook にアクセスする
  • Zuckerberg の分析によると、1人のエンジニアが、1 million のユーザーに対応することになる

Automattic CEO  Toni Schneider

  • There are over 30 million web sites that run on WordPress software; 50% of such sites are hosted on wordpress.com
  • 8.5% of all internet sites run on WordPress software
  • Growth is accelerating: in recent months, over a million WordPress sites were created monthly.
  • The sites hosted on wordpress.com attract 250 million visitors each month, one of the largest audiences online.
  • The company only has 72 employees, reminiscent of  another small company, high-traffic site based in SF .
  • As of 2010, 22% of content published on wordpress.com is published/posted from a mobile device
  • Domain name registration is the fastest-selling upgrade on wordpress.com: for 2010,  they are on track to sell 60,000 domain registrations.
  • The rise of Social Media Optimization (below are some web sites and the share of their traffic that come from a given social media site):
    • GigaOM => 30% of traffic comes from T witter
    • Bandcamp => traffic from Facebook surpasses traffic Google
    • wordpress.com => Ratio of (traffic coming from social)/ ((traffic coming from search) has gone from 3% to 15%, a fivefold increase.
    • In general, Automattic is seeing that traffic from Google continues to grow, but traffic from social sites is growing faster.

  • 30 million の Web サイトが WordPress を利用し、その 50% が wordpress.com でホストされる
  • 全インターネットの 8.5% が、Wordpress を利用している
  • 最近では、毎月のように 1 million のサイトが WordPress で構築される
  • wordpress.com には、毎月 250 million のビジターがある
  • 従業員は 72 名に過ぎない another small company, high-traffic site based in SF
  • 2010 年以降としては、wordpress.com の 22% がモバイルからアクセスされている
  • 2010 には wordpress.com で、60,000 のドメインが販売された
  • Social Media Optimization が増えている (以下のような、他サイトとの連携がある):
    • GigaOM => 30% のトラフィックが、Twitter から来る
    • Bandcamp => Facebook からのトラフィックが、Google を超えた
    • wordpress.com => social からのトラフィックが、3% から 15% に伸びた
    • 全体的に見て、Google からのトラフィックは伸びているが、social からのトラフィックが急増している

Linkedin CEO  Jeff Weiner

  • Linkedin currently has 85 million members
  • It took 477 days to add their first million members, it took just nine days to add their most recent million
  • Linkedin adds 1 new member per second: half of all new members are based outside the U.S.
  • Close to 60 million unique visitors per month
  • John Battel le asked Weiner who he considered to be direct competitors and he somehow  forgotto mention two  other large professional networking sites: Xing and Viadeo .
  • Linkedin には 85 million のメンバーがいる
  • 1 milliion にいたるまでに477日を要したが、いまでは 9日ごとに 1 milliion が増える
  • 毎秒、新しいメンバーが加わるが、その半分が US 以外の国からとなる
  • 毎月、60 million 程度のユニーク・ビジターがいる
  • John Battelle に対して、ライバルはと尋ねたら、 other large professional networking sites: Xing and Viadeo

Susan Wojcicki of Google

  • 30X growth in mobile "shopping" queries
  • モバイルでの  "shopping" クエリーは、30倍に成長した

ーーーーー

すごい ラフ訳ですが、ポイントは数字なので、ご容赦くださいね! それにしても、面白いサイトがあるものです ーーー A.C.

ーーーーー

<関連
Facebook は オープン性を重視する – Zuckerberg が Web 2.0 Summit で語る
Web 2.0 Summit 2010 での Internet Trends のマトメ

November 28, 2010

Facebook における 1300万/秒 クエリーの秘密

Filed under: Big Data,Facebook — Agile Cat @ 7:46 am
Tags: , , ,

Facebook At 13 Million Queries Per Second Recommends: Minimize Request Variance
THURSDAY, NOVEMBER 4, 2010 AT 8:48AM
http://highscalability.com/blog/2010/11/4/facebook-at-13-million-queries-per-second-recommends-minimiz.html

highscalability

Facebook gave a MySQL Tech Talk where they talked about many things MySQL, but one of the more subtle and interesting points was their focus on controlling the variance of request response times and not just worrying about maximizing queries per second.

Facebook は MySQL Tech Talk において、同社におけるMySQL への取り組みを詳述したが、その中でも微妙で興味深いポイントは、リクエスト・レスポンス・タイムのバラつきを制御することへの注力であり、毎秒のクエリー数を最大にすることが関心事ではないことだった。

e468f100-b468-4cfe-91da-bbb1f19bbd46[4]

But first the scalability porn. Facebook’s OLTP performance numbers were as usual, quite dramatic:

しかし、最初に言っておくが、そのスケーラビリティは普通ではない。 Facebook における OLTP のパフォーマンス値は、いつものとおり、きわめてドラマチックである:

  • Query response times: 4ms reads, 5ms writes.
  • Rows read per second: 450M peak
  • Network bytes per second: 38GB peak
  • Queries per second: 13M peak
  • Rows changed per second: 3.5M peak
  • InnoDB disk ops per second: 5.2M peak
  • クエリー・レスポンス・タイムは、4ms reads, 5ms writes
  • Row の読み込みは、最速で  450M/sec
  • ネットワーク速度は、最速で 38GB/sec
  • クエリー数は、最速で 13M/sec
  • Row 変更は、最速で  3.5M/sec
  • InnoDB disk ops は、最速で  5.25M/sec

Some thoughts on creating quality, not quantity:

  • They don’t care about average response times, instead, they want to minimize variance. Every click must be responded to quickly. The quality of service for each request matters.
  • It’s OK if a query is slow as long as it is always slow.
  • They don’t try to get the highest queries per second out of each machine. What is important is that the edge cases are not the bad.
  • They figure out why the response time for the worst query is bad and then fix it.
  • The performance community is often focussed on getting the highest queries per second. It’s about making sure they have the best mix of IOPs available, cache size, and space.
  • 彼らは、平均レスポンス・タムを気にかけないが、その代わりに、時間のバラつきを最小化したいと望む。 すべてのクリックに対して、素早いレスポンスが要求される。 それぞれのリクエストに対する、サービス品質が重視される。
  • すべてのクエリーが遅い場合には、それは、それで、OK である。
  • 彼らは、それぞれのマシンから、毎秒あたり最大のクエリーを得ようとしない。 重要なことは、余裕のある状況を悪化させないことだ。
  • 彼らは、最悪のクエリー・タイムが生じる理由を理解した後に、それを修正する。
  • パフォーマンス・コミュニティは、毎秒あたり最高のクエリーを得るようにフォーカスさせられる。 それにより、利用可能な IOPs および、キャッシュのサイズとスペースに関して、ベスト・ミックスが確実に得られるようになる。

To minimize variance they must be able notice, diagnose, and then fix problems:

  • They measure how things work in operation. They can monitor at subsecond levels so they catch problems.
  • Servers have miniature fractures in their performance which they call "stalls." They’ve built tools to find these.
  • Dogpile collection. Every second it notices if something is wrong and ships it out for analysis.
  • Poor man’s profiler. Attach GDB to servers to know what’s going on, they can see when stalls happen.
  • Problems are usually counter-intuitive this can never happen type problems.

・ Extending a table locks the entire instance.
Flushing dirty pages was actually blocking.
How statistics get sampled in InnoDB.
Problems happen on medium-loaded systems too. Their systems aren’t that loaded to ensure quality of service, yet the problems still happen.

  • Analyze and understand every layer of the software stack to see how it performs at scale.
  • Monitoring system monitors different aspects of performance so they can notice a change in performance, drill down to the host, then drill down to the query that might be causing the problem, then kill the query, and then trace it back to the source file where it occurred.
  • They have a small team, so they make very specific changes to Linux and MySQL to support their use cases. Longer term changes are made by others.

  • 彼らは、運用における動作を測定する。 そこでは、0.1 秒レベルでのモニタリングが可能なため、問題を捉えることが可能になる。
  • サーバーには、彼らが「 Stall 」と呼ぶ、パフォーマンス上における小規模な障害が生じる。 彼らは、それを見つけ出すためのツールを作成した。
  • それが Dogpile コレクションである。 毎秒ごとに、何らかの問題があれば警告を出し、分析のために送信する。
  • それが、Poor man’s profiler である。起こっていることを認識するために、GDB をサーバーにアタッチする。 そして、Stall が起きたときに、それを確認する。
  • 通常、それらの問題は直感的に分かるものではなく、また、以下のような顕著な結果を引き起こすものでもない。

インスタンス全体をロックさせるほど、テーブルを拡大してしまう。
フラッシュする不要なページが、実際にはブロックされている。
InnoDB のサンプルにあるような、数値データが生じる。
中程度の負荷のシステムでも、問題が生じる。それらのシステムには、サービス品質が保証するほどの負荷がかけられていないが、それでも問題が生じる。

  • ソフトウェア・スタックの全レイヤに関して、それらがスケールされたときの挙動を分析し、理解する。
  • それにより、パフォーマンスの変化に気づき、ホストに対するドリルダウンが可能となる。 続いて、問題を起こしている可能性を持つクエリーをドリルダウンし、そのクエリーを kill し、さらに、問題を起こしたソース・ファイルに戻り、トレースを行う。
  • 彼らは小規模なチームであるため、そのユースケースをサポートするために、きわめて限定された変更を、Linux と MySQL に対して施すことができる。それよりも大規模な変更は、他のチームにより行われる。

Please watch the MySQL Tech Talk for more color and details.

より詳細な影響などについては、MySQL Tech Talk を参照して欲しい。

Related Articles

ーーーーー

運用コストの引き下げがイノベーションには欠かせないというロジックが、以前の Microsoft の資料に書かれていたと記憶しています。 もちろん、パフォーマンスや生産性の向上に結びつかない運用を指してのことでしょうが、ここで紹介したような Facebook の運用術を見ていると、まったく異なる世界が広がっていると思えてきます。

それに加えて、テクノロジーを売る会社ではないため、こうした運用のためのノウハウや、データセンターに関するナレッジを、オープンにしてしまう姿勢にも驚かされます。 いろいろな意味で、Facebook はクラウド・パイロット的な役割を担っているのだと、最近は そんなふうに感じるようになりました。 ーーー A.C.

ーーーーー

<関連>
Facebook を 1.8 倍速に、WordPress を 2.7 倍速にする、HipHop とは ?
Facebook の HDFS クラスターは 21 PB !!!
わずか四半期の間に、サーバー数が倍増した Facebook の事情
Facebook のスケール感覚に驚愕!
Facebook 探検隊: どのようなソフトウェアでスケールを達成しているのか
Facebook 映画 『 The Social Network 』 の感想ブログをご紹介します

November 27, 2010

Data Center 2010 総集編 Agile_Cat 版

Filed under: Data Center Trends — Agile Cat @ 1:12 am
Tags: , , , , , ,

この 1年で、いったい どれだけ進歩したのでしょう ・・・

image

Agile_Cat 的に、コンテナにサーバーを詰め込んで、そのまま動かしてしまうという、まったく思いもつかない方式を知ったのは、2009年の初めころだったと思います。 それは、Microsoft の Tech Days 2009 のオープニングで見た、以下のビデオです。

そして、James Hamilton 氏の論文に出会い、Google が 同じく 2009年 4月に公表した以下のビデオを見るに至ったのですが、その頃から、クラウドの威力を体感するには、いかなるソフトウェアの説明よりも、このコンテナを見るほうが分かりやすいと思うようになってきました。

First presented at the Google Efficient Data Centers Summit, hosted at Google headquarters in Mountain View, CA on April 1, 2009. For more information about the event or Google’s data center efficiency efforts, please visit: http://www.google.com/corporate/green…

そして時代は、それらの密閉型から、開放型の自然空冷や、環境配慮型の水冷へと、めまぐるしく変化してきました。 いずれにしても、これまでのように、サーバー・ルームを必要以上に冷やすことに、無駄なリソースとコストを費やす方式は終わろうとしています。

以下に並べる項目は、この1年の間に、データセンターを中心に展開されたトピックです。ものすごい勢いで、データセンターの在り方が変わろうとしている様子が分かります。 お時間のあるときにでも、ぜひ ご覧ください。また、調べものが生じたときにも、どうぞ、ご利用ください。ーーー A.C.

ーーーーー

image December 15, 2009
なぜ、Google はアジアの海底ケーブルに投資する?

何故に、Google は2番目の海底通信ケーブル・プロジェクトに投資するのか? この、Google 動向は、インターネットにおける将来に関連することであり、また、ネットワークの成長を見守るインフラストラクチャを構築することである。

image December 22, 2009
Gartner : Ray Ozzie – Interview_2
Ozzie: そこには、いくつかの理由があります。 最初の理由は、私たちがプラットフォームを提供する企業ではないということです。 私たちは、アプリケーションを提供する会社です。 そのため、私たちの顧客に対して、アプリケーションを来レクトに提供するための、膨大なインフラストラクチャが必要になります。
image January 3, 2010
1 人のアドミンは、何台のサーバーを面倒みきれるのか?
2009年 12月 30日 のSlashdot では、アドミニストレータが管理できるサーバー数とユーザー数についてディスカッションが行われていた。 提起された質問は、システム・アドミニストレータが900 台のユーザーマシン(XP)と、25台のサーバーマシン(Linux)をを管理できるかというものだ。
image January 6, 2010
米データセンターの株価が大幅に回復
散々だった
2008 年とは異なり、2009 年の米データセンターは大幅に株価を回復したようです。 以下の NASDAQ 株価を示す表には、ここでも何回かご紹介している Rackspace や、Rackable と合併した SGI なども見られます。 2008年の落ち込みへの反動もあるのでしょうが、それにしても、すごい成長率ですね!
image January 15, 2010
コンテナ・データセンターの イ・ロ・ハ by James Hamilton
この Agile_Cat でも何度か紹介してきた James Hamilton 氏ですが、彼のコンテナ・データセンター論文である “Architecture for Modular Data Centers” が ITmedia に掲載されました。 長文であるため、以下の 3つのパートに分けられていますが、彼が Microsoft に在籍していた 2007年1月に書かれたものが原本となっています。論文という、少々お固い構成となっていますが、贅肉のないキリッと引き締まった論旨が展開されています。
image January 19, 2010
プライベート・クラウドに未来はない by James Hamilton

クラウド・コンピューティングは、エンタープライズ IT の経済的側面を改善するという機会をもたらす。 より少ない労力で、それを実現できるという現実がある。エンタープライズ IT は競合のための武器であり、また、すべての産業におけるリーダーたちは、情報処理に投資していこうとすると、私は固く信じる。それぞれのマーケット・セグメントにおけるベストな企業は、情報処理のエキスパートであろうと試み、その投資を実現するために、より以上に顧客を知ろうとする。
image January 20, 2010
Apple のクラウド戦略が明らかに?
DataCenter Knowledge が 1月19日のポストとして、TechCrunch の最新ユースを紹介しています。 それは
“Secret Cloud Strategy” というタイトルで、Michael Robertson という人のポストとのことですが、Apple のシークレットなクラウド戦略を語っているようです。具体的には、Lala から買収したソフトウェア・テクノロジーを用いるもので、今後に予定されている iTune のメジャー・アップグレードにより、ミュージック・カタログの交換をユーザー間で実現するものになるとのこと。
image February 21, 2010
コンテナ・データセンターは、いくらで作れるの?
まずは、海外のコンテナ・データセンターに対する投資額を調べてみましょう。 こうした情報が得られるのは
Microsoft なので、そこから入ってみます。 大まかなところで、約500億円がひとつのデータセンターに対する投資額と言われてきましたが、2009年の 5月に、Microsoft がシカゴのデータセンターを約180億円で買収しています。
image March 4, 2010
台湾政府のしたたかなクラウド戦略
Chunghwa Telecom と、Trend Micro、Taiwan’s Industrial Technology Research Institute、Taiwan’s Institute for Information Industry は共同で NTD1 billion を出資し、クラウド・コンピューティング・センターを設立とのことです。
image March 7, 2010
続: コンテナデータセンターって、いくらで作れるの?
Twitter で頂いた情報によると、クラウドに適した規模のデータセンターを構築すると、サーバーなどのハードウェアの費用が、全体の 2% 程度になるケースもあるようです。以前のポストでは、たとえば Active Power のコンテナを使う場合だと、2000 台のサーバーを詰め込むとして、5 億円:2 億円くらいになるようですと書きました。 つまり、このケースだと 30% くらいが、サーバー費用ということになります。
image April 1, 2010
境保護団体グリーンピースから、クラウド業界へ提言
昨日のことですが、グリーンピースから 「 Make IT Green」 というタイトルのドキュメントが公開されました。 Agile_Cat のお気に入りである、
Data Center Knowledge や、Nicholas Carr の Rough Type などで取り上げられていますが、クラウドを敵視するものではなく、コントリビューションを求めるものと理解してよさそうです。
image April 8, 2010
Rackspace は iPad と Nimsoft で ・・・
今週は、Rackspace Hosting (RAX) のニュースが多い。この、マネージド・ホスティングとクラウド・コンピューティング・サービスを提供する、 San Antonio ベースのプロバーダーからの、3つのニュースをお届けする。火曜日には、Rackspace Cloud Servers のモニタリングとマネージメントのための、iPad 用の新しいアプリケーションとして、
Rackspace Cloud Pro のリリースがアナウンスされた。
image April 15, 2010
世界の 10大 データセンターは ドコ?
メガ・データ・センターは、グローバルなテクニカル・インフラストラクチャの主要素となり、デジタル経済のバックボーンを担っている。 インターネットの成長は、ネットワーク・キャパシティとデータ・ストレージに対する膨大な要求を促進させ、インターネットの成長に合わせてスケールが可能な、新しいクラスのデータセンターを造り出している。
image April 26, 2010
Microsoft は IT-PAC で コンテナのコストを半減!
Microsoft データセンターのコンテナには、何千というサーバーがパックされている。しかし、そこに取り込まれる最大の要素は、コストである。 Microsoft は個々のデータセンター・プロジェクトに、この数年の間に $500 を投資してきた後に、これからのデータセンターへの投資は、$250 以下に抑えることを計画している。
image April 28, 2010
Microsoft コンテナー IT-PAC のコストを見積る!
4月25日の日曜日だったと思いますが、LXスタイルさんのブログに、Microsoft IT-PAC のコストを見積るという、とてもセンセーショナルなポストがありました。 同社のご了解を得て、その概要を以下に転記します。 それをご覧頂く前に、この IT-PAC のコンセプトについて、ちょっと推測してみたいと思います。
image May 5, 2010
鶏舎に学べ:Yahoo の PUE 1.1 の最新データセンター
たしかに、巨大な鶏舎のように見える。 しかし、Yahoo だからこそ、この新しい Yahoo コンピューティング鶏舎から生産されるものは、ニワトリ以外の何ものかになる。Yahoo Computing Coop(YCC)は、同社が 5年の歳月を費やして最高していきた、データセンター・デザインの結晶である。
image May 20, 2010
Data Center Knowledge について ご意見を・・・
Chattanooga での仕事が終わり、NY へと移動しました。テネシーの田舎町で、初めてのサザン・アメリカを満喫しましたが、ここからモードを切り替えてということで、18日の朝の飛行機でアトランタへ。。。 ところが、いきなりズッコケ。 予約していた Atlanta → Newark 便がキャンセルされているのです。
image May 21, 2010
Microsoft IT PAC:初の導入は第二期 Quincy?
税率が大幅に控除されたことで、Microsoft は Quincy, Washington における2番目のデータセンターの建設に着手したが、そこでは革新的なデータセンター・デザインが初めて用いられることになる。
「私たちは、たしかに Quincy の設備を拡張している」と Monica Drake は発言している。
image June 4, 2010
Microsoft ー IT PAC は台湾で製造されるのか?

このプロジェクトが 2009年11月に発表されたとき、アジアにおける Microsoft のクラウド展開に先鞭をつけるものになると予測された。 そしていま、Microsoft が Software and Services Excellence Center と呼ぶ、当初の構想を超える新しいセンターとして浮上してきた。
image June 30, 2010
四半期の間に、サーバー数が倍増した Facebook の事情
百聞は一見にしかずである。 ときおり、一枚の PowerPoint スライドが、きわめて重要なサーバー・ストーリーを語ることがある。
これは、先週に開催された Velocity 2010 カンファレンスで、Facebook の Tom Cook がプレゼンテーションで用いたものであり、同社のサーバー・フットプリントの成長を描いている。
image July 8, 2010
AT&T が iPhone 用にデータセンターを増強
AT&T は今日(7/7)、Ohio に新設するデータセンターに 1億 2000万ドルを投資と発表した。 それにより、同社の 3G ネットワーク容量を拡大し、4G / LTE サービスへの準備を整え、iPhone などのワイヤレス・デバイスのサポートを強化していく。alt
この Akron の新しい設備では、Ohio および East Coast の AT&T ワイヤレス・カスタマのために、テキスト・メッセージとデータサービスを提供する。
image July 23, 2010
NTT と KDDI の アジア戦略をアメリカ目線で確認する
Asia のデータセンターが、これまでのビジネス・ハブである Tokyo と Hong Kong 以外でも成長している。 そして、最近の展開としては、今週に NTT Communications と KDDI / Telehouse から発表された、新規の構築計画が挙げられる。
image July 29, 2010
クラウド/スマートグリッドに関する資料をアップ
昨晩ですが、NTT Comminication の
林雅之さんが主催される、スマートグリッド/クラウド勉強会にスピーカーとして参加しました。 そのときの PDF 資料をダウンロードできるようにしましたので、ご利用いただければと思います。
image August 3, 2010
ARM – データセンターから Intel を たたき出せ!
U.K.  Cambridge に本拠地を持つ ARM Holdings は、大多数のスマートフォンや、タブレット、そして 70% の HDD と、50% のプリンターにパワーを供給している半導体企業だ。 そのマーケティング部門における副社長の Ian Drew が、Silicon Valley を駆け足でツアーしている。
image August 5, 2010
ARM サーバー – 日本語記事のマトメ・ページです
先日の 『 ARM – データセンターから Intel を たたき出せ! 』をポストして以来、ARM の CUP をサーバーやデータセンターで利用するという発想が気になり、ちょっと調べてみました。 これまでは、CPU の電力消費量を気にかけるとは無かったのですが、@sugipooh さんから、自然空冷がビジネスに与える衝撃などについて、いろいろと実践論を教えていただくにつれて、これは大変な事なのだと思うようになりました。
image August 17, 2010
ARM チップ – Smooth-Stone が巨額の資金を調達
ARM のサーバー・チップですが、ついに具体的なビジネス・レベルで動きが出てきました。 昨夜に、
@eunosuke さんから教えていただいたのですが、今朝になって 『 Smooth-Stone  』でググると、たくさんのニュースが拾えるようになってきました。
image August 19, 2010
Smooth-Stone はホンモノか? – ARM チップ
携帯電話を山のように集めても、それを使って、データセンターにパワーを供給できるものではない。 しかし、スタートアップである Smooth-Stone は、その携帯電話のために最適化されたチップを使って、低電力消費のサーバーを構築し、データセンターを運用するためのエネルギーコストを削減しようと目論んでいる。
2089bf73-92f1-44da-904d-9c7d00512ef5
image August 22, 2010
SUN Blackbox です。 なんとか、元気にしています!
Oracle による Sun Microsystems の買収に関連して、先行きの見えない事柄が多々あるが、Sun “Blackbox” データセンター・コンテナ・ビジネスの運命も、そのひとつであった。 2006 年の秋のこと、Sun はサーバー群をパックした搬送用コンテナを紹介する、最初のサーバー・ベンダーになった。 そして、コンテナ・コンセプトのエバンジェリズムにおいてに、大量の時間と努力を投資した。
image September 8, 2010
Virginia 州が Microsoft 大規模 DC を誘致
Microsoft は、最大で $499 million までを、Virginia 州南部の農業地域に投資していく計画に基づいて、新規の大規模データセンター・プロジェクトのための場所を、Virginia 州 Boydton 近郊に定めた。同社は、Microsoft Online Service のための East Coast ハブの役割を担う、最先端データセンターの構築を計画している。
image September 17, 2010
Google が大規模データセンターをフィンランドに構築
Google は元気なウサギのように、前進を続けてやまない。 そして、その急激な成長により、これまで以上のデータセンター空間を同社は必要とする。 そのためには、充分なな電力供給と、良好なネットワーク接続、そして広大な空間がが必要であり、アメリカの北西部オランダなどが候補になる。 そして Google が、フィンランド Hamina の古い製紙工場を購入し、北欧と東欧にサービスを供給するというニュースが入ってきた。
image September 22, 2010
世界最強 – Yahoo の鶏小舎データセンターは PUE 1.08
Yahoo! は今日(9/20)、New York の Lockport に構築した、新しいデータセンターのオープンを記念して、リボン・カッティングのセレモニーを開催している。 このデータセンターでは、電力消費を劇的に低減する、
Yahoo Computing Coop(YCC)というデザインが用いられている。 そして、このイベントには、Yahoo CEO である Carol Bartz と、New York 州知事である David Paterson が出席している。
image October 1, 2010
Facebook の データセンター戦略に関する FAQ
5億人以上のアクティブ・ユーザーを抱える Facebook は、インターネット上の最もビジーなサイトであり、その急速な成長を支えるための大規模インフラストラクチャを構築しているところだ。このソーシャル・ネットワーク・サイトは、Harvard University の Mark Zuckerberg の寮で、一台のサーバーを用いて、2004年 2月に開始された。 そしていま、同社の Web サーバーとストレージのユニットは、国内における複数のデータセンターに展開されている。
image October 8, 2010
Data Center World 2010 at Las Vegas 写真集
AFCOM が主催する The Data Center World – Fall カンファレンスが、 Las Vegas  の Mirage ホテルで開催されたとのことです。各分野で活躍するデータセンターのベンダーおよびユーザー・サイドのマネジャーたちが情報を交換し、また、この分野に提供される新しいテクノロジーについて確認していたとのことです。
image October 12, 2010
鶏舎型 DC をヨーロッパに展開する Yahoo!
Yahoo Computing Coop がヨーロッパにやって来る。 10月7日の 木曜日に、Yahoo! は Avenches, Switzerland に、次の大規模データセンターを構築すると確認した。 大まかに言うと、このアプローチは鶏舎で用いられる排熱管理の原則をモデルにしており、同社では
Lockport, New York のデータセンターで、最初の実装が行われている。
image October 15, 2010
Facebook データセンターにおける冷却の見直しと その効果
Facebook が取り組んでいる、さらにエネルギー効率に優れたデータセンターの構築は、Oregon の新しい設備に限定されるわけではない。 最近のことだが、このソーシャル ・ネットワーク企業は、Santa Clara, Calif の既存データセンターの 1つで、そこに設置されている冷却システムを再編成した。そして、年間で $229,000 の電気使用料を節約し、Silicon Valley Power から $294,761 を払戻させた。
image October 18, 2010
Google が最新データセンターへの取り組みを再開!
Google のデータセンター支出は、2010年の第3四半期において、同社が $757 million の資産計上をしたように、これまでで 2番目に最も高いレベルへと上昇した。 Google における最大の支出は、アメリカ国内に 3つの主要データセンターを構築していた、2008年の第1四半期である。
image November 5, 2010
Agile_Cat 空撮隊 – Quincy データセンター 銀座を捕捉!
いつもお世話になっている Data Center Knowledge で、Rich Miller さんが
11月2日にポストした以下の写真を見て、これなら航空写真との照合が取れそうだと思い立った Agile_Cat は、Quincy 上空に敢然と飛行隊を派遣したのであります!
image November 26, 2010
46MW を湖水で冷却する、アルプスの巨大データセンター
PUE 1.10 の達成は、いかなる状況の下であってもチャレンジであるが、このレベルへのアプローチは、空調サイドの経済性を用いた設備に大きく影響される。 本質的に、外気を用いて、それらの設備を冷却することになる。 空調サイドの経済性は、たとえば微粒子フィルターの必然性や、高温多湿の気候では効率的では無くなるといった、いくつかの複雑さをもたらす。それにもかかわらず、それらのチャレンジにおいてさえ、空調サイドの経済性は最良のテクニックであり、ベストではないとしても、そのためのテクニックの1つである。

ーーーーー

<追加情報>
【 重要 】 PUE に加えて、CUE と WUE を Green Grid が発表
Google がフィンランドに構築する海水冷却 DC の、改造風景を Youtube で
Energy Star Data Center 第1号の NetApp データセンターとは?
NetApp データセンターのエアー・フローとは?
Agile_Cat 空撮隊 – 世界の Google データセンターを空から散歩
SGI の ICE Cube が Air Cube になった – Youtube で ど~ぞ!

ーーーーー

SnapShots 2010 by Agile_Cat

ーーーーー

そしても日本でも、さくらインターネットや 日本 RAD といった、先進のテクノロジーを追求する企業が、これらの外国勢にも負けない、素晴らしいデータセンターを造り始めています。 2011年は、そんな日本勢についても、ポストしていければと願っています。 ーーー A.C.

Next Page »

Theme: Rubric. Blog at WordPress.com.

Follow

Get every new post delivered to your Inbox.

Join 3,239 other followers