Intel 48 Cores + Hadoop

Futuristic Intel Chip Could Reshape How Computers are Built, Consumers Interact with Their PCs and Personal Devices

SANTA CLARA, Calif., Dec. 2, 2009 – Intel Labs 研究者がデモンストレーションしたのは、48-core Intel プロセッサであり、つまりは、シングルチッ･プクラウド･コンピュータであり、ラップトップや、PC、サーバーなどのデザインで用いられている、現在における数多くのアプローチを再考させるものである。 この未来のチップは、現時点で広く利用されているIntel Core ブランド･プロセッサと比較して、10～20倍の能力のある処理エンジンを内部に持つ。

この研究における長期的なゴールは、まったく新しいソフトウェア･アプリケーションと、コンピュータのマンマシン･インターフェイスをドライブするための、途方も無いスケールを加えていくことである。Intel が来年に計画しているのは、新しいソフトウェア･アプリケーションとプログラミング･モデルの具体的な研究のために、100 個以上の実験用チップを、産業界と教育機関で共有していくことだ。

Intel は、2010 年の前半には、Core ブランド･チップの新しいラインに主要な特徴を統合し、後半には 6-core と 8-core のプロセッサに、それらを導入する。その一方で、このプロトタイプを用いて、1つのシリコン･チップ上に、プログラムを処理できる48個の Intel プロセッシング･コアを取り込んでいく。さらに、 情報共有のための、高速のオン･チップ･ネットワークと、新たに開発されたパワー･マネジメント技術も取り込む。それにより、わずか25ワットから、最大性能時における 125ワットまでの間で、48コアにおける全てをエネルギーを、きわめて効率的に操作できる（今日の Intel プロセッサの消費電力は、標準的な家庭用電球2個分ほど）。

＜中略＞

マルチ･コア･プロセッサのプログラミングは、シングル･シリコン･チップ上の Many Core へ向かう、コンピュータとソフトウェアのメーカーにとって、重要なチャレンジとして認識されている。 このプロトタイプが実現するのは、一般的で効果的な並列プログラミングのアプローチであり、クラウド･データセンターのソフトウェアで用いられ、このチップに適用されるものとなる。

こんな画面も、Youtube の動画でチラッ見られますよ～～～

Intel／HP／Yahoo の Open Cirrus コラボレーションからの研究者により、この 48 IA コアチップへのクラウド･アプリケーションのポートが始まっている。それは、Java framework を用いる Hadoop であり、Rattner が証明しているような、データ･セントリッな分散アプリケーションをサポートしている。 

詳しくは、↓ こちらで ど～ぞ。
http://www.intel.com/pressroom/archive/releases/2009/20091202comp_sm.htm

この実験に Hadoop が使われることが、とても自然に思えます。 Many Core の活躍の場を、Hadoop が作っていくと言っても過言ではないでしょう。 －－－ A.C. 

<関連>
Nehalem と仮想化

MapReduce in DryadLINQ

Data-Intensive Computing on Windows HPC Server
with the DryadLINQ Framework
John Vert in 408A on Tuesday at 3:00 PM

Come get an overview of the DryadLINQ features and runtime environment, and walk through some real-world examples of DryadLINQ programs based on the familiar declarative syntax of LINQ combined with the fault-tolerant distributed graph scheduling of the Dryad runtime. Hear how DryadLINQ provides a programming model and runtime for data-parallel programs running across large clusters and partitioned data sets.

http://microsoftpdc.com/Sessions/SVR17

Thanks to  http://twitter.com/nsharp_2ch

— A.C.

Windows Azure MapReduce Demo

リアルタイム系に MapReduce の概念を？

以前に紹介した、Simon Guest さんの TechED コンテンツですが、自身のブログで Web キャスト化してくれました。 以下の各図は単なるスクリーンキャプチャですが、彼の Screencasts from “Patterns for Cloud Computing” Presentation における ③ は、MapReduce running on Windows Azure という内容であり、その概念がが丁寧に解説されています。

① Windows Azure MapReduce Demo という、きわめて刺激的なタイトル。

② 以前にも紹介した、複数の Worker RoleにMap するというイメージ。

③ こちらは Map のイメージ。

④ つまり、Queue からWorker Role に分散され（Map）、それぞれの出力結果が Table 上に集約（Reduce）される。

⑤ そして DEMO です。。。

⑥ VS 上に作成された、Azure MapReduce Project。

⑦ディプロイされた 5つのノード（Worker Role）。

⑧ 何をしていたかというと、１~500 の間の素数の抽出。 それを、5パラの Worker Role で ・・・

MapReduce という概念は同じでも、Hadoop などとは異なる、リアルタイム系での分散処理なのでしょうね。

1~100 の間の素数、そして、101~200 の間の素数という感じで、処理を分散しているのだと思いますが、たとえば、ログの解析などで、あまり溜め込まずに、逐次的に処理をしていくようなシナリオに当てはまりそうですね。

Hadoop が Microsoft の教材に？

MapReduce を認め、Hadoop を学習し、Dryad へ向かっていこう！

Simon Guest さんが TechED（US）で使った Windows Azure スライドに、とても興味深い一節がありましたので、簡単に紹介しますね。これまで、Microsoft が避けてきた MapReduce に対する評価に、正面から取り組んでいるのです。 私としては、一番 聴きたかったところです。

すべての基軸が Microsoft の中だけに存在していた時代から、新しい枠組みへと IT の世界は移行しているのですが、それは認め難いという雰囲気でしたよね、これまで。。。 その一方で、外側にできてしまった MapReduce という強固な基軸を無視し続けることが、もう出来なくなっているのも事実だと思います。

最も合理的な方法は、それを物差しとして利用し、その目盛りのどの位置に、どのようなカウンターをぶつけていくのか、その点を Microsoft が説明していくことです。 それが、情報の発信側と受け手の間で、ショートカットとして機能し、しかも、齟齬を減らしていくのです。

その Simon さんの一節の出だしが、以下のスライドです。”MapReduce により IT がさらに広がった” とでも解釈すべきなのでしょうかね？ （↓）



以下は、Map に関する説明です。 こんなに解りやすい Map の資料は今までに無かったと思います。（↓）



同様に、Reduce の説明です。 これまた、解りやすい！（↓）



ここで、Google、Yahoo、Facebook が、どれだけのデータを MapReduce を用いて日々分析しているのか、その値を示しています。（↓）



MapReduce のオープンソース版である、Hadoop に関する説明です。（↓）



“Jim は、今日のオンプレミスで、この問題を、どのように解決するのだろうか？” （Jim というのは、このスライドに出てくるアバターのことです）（↓）



これが、Azure におけるソリューションです！ （推測ですが、Queue と Table があるので、おそらく、そうなんでしょう）（↓）



1：MapReduce は実績があるが、最初は把握しにくい。

2：既存のフレームワークを勉強しよう。とりわけ Apatch Hadoop がお勧め。

3：将来へ向けて、Dryad（DryadLINQ）と調べよう。（↓）



どんなデモが行われたのでしょうね？ ”Inspired by MapReduce” とハッキリ書いてあるところに好感が持てます。（↓）



・・・というわけで、Agile Cat でもお勧めの、、、”Hadoop” と “Cosmos + Scope” も ど～ぞ！

それと、Data Consistency の違いによる住み分けにも、興味がありますね。。。

教育機関への Dryad 提供が始まる

Microsoft releases Dryad concurrent-programming code to academics

All About Microsoft より
Posted by Mary Jo Foley @ 7:09 am
July 17th, 2009

From <http://blogs.zdnet.com/microsoft/?p=3385>

Google の MapReduce と Apache の Hadoop への対抗策として位置づけられる、コンカレント･プログラミング･テクノロジーである Microsoft の Drayed について、Bill Gates が言及してから 2年の歳月がたつ。今週になって、その Dryad のコードが教育機関と研究機関に提供されたことにより、我々の視界に再び捉えられるようになってきた。

この Dryad のゴールは、Windows コンピュータによるクラスタ上で実行するアプリケーションの、プログラマたちによる開発を実現することにある。つまり Dryad は、マルチ･マシンをまたがる複雑なアプリケーションの、低レベルにおける自動的なパラレル化を実現する、システムのためにデザインされている。コンピューティング集約型にフォーカスする、既存のハイ･パフォーマンス･グリッド･プラットフォームとは異なり、Drayed が取り組むのは、最も重要なスケールとフォールト･トレランスが欠かせない、データ集約型のコンピューティング･シナリオである。

Microsoft と厳選されたパートナーたちは、バイオ情報科学から天体観測にいたるすべての領域において、多様なサンプルと現実世界のアプリケーションを、Dryad コードを用いて開発している。

Microsoft が今週に開催した Faculty Summit 2009 conference において、Dryad と DryadLINQ プログラミング･ツールが利用可能になったと、同社から正式なアナウンスがあった（Dryad バイナリー･コードとDryadLINQ ソース･コード）。C# プログラミング言語に対するQuery (LINQ) 拡張の統合を DryadLinq が実現することで、.NET プログラマによる Drayed アプリケーションの記述が可能となる。教育機関と研究機関は、 Microsoft の MS-Research ライセンス契約にサインした後に、Dryad と DryadLINQ のダウンロード が可能となる。

このカンファレンスで Microsoft の重役たちは、同社のクラウド･コンピューティング･プラットフォームである Azure 上で、この Drayed が動作しないことを認めているが、それを実現するためのプランも進められているという。ただし、Azure への移行に関するタイム･テーブルは、Factulty Summit の参加者たちにオフィシャルには提供されていない。

(Microsoft Researcher である Mihai Budiu が 2009年 3月に 行った、Dryad プレゼンテーションから取得した 以下のスライドを参照してほしい。Azure の部分はハッキリとは表示されていないが、Dryad と Azure の組み合わせについて、Microsoft が思い描いている様子がわかる）

 

現時点において、Dryad は他と比べて研究段階にある。すべての Microsoft Research プロジェクトと同様に、その商用化については、実現性も時期も約束されていない。

しかし 2008年には、Microsoft Research Silicon Valley の Senior Researcher である Michael Isard が、短期間のニーズのためではあるが、プロダクト･グループを支援するために、Dryad の一部が構築されたと言及している。つまり、そこではデータ分析が必要だったわけであり、分散環境における別の局面において、研究の推進を実現するためのプラットフォームであると期待されているのである。

Microsoft は、多様な並列／分散コンピューティング･プロジェクトを走らせている。同社が開発している、次世代オペレーティング･システムの Midori も、そのひとつである。

こちらも ど～ぞ ： カテゴリ Cosmos + Scope
http://agilecat.wordpress.com/category/cosmos-scope/

 

DryadLINQ とベンチマーク

DryadLINQ: A System for General-Purpose Distributed Data-Parallel Computing Using a High-Level Language

From <http://research.microsoft.com/apps/pubs/default.aspx?id=70861>

1st December 2008

DryadLINQ とは、大規模な分散コンピューティングのための、新しいプログラミング･モデルを実現するシステムであり、また、拡張言語のセットである。 そして、以下の2つの方式による、 SQL および、MapReduce、Dryad などの実行環境を汎用化するものである。それは、ストロング･タイプの .NET オブジェクトのリッチなデータモデルを採用することにより、また、これまでの高レベル･プログラム言語のデータセットにおける汎用的な規範と、宣言型のオペレーションをサポートすることで達成される。

DryadLINQ のプログラムは、副作用から開放された方式でデータセットを任意に変換する、LINQ 表現で構成されたシーケンシャルなプログラムである。そして、標準的な .NET 開発ツールを用いた記述とデバッグに対応している。 DryadLINQ システムは自動的に、また、透過的に、プログラムのパラレル･データ 部分を分散形式に変換し、それを Dryad 実行プラットフォームに受け渡す。 Dryad は、何千というコンピュータで構成された実運用環境のクラスタ上で、この何年かにわたり継続して運用されており、この計画における効率的で信頼できる実行を保証する。

素晴らしいパフォーマンスが達成されたことを伝えたい。つまり、10^12バイトのデータについて、汎用的なソートを行った結果を示したい。240 台の コンピュータと、960 台のディスク･クラスタを用いて、このソートを 319秒で完了した。それだけではなく、いろいろとコンピュータの台数を変えて試してみたが、ほとんどリニアなスケールが得られることを、このアプリケーションは証明したのである。

Cosmos in msdn Forum

msdn Forum で Cosmos について

msdn Forum で Cosmos などについて尋ねてみましたら、Brad Calder さんが親切に答えてくれました。”Azure XStore I believe is a reference to Windows Azure Storage” なんだけど、詳細は話せないので、PDC のセッションを見てほしいとのことでした。

ーーーーーーーーーーーーーーーーーー

Agile Cat Thursday, May 28, 2009 11:10 PM

Hi Brad, thank you for your reply.
According to Mihai Budiu’s another PPT,,,

• DryadLINQ and Scope compete with Sawzall, Pig and Hive.
• Dryad competes with Map-Reduce and Hadoop.
• Cosmos, Azure and SQL Server compete with GFS, BigTable, HDFS and S3.

Please find his those figures at below:
http://agilecat.wordpress.com/2009/05/28/dryadlinq/
In addition, there is Azure XStore.
If you have additional info, please let me know.

Thanks,
-A.C.

ーーーーーーーーーーーーーーーーーー

Brad CalderMSFT, ModeratorThursday, May 28, 2009 11:56 PM

Azure XStore I believe is a reference to Windows Azure Storage.
At this time, the only public information we have disclosed about Windows Azure Storage is in the following talk (there are a few slides at the end of the talk about durability, availability and scalability):

http://channel9.msdn.com/pdc2008/ES04/

The storage components have been built to provide a durable, scalable and highly available storage system for the Cloud, to provide Azure Tables, Blobs and Queues.    We make heavy use of replication, partitioning and load balancing of your data to make sure we can meet the traffic needs for your application’s data.
Thanks,
Brad

ーーーーーーーーーーーーーーーーーー

Brad さんが伝えたいのは、このあたりかなぁと、、、

ーーーーーーーーーーーーーーーーーー

よかったら、msdn の What’s Cosmos スレで、ご質問を ど～ぞ。

DryadLINQ と Cosmos

Cluster Computing with DryadLINQ

Mihai Budiu
Microsoft Research, Silicon Valley
Cloud computing: Infrastructure, Services, and Applications
UC Berkeley, March 4 2009

nsharp さんに教えてもらった DryadLINQ を探してみたら、こんなのが見つかりました。Microsoft Research と UC Berkeley でやっているみたいです。この図を見る限り、MapReduce と Hadoop に対抗するものと捉えてよい感じですね。

以下の図では、Dryad の下に4つのファイル・システムを統合しているように受け取れます。

Ray Ozzie が、JP モルガンを相手に Cosmos に言及したということは、GO なのでしょうね。。。。

Cosmos + Scope で Google を追撃か？

Cosmos と Scope と MapReduce と Hadoop と ・・・

Ray Ozzie から Cosmos というアナウンスがあったので、あっ そうそう、と思い出したのが Scope です。長いホワイトペーパーなので放っておいたのですが、あらためて眺めてみると、ここに Cosmos が居ましたよ。 以下の図に示されるように、Scope が言語処理系で、Cosmos がファイル･システムという組み合わせのようです。（Axum は、パラレルといっても計算機能のためのもののようです ・・・）

ーーーーーーーーーーー

SCOPE: Easy and Efficient Parallel Processing of Massive Data Sets

・・・より抜粋

ーーーーーーーーーーー

1. INTRODUCTION

Microsoft は、膨大なデータ･セットのストアと分析のために、Cosmos という分散コンピューティング･プラットフォームを開発している。 Cosmos は、無数の普及品サーバーにより構成される、大規模なクラスタ上で動作するようにデザインされている。 つまり、それらのサーバーにアタッチされたディスクにより、このストレージは分散されることになる。 Cosmos プラットフォームのためにデザインされた高次元での目的としては、以下の項目が含まれる：

1. Availability: Cosmos は、多数のハードウェア障害に対する弾力性を持つことで、システム全体の停止を回避する。ファイル･データは、このシステム全体に何度もリプリケートされる。また、2f+1 台のサーバーによる選択されたグループにより、ファイル･メタデータを管理することで、f 回の障害に対する弾性を持つ。

2. Reliability: Cosmos のアーキテクチャは、システムの機能低下を回避するために、一時的なハードウェア･コーディネーションを見分ける。 システム･コンポーネントは、End-to-End でチェックされ、障害を持つコンポーネントを停止するためのメカニズムを適用する。

3. Scalability: Cosmos のデザインは、ペタ･バイト･オーダーのデータをストアし処理する能力を持つ、スケーラブルなシステムを実現するために、ゼロからデザインされている。 そのクラスタにサーバーを追加していくことで、ストレージとコンピューティングのためのキャパシティを、容易に拡張できる。

4. Performance: Cosmos を実行するクラスタは、無数の独立したサーバーで構成される。 データは、3台のサーバー上に分散される。ひとつの Job は、小さなコンピューティングの単位に分解され、大量の CPU とストレージ･デバイスに分散される。 それにより、Job を完了する時間が、大幅に短縮される。

5. Cost: Cosmos は、同様の問題に対する従来からのアプローチと比較して、安価な構築と、運用と、拡張を実現する。 そこでは、費用対効果を高めるために、低価格サーバーを大量に利用するが、この考え方は、少数の高額サーバーによるアプローチの対極にある。

Figure １ が示すのは、Cosmos platform の主要な構成要素である。

1. Cosmos storage: きわめて膨大なシーケンシャル･ファイルを、信頼性と効率に基づいてストアするためにデザインされた、分散ストレージ･サブ･システムである。

2. Cosmos execution environment: 分散アプリケーションを、ディプロイし、実行し、デバッグするための環境である。

3. SCOPE: データ分析ジョブを記述するための、ハイレベルなスクリプティング言語。 この、SCOPE のコンパイラとオプティマイザにより、スクリプトを効果的なパラレル実行プランへと展開。

このドキュメントでは、SCOPE とコンポーネントにフォーカスしており、Cosmos については簡潔に説明するだけである。 Cosmos platform の詳細は、このドキュメントの対象外となる。

ーーーーーーーーーーー

ここまで読んでみて、Hadoop に かなり近いぞ、、、というか、同一のベクトルとコンセプトに思えます。 そして、6章ですが ・・・

ーーーーーーーーーーー

6. RELATED WORK

SCOPE is heavily influenced by SQL but its target applications and execution environment differ from traditional database systems. SCOPE is designed for easy and efficient processing of massive amounts of data stored in distributed, sequential files. It provides efficient query processing functionality. The execution strategies used owe much to earlier work on query processing in parallel and distributed database systems [9].

All companies operating internet-scale services have the need to store and process massive data sets and have developed their own system for this purpose. Google popularized the mapreduce programming model. Based on what has been published in the open literature, their software stack consists of Google File System [8] and Bigtable [3] for storage, the MapReduce execution environment [5] with users writing MapReduce applications in C++ or Sawzall [11].

A MapReduce application written in C++ takes many more lines of code than the corresponding application expressed in SCOPE. For example, the word count application used as an example in [5] requires about 70 lines of C++ code but only five or six lines of SCOPE code.

Yahoo! also has a software stack designed for distributed processing of massive data sets. Users write applications in a language called Pig Latin [10] [1]. A Pig Latin program is compiled by the Pig system into a sequence of MapReduce operators that are executed using Hadoop [1], an open-source implementation of MapReduce. Pig Latin is a dataflow language using a nested data model. Each step in a program specifies a single, high-level data transformation. A complex computation is expressed as a series of such transformations. Yahoo! also has a more powerful Map-Reduce-Merge execution environment but it is apparently not the execution environment used by the Pig system. Both Google and Yahoo! use a MapReduce execution environment. MapReduce is very rigid, forcing every computation to be structured as a sequence of mapreduce pairs. The Cosmos execution environment is significantly more flexible, handling execution of any computation that can be expressed as an acyclic dataflow graph.

ーーーーーーーーーーー

おおっ！ これは Map-Reduce と Hadoop への挑戦状ではないですか！ Azure の説明に欠けていた、とてつもなく大きな領域が、これで埋まることになるのだと思います。

ーーーーーーーーーーー

Azure Cosmos : 新しいファイル･システム？

Microsoft’s Ozzie defends Microsoft’s aggressive online spending

All about Microsoft より

From <http://blogs.zdnet.com/microsoft/?p=2826#more-2826>

May 20th, 2009

Posted by Mary Jo Foley @ 6:54 am

ーーーーーーーーーーーー

昨日の Ray Ozzie のコメントですが、Online Systems Business への継続的な投資を約束するだけではなく、“Cosmos” という Azure のためのファイル･システムについても言及したそうです。高度なスケールを持つファイル･システムとのことですが、Relational SDS で適度なスケーラビリティを持つクラウドをサポートしつつ、たとえば MapReduce に対抗するようなスケールを Cosmos で提供していくのでしょうか？ Azure に対して、いまいち迫力が感じられなかったのでは、この無限のスケールを持つファイル･システムの領域が語られていなかったからです。 もちろん、Relational SDS によるエンタープライズのサポートは現実的なものであり、そこからクラウドへの移行が始まるのでしょうが、それだけじゃぁ夢がないですよね。 Cosmos に期待です！ ーーー A.C. （ Hadoop 特集も読んでくださいね ）

ーーーーーーーーーーーー

Microsoft の Chief Software Architect である Ray Ozzie は、オンライン･システム市場における膨大で継続的な投資を維持し、Online Systems Business の赤字が、Microsoft 全体の戦略におよぼす影響は少ないと断言した。

2009年5月20日に開催された Morgan Technology, Media and Telecom Conference のスピーチで、Ozzie はお気に入りのトピックスについて触れた。 つまり、Software + Services と、3つのスクリーン（モバイル、PC、TV）とクラウド、そして、クラウド･コンピューティングにおける Microsoft の能力を示すための、コンシューマ･サービス市場の重要性である。

しかし、まだ利益を生み出さないオンライン･サービス部門に、それほどの資金を、なぜ注ぎ続けるのかという質問は、Ozzie にとって想定外だったようだ。(Microsoft の OSB は、2009年 1～3 月期に 5億 7500万ドルの赤字を計上している。直近のレイオフは、OSB に対しても適用されたが、相対的に少人数であったとされている) それに対して、Windows Live Hotmail から 発表直前の Live Search へといたる、Microsoft Live Services に関する研究と投資は、その営業実績が示すものより、大きなメリットをもたらすと Ozzie は答えている。

Microsoft は Exchange Online や SharePoint Online といった、エンタープライズ･サービスにフォーカスすることで、数多くのクラウド要件について学んできた。 そして、コンシューマ･サービスへの投資はで、スケールというものについて、重要なことについて学んだと、Ozzie は続ける。

Microsoft のコンシューマ･サービスを、ディプロイし実行するために構築されたインフラストラクチャは、全社的なサービスをサポートするために拡張されているとも言う。 Ozzie が指摘した “Cosmos” という高度なスケールを持つファイル･システムは、最終的に Microsoft におけるコンシューマと、エンタープライズ、デベロッパーの全てをサポートする、Microsoft の Azure クラウド･プラットフォームの一部になる。そして、現時点での Microsoft のクラウド･サービスにおける、すべてのマネージメント･システムは、コンシューマ･オンライン･サービスを管理することから得られたものだとも指摘している。

クラウド市場における Microsoft の主要なアドバンテージは、「プラットフォームとアプリケーションの両方を構築するという現実」であると、Ozzie 信じている。（この世界は、どのように変化してきたのだろうか。 Microsoft は 1990年代に、独占禁止法における訴訟を食い止めるために、オペレーティング･システムとアプリケーションのビジネスの間に、厳格なカベを作っていると主張してきた）

この秋に、最終的なかたちでの提供が予定される、Azure のオペレーティング･システムとサービス･プラットフォームに対して、Microsoft は相当な投資を行ってきた。

Azure は Microsoft の 20～30 年後を託したものであり、他のクラウド･ベンダーとは異なるクラウド･オペレーティング･システムの構築に取り組んでいるとも発言している。

Microsoft のオンライン･サービスと言えば、Kumo とコードネームの、新しい検索サービスのリリースについて言及し始めている。 来週の “All Things D” カンファレンスでは、Kumo のオフィシャルなデモが計画されている。実際の発表が 6月初旬まで、ずれ込むこともないだろう。

検索サービス部門の担当者である Danny Sullivan は、デモのと実際のデビューにおける内容が、異なるものになるという。すべてのサインは Kumo/Bing（あるいは他のもの）を指し示している。つまり、6月 2日ごろから提供される、新しい検索サービスのことである。