Agile Cat — Azure & Hadoop — Talking Book

June 10, 2009

Azure 関連(?) コードネーム

Filed under: Miscs — Agile Cat @ 8:49 am
Tags: , , ,

Get your 16-page list of Microsoft’s morphing codenames

June 5th, 2009

http://blogs.zdnet.com/microsoft/?p=2990

All about Microsoft から 16ページの PDF をダウンロードすると、おびただしい数のコードネームが並んでいますが、その中で興味のあるものを抜き出してみました。 詳細は、(サブスクライブが必要ですが)上記の URL から ど~ぞ。

ーーーーーーーーーーーーーーー

Axum
(formerly codenamed Maestro); final name: ?
Domain-specific language for concurrent programming. Built on top of Microsoft’s CCR engine
In internal incubation now

Azurelight
Cloud-based product support service
Source code and documentation due this summer on MSDN
In development

Bing
The new and rebranded Live Search
Worldwide rollout completed June 3
The core engine and its various vertical components are got a refresh

BlueDB
Could this be one of the early codenames of the data-storage layer in the Azure OS? (Similar to Cosmos?) That’s my latest guess….
Azure OS is in beta and being used by a few existing Microsoft services. Final release slated for second half 2009

Cosmos
Storage/file system layer component of Microsoft’s Red Dog cloud (Azure) OS platform
Cosmos is part of Microsoft’s foundational Azure platform and not a standalone product/service
The Azure OS in beta now and slated to go final in the second half of 2009

Geneva
An identity metasystem including a new security token service and Active Directory Federation Services (ADFS) version 2.0
Latter half of 2009
First test release delivered late October; Beta 1 due in first

Kobe (Narumoto Special)
Web 2.0 service development kit; has met with some internal criticism for not making good use of ASP.Net
First test release out in April; update expected "shortly"

Huron
"Cloud-based data hub" based on SQL Data Services plus Sync Framework. One of the projects of SQL Services Labs
Microsoft seeking more private testers in April 2009

Kumo (Bing)
One of the new brand names considered for Live Search. (Kumo means "cloud" or "spider" in Japanese). Kumo became the final codename for "Bing" before Microsoft launched its new search engine
Worldwide rollout completed June 3, 2009
Microsoft registered the trademark and pointed some domains to Kumo in late 2008. Internal Microsoft tests of Kumo started March 2009.

M (was formerly codenamed D)
Microsoft’s Oslo modeling language
Will be folded into future version of Visual Studio (probably 2010)
Updated CTP of Oslo SDK released in January. New CTP out in May

Midori
Concurrent, distributed operating system which could be the successor to Windows
Post-2011 (if and when it comes out of incubation)

Oslo Repository
Integrated repository at the crux of Microsoft’s Oslo modeling strategy
Final will be integrated into a future Visual Studio release (maybe VS 2010)
First CTP test build out in late October; refreshed Oslo CTP out in January; update released in May

Red Dog
Windows Azure
The lowest level OS piece of Microsoft’s cloud environment. Similar to Amazon’s EC2.
Second half of 2009
In beta now

Sitka
SQL Data Services
Once viewed as Microsoft’s equivalent to Amazon’s SimpleDB. Now looking more like Microsoft-hosted SQL Server
Test builds distributed starting spring 2008. New revised test build expected in mid-March at Mix ‘09

Strata
Windows Azure
Microsoft’s Cloud operating environment. "Strata" refers to the Red Dog operating system layer, plus the Live Services layer
Latter half of 2009
First CTP tests began in fall 2008

Velocity
Distributed, in-memory caching solution
CTP version 3 released in April 2009

Windows 7
Successor to Windows Vista
General availability: October 22, 2009. Volume licensees likely to get code this summer
RTM now looking like mid- to late-July

Windows 7 Server (Windows Server 2008 R2)
Successor to Windows Server 2008
General availability: October 22, 2009. Volume licensees likely to get it this summerRTM now looking like mid- to late-July

Windows 8
Successor to Windows 7
2011 (if they stick to their every-two-year schedule)
Microsoft moving into early coding/hiring stages now

Windows 8 Server
Windows Server 2011 (?)
Successor to Windows Server 2008 R2
2011 (if they stick to their current every-two-year schedule)
Microsoft moving into early coding/hiring stages now

Zurich
.Net Services plus identity services layer of Azure
Part of Azure platform (the final release of which is due in latter half of 2009)
Milestone 5 test build out in late March 2009 of the .Net Services component

Hadoop とベンチマーク

Filed under: Hadoop — Agile Cat @ 8:49 am
Tags: , , , , ,

Hadoop Sorts a Petabyte in 16.25 Hours and a Terabyte in 62 Seconds

May 11, 2009

Apache Hadoop を用いて、 Jim Gray’s Sort を実施した。 Jim’s Gray ソートのベンチマークは、類似する各種のテストを組み合わせるというルールのことである。すべてのソート・ベンチマークは、それぞれの 100 Byte レコードにおけるソート時間を測定するものである。 このレコードにおける最初の 10 Byte はキーであり、残りは値である。また、最小のソートでは、全体を1分以内で処理しなければならない。そして、Gray Sort は、100 T Byte 以上を 1時間以内でソートしなければならない。検証されたベスト・タイムは以下のとおりである。

Hadoop Testpng

2009 Gray ソートのルールにおいては、私たちの 500 G Byte ソートが、新記録となった。 また、100 T Byte 記録は 0.578 TB/minute であり、こちらも記録を更新した。 2009 年のエントリーが締め切られた後だが、1 PByte が 1.03 TB/minute まで向上した。そのときの 62 秒/ T Byte テストは世界記録であるが、T Byte 部門では、昨年の記録を更新できなかった。

環境は以下のとおり:

  • approximately 3800 nodes (in such a large cluster, nodes are always down)
  • 2 quad core Xeons @ 2.5ghz per node
  • 4 SATA disks per node
  • 8G RAM per node (upgraded to 16GB before the petabyte sort)
  • 1 gigabit ethernet on each node
  • 40 nodes per rack
  • 8 gigabit ethernet uplinks from each rack to the core
  • Red Hat Enterprise Linux Server Release 5.1 (kernel 2.6.18)
  • Sun Java JDK (1.6.0_05-b13 and 1.6.0_13-b03) (32 and 64 bit)

詳細は、以下で ど~ぞ<http://developer.yahoo.net/blogs/hadoop/2009/05/hadoop_sorts_a_petabyte_in_162.html>

 

DryadLINQ とベンチマーク

Filed under: MS-MapReduce — Agile Cat @ 8:48 am
Tags: , , , , , , ,

DryadLINQ: A System for General-Purpose Distributed Data-Parallel Computing Using a High-Level Language

From <http://research.microsoft.com/apps/pubs/default.aspx?id=70861>

1st December 2008

DryadLINQ とは、大規模な分散コンピューティングのための、新しいプログラミング・モデルを実現するシステムであり、また、拡張言語のセットである。 そして、以下の2つの方式による、 SQL および、MapReduce、Dryad などの実行環境を汎用化するものである。それは、ストロング・タイプの .NET オブジェクトのリッチなデータモデルを採用することにより、また、これまでの高レベル・プログラム言語のデータセットにおける汎用的な規範と、宣言型のオペレーションをサポートすることで達成される。

DryadLINQ のプログラムは、副作用から開放された方式でデータセットを任意に変換する、LINQ 表現で構成されたシーケンシャルなプログラムである。そして、標準的な .NET 開発ツールを用いた記述とデバッグに対応している。 DryadLINQ システムは自動的に、また、透過的に、プログラムのパラレル・データ 部分を分散形式に変換し、それを Dryad 実行プラットフォームに受け渡す。 Dryad は、何千というコンピュータで構成された実運用環境のクラスタ上で、この何年かにわたり継続して運用されており、この計画における効率的で信頼できる実行を保証する。

素晴らしいパフォーマンスが達成されたことを伝えたい。つまり、10^12バイトのデータについて、汎用的なソートを行った結果を示したい。240 台の コンピュータと、960 台のディスク・クラスタを用いて、このソートを 319秒で完了した。それだけではなく、いろいろとコンピュータの台数を変えて試してみたが、ほとんどリニアなスケールが得られることを、このアプリケーションは証明したのである。

Blog at WordPress.com.