Hortonworks Taking Hadoop to Next Level
Tuesday, August 16, 2011
http://perspectives.mvdirona.com/2011/08/17/HortonworksTakingHadoopToNextLevel.aspx
I got a chance to chat with Eric Baldeschwieler while he was visiting Seattle a couple of weeks back and catch up on what’s happening in the Hadoop world at Yahoo and beyond. Eric recently started Hortonworks whose tag line is “architecting the future of big data.” I’ve known Eric for years when he led the Hadoop team at Yahoo! most recently as VP of Hadoop Engineering. It was Eric’s team at Yahoo that contributed much of the code in Hadoop, Pig, and ZooKeeper.
2週間ほど前に Eric Baldeschwieler が Seattle を訪れたとき、話しをするというチャンスを得た。そして、Yahoo や 他の企業における Hadoop の世界で、起こっていることに追いつくことができた。最近になって Hortonworks を立ち上げた Eric のスローガンは、「 Big Data の未来を構築する｣ である。 私は Eric に対して、Yahoo! で何年もにわたり Hadoop チームを引っぱり、Hadoop Engineering の VP として活躍してきたと認識している。Hadoop や、Pig、ZooKeeper などに多数のコードの提供したのは、他ならぬ Eric の Yahoo のチームである。
Many of that same group form the core of Hortonworks whose mission is revolutionize and commoditize the storage and processing of big data via open source. Hortonworks continues to supply Hadoop engineering to Yahoo! And Yahoo! Is a key investor in Hortonworks along with Benchmark Capital. Hortonworks intends to continue to leverage the large Yahoo! development, test, and operations team. Yahoo! has over 1,000 Hadoop users and are running Hadoop over many clusters the largest of which was 4,000 nodes back in 2010. Hortonworks will be providing level 3 support for Yahoo! Engineering.
そして Yahoo のときと同様に、数多くのグループが Hortonworks のコアを形つくっているが、彼らのミッションは、ストレージと Big Data をオープンソースを介して実現し、革命と共有をもたらすことである。 Hortonworks は Yahoo! に対して、Hadoop エンジニアリングを継続して供給している。そして Yahoo! は、Benchmark Capital と伴に、Hortonworks に大きな投資を行っている。 Hortonworks は意図的に、Yahoo! における大規模な開発／テスト／運用のチームを活性化させている。 Yahoo! には 1,000人以上の Hadoop ユーザーがおり、2010年の時点で 4,000 ノードあったという、大量のクラスタ上で Hadoop を実行している。 Hortonworks は Yahoo! Engineering に対して、Level 3 のサポートを提供していくだろう。
From Eric slides at the 2011 Hadoop summit, Hortonworks objectives:
2011 Hadoop Summit における Eric のスライドから、Hortonworks の目的を拾い出してみた：
• Make Apache Hadoop projects easier to install, manage & use
− Regular sustaining releases
− Compiled code for each project (e.g. RPMs)
− Testing at scale
• Make Apache Hadoop more robust
− Performance gains
− High availability− Administration & monitoring
• Make Apache Hadoop easier to integrate & extend
− Open APIs for extension & experimentation
Hortonworks Technology Roadmap:
Hortonworks のテクノロジー･ロードマップ：
· Phase 1: Making Hadoop Accessible (2011)
o Release the most stable Hadoop version ever
o Release directly usable code via Apache (RPMs, debs,…)
o Frequent sustaining releases off of the stable branches
· Phase 2: Next Generation Apache Hadoop (2012)
o Address key product gaps (Hbase support, HA, Management, …)
o Enable community and partner innovation via modular architecture & open APIs
o Work with community to define integrated stack
Next generation Apache Hadoop:
そして、次世代 Apache Hadoop について:
· Core
o HDFS Federation
o Next Gen MapReduce
o New Write Pipeline (HBase support)
o HA (no SPOF) and Wire compatibility
· Data – HCatalog 0.3
o Pig, Hive, MapReduce and Streaming as clients
o HDFS and HBase as storage systems
o Performance and storage improvements
· Management & Ease of use
o All components fully tested and deployable as a stack
o Stack installation and centralized config management
o REST and GUI for user tasks
Eric’s presentation from Hadoop Summit 2011 where he gave the keynote: Hortonworks: Architecting the Future of Big Data
Hadoop Summit 2011 における Eric のプレゼンテーションは、このキーノートとなる： Hortonworks: Architecting the Future of Big Data
James Hamilton
e: jrh@mvdirona.com
w: http://www.mvdirona.com
b: http://blog.mvdirona.com / http://perspectives.mvdirona.com
ーーーーー
ここまで Hadoop を育ててきたとも言える Yahoo！ ですが、様々な理由により、こうして Hortonworks が誕生したのでしょう。 がんばれ Eric、がんばれ Hadoop です。 ーーー 
ーーーーー
＜関連＞
Twitter が提供する、Hadoop ライクな OSS とは？
Facebook は 30 P Bytes の HDFS を、どのようにして Oregon へ移動したのか
Hadoop ビジネスで、EMC が仕掛ける大勝負とは？
Asakusa 報道特集 – Hadoop を用いたバッチ･フレームワーク
