The Smartgrid Goes Open Source
Agile_Cat はいま、アメリはテネシー州のチャタヌーガ（Chattanooga）という街に来ています。アトランタから飛行機で西へ40分ほどで、このチャタヌーガですが、乗り継ぎもあるので、遠いこと遠いこと。。。 家を出てからホテルに着くまで、約20時間の長旅でした。 それでもって、なんで チャタヌーガなの？ ・・・という話ですが、ここには Hadoop でスマートグリッドをと考えている人たちがいまして、その話を聞きたくてく来てしまったのです。 なんか、面白そうでしょう？
TVA（Tennessee Valley Authority）という公共機関があり、 これまではソコが OpenPDC（Codeplex）というプロジェクトをドライブしてきたのですが、新しく GPA というスタートアップが誕生し、また、Cloudera も協力しているという、とても面白い状況にあるのです。OpenPDC の PDC は、Phasor Data Concentartor の意味とのことで、送電網から取得される（おそらくペタ・オーダーの）膨大なデータを解析するための仕組みです。
http://jpatterson.floe.tv/index.php/2009/10/29/the-smartgrid-goes-open-source/
今日は日曜日なのですが、Cloudera の Josh Patterson さんがお昼を付き合ってくれるとのことなので、明日のミーティングに備えて、事前の情報交換をと思っています。以下は、彼のブログである、the song remains the same の The Smartgrid Goes Open Source からの抜粋です。
TVA（Tennessee Valley Authority） と NERC（North American Electric Reliability Corporation）が共同で推進しているスマート･グリッド･プロジェクトは、PMU（phasor measurement unit） データを収集し、保存し、処理するための、OpenPDCと呼ばれるものである。
OpenPCD は。実時間情報を持った一連のストリーミング･データを処理するための、アプリケーション･セットである。複数の入力ソースから得られる GPS タイム･スタンプ付きの測定データをソートし、ユーザー定義されたアクションに対して提供し、カスタムな出力ディスティネーションへ向けて分散させる。
そこでは、高速でのデータ転送を実現するために、プロセス･コンプレックス･イベントへの対処と、動的な変化への対応が要求される。 つまり、PMUに添付されたタイム･スタンプに応じてイベントを処理しなければならない。
ソース･デバイスから得られる PMUデータは数値の集合であり、一般には、point／signal／events／time-series value や measurement、そして、temperature／voltage／vibration／location／luminosity（?）／phasor といったものを含む。
そして、それらのデータが測定されるとき、取得されタイムスタンプにしたがって、OpenPDC へとストリーミングされる。続いて、データをタイム･スライスすることで分析が行われていく。
周知のとおり、米国の送電網は、複数の電力会社により構成されるため、円滑な電力供給を実現するためには、それらの協調が必要になる。そして、そこで取り扱われるデータは膨大なものとなるため、PMU データ･リポジトリのためのアーキテクチャとして、Hadoop が採用されている。
このプロジェクトにおけるHadoopの採用理由は、高価なマシンが不要であること、そして、分散ファイルシステムであるHDFS が使える点にある。 つまり、MapReduce による分散が可能だという Hadoop の本質に、このプロジェクトは即しているわけである。
このOpenPDC におけるデータ･フローは、全米の送電網からデータを集めて、アーカイブ化と分析を行うものだが、そこでは、PMU センサー･デバイスとのダイレクトな会話から得られるデータが、コレクション･ノードに転送されていく。 そして、コレクション･ノードにおいて、データはアーカイブ化される。そのときのバイナリー･フォーマットは、Historian (also included in the openPDC project) により定められ、OpenPDC プロジェクトの一部である、(Inputformat / RecordReader) に含まれるクラスにより、Hadoop へと受渡される。
OpenPDC は、このスマート･グリッドに参加する企業に対して、ビルディング･ブロックとして提供可能である。 その意味において、Google の Android プラットフォームと同じ役割を持つ。
月曜日のミーティングは、日本からのお客さんもご一緒なので、どこまでブログに書けるのかは分かりませんが、オープンにできる話は、なるべくポストしていきたいと思っていま～～～す。ーーー A.C.@Chattanooga
ーーーーーー
＜関連＞
Boingo で Wifi は OK、そして Twitter の位置補足が・・・（US 出張編_1）
スマートグリッドを Hadoop で （US 出張編_2）
スマートグリッドを Hadoop と OpenPDC で（US出張編_3）
Data Center Knowledge について ご意見を・・・（US出張編_4）
Boingo 接続の勝敗表など（US出張編_5）
Microsoft IT PAC：初の導入は、第二期 Quincy になるのか？ （US 出張編_6）
GO GO FLIGHT で空から Twitter （US 出張編_7）
