GFSオープンソースクローン／Hadoop＆hBase

2008年4月30日より開始さるが太田一樹氏に依る タイトルに狙い其の物も明らかな Google基盤ソフトウェアのオープンソースクローンを使ってみる の第1回に言及されるが実運用以前の纏めたる Hadoop、hBaseで構築する大規模分散データ処理システム なれば、全体俯瞰の上での理解に役立ち、 クラウドコンピューティング華やかなりし当世 、システム構築の際の企画、戦略を担う御仁には有用なる記事と思われます。 先ず引用するに

HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローン

であり

大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組み

とあらば Hadoop ＆ hBase なる両者が要諦なるGFSクローンの、では図を参照するにその対応関係は

1. GFS：Hadoop DFS
2. MapReduce：Hadoop MapReduce
3. BigTable：hBase

となり、続きクローンの元となるグーグルの基盤システムが

1. Google File System：分散ファイルシステム
2. MapReduce：分散計算フレームワーク
3. BigTable：スケーラブル分散データベース
4. Chubby：分散ロック管理サービス（未クローン化）

と順を追い解説されます。 此の基盤システムの優位点が

非常にスケーラブルかつ故障に強い

と説明されるのは巷間流布した話、 此のクローンがオープンソースとして利用出来るとなれば、 心を動かすなと云うが禅師ならぬ、 併せて当ブログにて Google App Engine なる怪しげなカテゴリーを拵える此の身には無理な話、

Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアです。現在はApacheプロジェクトのTopProjectとなっています。Hadoopという名前はDoug氏の子供が持っている黄色い象のぬいぐるみの名前に由来しているらしいです。

と聞けば是非、 Cutting氏のぬいぐるみの黄象を応援し度、強く思います。

Hadoop＆hBaseの概要を閲すれば基本的にJavaでの使用が前提とされる様ですが、 拡張パッケージの使用で C/C++・Ruby・Python 使いにも門戸が開ける由、 採用実績 にも迂闊な此の身には驚くべき一覧の 当のGoogle迄にも利用されるのも又一興、 又、＠ITに2008年12月1日の記事は西村賢氏の文責なる 大規模分散処理フレームワークの設計、実装が進行中／楽天版MapReduce・HadoopはRubyを活用 にて面白くも項目立てられるタイトルには「 楽天も情報爆発しています 」があり、言及されるを引用するに

計算モデルがシンプルでも規模が巨大になるとまったく別の問題が生まれてくる。処理すべき情報量が爆発的に増加しているからだ。

にて、対処するに以下

1. アルゴリズムの工夫
2. 大規模分散処理

なる二点で検討すなれば、前者も Locality Sensitive Hashing や Double Array Trie 抔、垣間見るだに非常に興味深くあるも何時かの機会に扱うとして、 其の後者が本アーティクルにて扱う内容を現在は利用するも、 今後独自の大規模分散処理フレームワーク開発がRubyにて為され、 GFS及びHadoopの競合となるが予想される旨、 特筆されるはのまつもとゆきひろ氏の特にノーテーション（記法）が色濃く反映されれば、 Ruby使いには有り難くも、なかなかに胸躍る仕掛けかに忖度仕りもする中、 扠、当連載では次いで実践編、利用法迄言及されれば、企画段階のみならず、 必要も有り、腕に覚えも有る技術者にも有用な連載と推測されます。