工藤探偵事務所

RESEARCH AND INVESTIGATION

Soliloquy of a Super Engineer (3) Doug Cutting Live in Japan @ Sep 29, 2011

とあるメルマガに書いた原稿です。
2011年9月号(9/29日発行)されたものです。
ここにも載せておきます。

f:id:kudo-shunsaku:20120108003848p:image

┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
◆◇ 『スーパーエンジニアの独り言 第3回 “Doug Cutting氏 来日” 』 ◇◆
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┛
今回の話題は「Doug Cutting(ダグ・カッティング)氏の来日講演」です。
Doug Cutting 氏とは、あの "Apache Hadoop" の創造主です。

"Hadoop" は、TwitterFacebook など著名なサービスで大量データ処理の
仕組みとして採用されていますのでその名前を耳にしたこともあるかと思います。
今回、Doug Cutting 氏本人が来訪され各所で開かれるカンファレンスで講演
されると聞き、是非とも創造主である彼の話を聴きたくて(逢いたくて)
とあるカンファレンス会場に向かいました。

そこで幸運にも拝聴できた顛末の一部を書き記します。
"Apache Hadoop: A New Paradigm for Data Processing"
Doug Cutting, Architect, Cloudera, Inc.
まずは講演されたスライドタイトルの一覧です。

Apache Hadoop: A New Paradigm for Data Processing

◇ Who am I ?
Apache Hadoop : a new paradigm
◇ New foundations
◆ Commodity Hardware
◇ Sequential Access
◆ Open Source
◇ Nutch (2002)
◆ Nutch (2004)
◇ Hadoop (2006)
◆ HDFS
◇ MapReduce
◆ Hadoop: the ecosystem
◇ Cloudera's Distribution including Apache Hadoop
◆ Pig & Hive
◇ Avro
◆ Mahout
◇ HBase
◆ Flume
◇ pattern of adoption
◆ advantages of paradigm
◇ the future is data

f:id:kudo-shunsaku:20080803195701j:plain

introduction

シリコンバレーで25年のベテランです。」から始まった彼の講演ですが、
前半部分は、どのような経緯でHadoopが誕生したのか?というお話でした。

当時 Yahoo!に所属していたエンジニアが、Googleが発表した論文に触発
されて開発したソフトウェアがいきなり登場したのであろう、と理解(誤解)
されている方が多いかもしれませんが、どうやらそれだけでは無いらしいのです。

Doug's career

Doug氏自身のキャリアは1980年代にXEROXから出発しAppleMac OSのテキスト
検索エンジン開発、90年代にはExciteの検索エンジンを担当、そして全文検索
Lucene、それをベースとしたウェブ検索エンジン Nutch など、幾つかのオープン
ソースプロジェクトに関わっていました。そこではいつも、「大量データをどう
やって効率良く扱うか?」の問題と対峙することになり、その都度、試行錯誤を
繰り返していたそうです。

勿論、当時同じ問題に直面していたGoogle論文発表のタイミングやこのソフト
ウェアをプラットフォームとして採択して応援してくれるYahoo!への参画など、
ターニングポイントは幾つもあった事でしょうが、何よりも長年の地道な積み
重ねがあってこその現在のHadoopだと言えましょう。

それ故、オープンソース Hadoop の存在意義を改めて認識した次第です。

「脚踏実地」。紆余曲折ありながらも、ひとつの課題を長年に渡り突き詰めて
いくことで成功した彼の実直さ、講演で一番感慨深かったのはこの事でした。
ところで肝心の Hadoop についてですが、Doug Cutting 氏曰く、

New Paradigm

Apache Hadoop が一つの新しいパラダイムであり、
これこそがデータ解析における回答となるでしょう。』
という主旨の事を仰っていました。

この講演を拝聴し、これからHadoop を勉強してみたいという気持ちが
膨らんだのは事実です。
「千里の道も一歩から」の言葉を再び噛み締める必要があるのでしょう。


Current officers of The Apache Software Foundation

Doug Cutting 氏は現在、Hadoop を生業とする Clouderaの社員なのだそう
ですが、加えてASFの委員長(チェアマン)でもあるそうです。
Current officers of The Apache Software Foundation:
http://www.apache.org/foundation/

講演内容の続きについては、また次回ということにさせて頂きます。

f:id:kudo-shunsaku:20110901105112j:image

追記です。

講演中には登場しませんでしたが、Doug は "Hadoop" を持参してきてました。
ちゃんとネタも用意してあったのです。
聴講者に声を掛けられて、実は、、、という風味で鞄からゴソゴソ取り出して一緒に写真を撮ってました。
人見知りの探偵は直接を声をかけられなかったので、その撮影風景を撮らせて頂きました。
ですから、写真に写っている眼鏡の方は知らない人です。
飽く迄、探偵ではありませんので、その点悪しからず。