Macでnative-hadoopを使う方法

忘れないようにメモ
さて、事の発端はMacでHadoop2系のnative-hadoopを使いたくて見つけた以下の文から始まる。

The native hadoop library is supported on *nix platforms only. The library does not to work with Cygwin or the Mac OS X platform.

マジかよ... ってなこと言ってたらパッチがあるのを教えてもらう。


まず、Hadoopのソースを取ってくる。適当なところに展開しておきましょう。
また、現時点で最新のパッチ(HADOOP-9648.v2.patch)もDLしておく。

展開した先でパッチを当てる

patch -p1 < HADOOP-9648.v2.patch

native-hadoopをコンパイルするにはcmakeが必要なのでインストールしておく

brew install cmake

native-hadoopだけ欲しいので余計なビルドを実行したくないし移動

cd hadoop-common-project/hadoop-common/

nativeのコンパイルを実行する

mvn -P native compile

終了

$ ls target/native/target/usr/local/lib/
libhadoop.1.0.0.dylib* libhadoop.a            libhadoop.dylib@

後は好きなところにコピーするがよろし(make installはrule無いって怒られる)

Treasure Data にジョインします

本日から Treasure Data にジョインします。

きっかけは、某地獄のCT◯にちょっと来いやと体育館裏に呼び出され、
腹パンをくらわされ拉致され... (´；ω；｀)
(という感じで大筋間違ってない)

変態達(いい意味で)に囲まれおもしろおかしくイジメられたいと思ってます。

あっ、もちろん今のとこ日本にいますよ。
ということで、これからもよろしくお願いします。

BrainPadを退職します

どうせ、書けと言われるだろうし書いとくかな。。。

今日が最終出社日となります。

入社したのは確か2006年ぐらいだったはずなので6、7年ぐらい居たことなりますね。
（その前が1年半と短くさらにその前が今と同じぐらいかな）

入社して最初にやったのが奇しくもログ解析。Hadoopなんてまだアレってか、出てない時代じゃないですかね。この時は単一サーバで今やってるようなことをゴリゴリやってたなぁと懐かしく思います。

そして、クローラの開発と続きレコメンドエンジンの開発、広告入札の最適化、またHadoopまわりとか細かいもの入れればいろんなことをやったなぁと思います。

レコメンドの時は本当に苦労しましたね。2CPU(8 core)でマルチスレッドぶん回しても1日じゃ処理終わらないんですもん。開発の後半時期にはHadoopがすでに出てたはずですが、何しろC++で書いてた上にそれを焼きなおすコストとか考えると手は出せませんでしたねぇ(他の処理はサンプリングしてやっと1日で終わる感じだったし)。

そういえば、入社して初めての出張がU.Kだった。(その前の出張が名古屋かなんかですごい久しぶりだったはず)とにかく、メシがアレで2日ぐらいで帰りたくなったのを思い出します。

ということで、在職中にお世話になったみなさま本当にありがとうございました。
というか、どうせそこら中で会うんだから何も変わらないですね。

次はちょっと休んでから新天地(またそのうち書くかも)で頑張ります。


あっ、そうそう。某フレームワークは僕が引き取ることになったのでこのまま開発を継続するとかしないとか。

Huahin Manager 0.1.5 and 0.2.2 released

需要の多かったCDH4 + MRv1版を含めてリリースしました。
あと、Hive REST API で某氏が欲しいと言ってた機能も追加しています。

• 0.2.2-mr1でCDH4 + MRv1の対応
• HiveのREST APIで同時HQL対応

Hiveのリリースは要するに以下のようなこと
通常は

create table foo(bar string)
select * from words
drop table foo

と複数回にわけて渡していたところを、

create table foo(bar string); insert into foo select * from words; drop table foo;

(このHQL意味ないけど)のように";"で複数同時実行を行えるようになった。
(Hive CLIと同じコードなのでバグはHive CLIが直れば直す)

Huahin Framework

Huahin Manager 0.1.4 and 0.2.1 released

HCJ2013Wまでにリリースしとうこうかなと思って。

• 0.2.1でPig REST APIに対応
• 0.1.4でHadoop 1系とCDH3のHiveとPigのREST API対応

最近ブログがリリースしか書いてない。

Huahin Framework