読者です 読者をやめる 読者になる 読者になる

ローグウェーブソフトウェアのブログ

開発をシンプルに 安全で高品質のコードを 素早くお客様のもとへ

ビッグデータに立ち向かう準備はできましたか?

IMSL 製品とサービス

ローグウェーブソフトウェアのRoxy Cramerが書いた記事を紹介します。Roxyはローグウェーブソフトウェアの数値計算・統計解析ライブラリ IMSLに関わっている統計解析の専門家です。ここではIMSLのJava版であるJMSLを例にとってビッグデータ解析を解説しています。

JMSLとは

JMSL数値計算ライブラリは、Java の環境で利用できる数学、統計、金融、データマイニングおよびチャートのクラスが一つに集約された包括的な数値解析ライブラリです。業界最高レベルのIMSLライブラリの信頼性の高い数値計算・統計解析用のアルゴリズムに豊富なチャート機能を統合した、Javaプログラマ向けの唯一のソリューションです。Java環境での高度な数値解析と可視化機能を組み合わせは、企業の皆様が組織内の価値ある情報を素早く理解し解析結果を即座に共有することを可能にします。

ビッグデータに立ち向かう準備はできましたか?

blog.klocwork.com

Apache Hadoopが世に誕生したのはかなり前になりますが、充分に浸透したとは言えません。SD Timesの記事によると、回答者の40%がHadoopの黄色い象、つまりビッグデータ関連のプロジェクトが「Under the desk」状態にあると答えたそうです。ビッグデータをめぐる様々な情報や噂が飛び交う中、何らかの形で関わる必要性を日々感じておられると思います。ここでは実際に飛び込む前に確認すべきいくつかのことを紹介します。

まず、変化に対する警戒感は当然ながら常に存在します。あなたはこれまで膨大な時間と金額をリレーショナルデータベースやスキームのカスタマイズ、ドメインのデータモデル作成などに対して投資してきました。新しい環境を導入することになったらIT部門はセキュリティ規約を書き換えなければならなくなるでしょう。データをNFS(ネットワークファイルシステム)やHDFS (Hadoop 分散ファイルシステム)に移行する際の整合性や安全性に対しても気をつけなければなりません。

また、あなたの組織は充分な人的リソースと必要な技術を備えていないかもしれません。ビッグデータを使おうという試みは、データサイエンティストを雇ったりクラスターの管理を行うための投資を前に虚しく萎んでいくでしょう。

最後に、多くの方はあなた同様、なぜビッグデータアプリケーションが必要なのか納得していないかもしれません。そして単に知らないと認めるのを恐れているのかもしれません。あなたには毎日やるべき仕事があり、それは決してビッグデータアプリケーションに典型的な事柄、文書やSNS、ウェブ検索結果のデータマイニングのようなものではありません。

私たちはあなたの計画をお助けします

既存のデータや操作を完全に置き換えることを考えると、コストや煩雑さに対して警戒するのは当然のことです。ビッグデータを扱うこと("go Big")のメリットも通常はあきらかではありません。最もよい戦略は、小さく始めることです。たとえばHadoopは非常に大規模なデータ・セットを保存し、処理することに長けています。どんな組織にとってもETL (Extract/Transform/Load) 、つまりデータを抽出し、それを加工し、最後にロードする、といった目的でHadoopを利用すればすぐにその果実を味あうことができます。こういったタスクのいくらかでもHadoop EDW (Enterprise Data Warehouse)にオフロードすれば、思ったより早く地ターンを手にすることができます。実際にHadoopの実例を見てイメージをつかんでみてください。

Hadoopは過去10年の間に成熟し、支えるコミュニティも大きく育っています。プロジェクトを小さく開始すれば、すでに存在する多くのリソースからの支援を受けることができ、新たな人員を追加する必要もありません。学習コストはありますが、その学習曲線は、例えば銀行のビジネスのようなHadoop以外の専門知識を得ることに比べればずっと穏やかなものです。HadoopJava言語で書かれ、オブジェクト指向で作られているため、JavaプログラマならHadoopを扱うのに何の問題も感じないでしょう。

ビッグデータを扱おうと決断することは難しく見えるかもしれません。しかし、もし潜在的な障害を把握してきちんとした計画と共に行動すればあなたの組織が受ける恩恵はすばらしいものになるでしょう。経験を積めば積むほど、新たな疑問に答えるのはますます容易になっていきます。

前述のとおり、ビッグデータの旅を支えてくれる多くのリソースが存在します。例えばローグウェーブのJMSL数値ライブラリは、容易にHadoopの中に組み込むことができ、ほとんど労力をかけずにMapReduceを使った高度な分析アプリケーションを作成することができます。

Hadoopを使ったPIGHIVEIMPALAといった新しいプロジェクトが生まれ、また、Hadoopの他にSPARKのようなApacheオープンソースのプロジェクトもあります。またClouderaHortonworksMAPRといった商用のディストリビュータも成功をおさめ、みなさんとビッグデータの世界との橋渡しをしています。

さあ、ビッグデータの世界への準備はできましたか?

Roxy Cramer

参考

http://roguewave.jp/forms/request.htmlroguewave.jp

ローグウェーブ セールスエンジニア 柄澤(からさわ)