データ・レイクはいかに構築すればよいのか
データ・レイクとは何か？
データ・レイクとは何か。ガートナーはこれを「各種データ資産のストレージ・インスタンスの集合」と定義しており、「データ・レイク内のデータ資産は、データ・ソースにおけるフォーマットをほとんど、あるいは完全に複製した形で保存されており、起源となるデータ・ストアに付加されている」と説明している。
「ガートナー ビジネス・インテリジェンス、アナリティクス＆情報活用サミット2016」で登壇したヒューデカー氏は、「あるがままのデータを他の環境に置くのがデータ・レイクだ。データ・レイクには、データをネイティブフォーマットで保存する必要がある。データ・レイクとは、つまりストレージの戦略だ」と説明する。
（クリックで拡大）
データ・レイクのイメージ（解説は後述）
（出典：ガートナー）
そしてもう1つ、データ・レイクの重要な定義の内容として、データ・ストアは起源となるデータ・ストアに付加されるものである、という点が挙げられる。
「データ・レイクは、今ある情報資産の環境に対して付加的に提供されるものだ。ガートナーのペース・レイヤ戦略における記録システムや差別化システムではなく、革新システムに対応するもので、データ・レイクは、革新システムにおいて新しいクエリをかける対象となる環境だということを理解して欲しい」
参考までにペース・レイヤ戦略とは、アプリケーションを使用目的と変更の頻度に応じて、記録システム・差別化システム・革新システムの3つに分類し、その分類ごとに異なる管理とガバナンスのプロセスを定義する手法だ。
「たとえば従来環境にあるデータ群の中に何かビジネスチャンスがありそうだ、しかしそれが見えないという時、既存の環境のままではあまりにもデータが膨大過ぎて分析できない、あるいはコストがかかりすぎるという際にデータ・レイクを利用する。ネイティブフォーマットでデータをデータ・レイクに保存し、新しいビジネスチャンスに向けて活用する」
データ・レイクの技術的な実装方法
しかしガートナーの定義には、データ・レイクの技術的な要項は書かれていない。
「データ・レイクとはあくまで概念で、これをどのように実装するかは、さまざまな選択肢がある。Hadoopでもいいし、共有されたファイルシステムでもいい。あるいはRDBをデータ・レイク用に使うというケースもあるし、NoSQLのデータベースでもいい。自社のニーズに合っていれば、好きなテクノロジを選択することができる」
そしてヒューデカー氏は、「まずは自社が何を分析したいのか、つまりデータ・レイクにどんな問いかけをしたいのかを明らかにした上で、データ・レイクをどう最適化していくかを決めていくことが大切だ」と続ける。
「何を分析したいのか、あるいは何を知りたいのかを明確にした時、もしかしたらデータ・レイクは適した環境ではないと結論付けられるかもしれない。まずはデータ・レイクに問いかける質問を見える化することが重要だ」
またデータ・レイクの活用に当たっては、非構造化データのための環境を用意する必要があるという。
「“分析のための質問”の約80％で利用するのは、今あるデータの約20％だ。別の言い方をすれば、分析用の質問の80％が構造化されたもので、その質問に対する解を導くために、企業データ全体の20％に相当する構造化データが用いられるということだ。しかし、残り20％の質問は構造化されたものではなく、それをどのように形作ればいいのか分からない状態にある。しかし企業にとっては、これが最も重要な質問で、この質問に対する答えを導き出すためには、データ全体の80％に相当する非構造化されたデータを使わななければならない。そのための環境が求められることになる」
【次ページ】データ・レイクの「統合」における4つのポイント