• 会員限定
  • 2021/02/25 掲載

DataOps(データオプス)事例、「あるある失敗談」と「成功マニュアル」とは

  • icon-mail
  • icon-print
  • icon-hatena
  • icon-line
  • icon-close-snsbtns
記事をお気に入りリストに登録することができます。
「データ活用が売上や成果につながらない」、「そもそも社内のデータ活用のフローがぐちゃぐちゃ」など、データ活用のハードルは高い。そこで、多くの企業はデータ活用の在り方を改善すべく「DataOps(データオプス)」を実践しようとするが、失敗に終わってしまうケースは少なくない。本記事では、DataOpsに取り組む企業が陥りがちな「あるある失敗事例」を紹介しつつ、DataOpsを成功に導くための実践的なポイントをまるっと解説したい。

橋本 誠

橋本 誠

オージス総研 技術部 データエンジニアリングセンター

画像
DataOpsに取り組む企業が陥りがちな失敗事例と、DataOpsを成功に導くためのポイントを解説する
(Photo/Getty Images)
 

DataOpsの「あるある失敗談」とは

 DataOpsとは、社内のデータ活用をスムーズにするために、組織内のデータ管理者と利用者の協力関係を深め、データ活用のプロセスを自動化・効率化することを目指すアプローチです。そんなDataOpsの実践しようと考える際、検討すべきポイントとして、社内の人、組織、カルチャー、テクノロジーなどいくつかの切り口があります。

 今回は、DataOpsを構成する要素のうち、テクノロジーの部分にフォーカスし、DataOpsを実現するための重要な「データ基盤」について考えてみましょう。実際にデータを扱われている方であれば、経験したことがあるかと思いますが、データを取り扱う上で、よくある課題を3つほど取り上げてみました。

(1)データの所在や形式がすぐに分からない
 データを活用したい場合に、欲しいデータの所在、形式、意味が分からないケースです。データがサイロ化されている場合、データを管理している部署に依頼してもデータに関する文書記述が十分でないなどデータ管理がきちんと行われていない場合は調べるのに思いのほか時間とコストがかかるものです。また、同じような名前のデータ項目があり、どれが本当に欲しいデータに該当するのかが分からないというケースもよくあります。

(2)必要なデータをすぐに得られない
 欲しいデータの所在や形式が明確になったとしても、これらのデータ取り出してデータ分析を行う形式にするためには思いのほか、時間がかかるものです。これこそが、データ分析業務の80パーセントがその準備に割かれると言われている理由です。

 また、データ分析ができる形にデータを準備できたとしても、その品質が低ければ、正しい結果を得ることができません。そのような場合にはデータを取得しなおす必要も出てきます。実は米国のある調査会社のレポートでは、データサイエンティストの55%がトレーニングデータの品質/量を最大の課題として挙げています。

(3)さまざまな種類や規模のデータが扱えない
 さまざまな種類や規模のデータが扱えないという問題もあります。多くの機械学習では生データを必要とします。そしてこれらのデータは半構造化、非構造のものが多いです。また、バイナリー形式であるかも知れません。SNSなどのテキストデータやイメージデータが必要な場合もあります。

 そしてIoT機器などのデータの量は莫大です。また、機械学習では一般的にトレーニングデータが多いほど、精度が向上するので膨大な量のデータが必要です。たとえば、センサーデータは月あたり数億件から数100億件からなることも稀ではありません。

DataOpsを支える「データ基盤構築」の3ステップ

 このような課題を解決するためのデータ基盤構築のステップを解説します。

画像
DataOpsを支える「データ基盤構築」の3ステップ
(出典:オージス総研)

ステップ(1):データストアの整備

 まずは、組織や用途ごとに分散したデータを、一元的に管理する基盤に統合するためにデータレイクやデータウェアハウスを構築します。ここにデータレイクとデータウェアハウス違いを簡単にまとめていますので、導入の際の参考にしてください。

photo
データレイクとデータウェアハウスの役割の違い
(出典:オージス総研)
 

 このようにデータレイクとデータウェアハウスの用途は異なりますが、部門や用途によってばらばらに管理されていたデータを統合することで、利用者はデータのロケーションを意識することなく、統一的なアクセスを行うことができます。

【次ページ】「データ基盤構築ステップ2~3」、「理想的なデータ基盤」、「DataOps成功の条件(=データ戦略の作り方)」まとめて解説

関連タグ

関連コンテンツ

あなたの投稿

    PR

    PR

    PR

処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む
報告が完了しました

」さんのブロックを解除しますか?

ブロックを解除するとお互いにフォローすることができるようになります。

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます