日本アイ・ビー・エム株式会社 提供コンテンツ

  • スペシャル
  • 会員限定
  • 2018/09/20 掲載

データクレンジングの手法を解説、どうすれば価値あるデータとなるのか

記事をお気に入りリストに登録することができます。
企業経営や日常業務での意思決定にデータを活用することで、自社の競争力を高めようと考える企業が年々増えています。ところがデータ活用を本格的に開始しようとすると、必ず陥る落とし穴があります。それは、社内に蓄積しているデータも、社外から取り込んだデータも、必ずしもそのままでは利用できないということです。なぜそのようなことが起こるのか、またどうすれば活用可能な価値あるデータになるかについて分かりやすく説明します。

photo
データを活用しやすいように綺麗にするのが「データクレンジング」だ
(©metamorworks - Fotolia)

データクレンジングとは何か?

 最初に本稿のテーマである「データクレンジング」という言葉について説明します。

 クレンジング(cleansing)とは、「清潔にする、洗い清める、浄化する」などを意味する動詞“cleanse”の名詞形で、「洗浄、浄化」などと訳されます。「データクレンジング」という場合は、「データをきれいにする」という意味になります。

 きれいにしないといけないということは、データは「汚れがち」ということです。では、なぜ・どのように汚れてしまうでしょうか。

 分かりやすい例として「名刺管理システム」を考えてみましょう。営業担当者が、名詞を見て手入力するタイプのシステムです。

 同じ会社名でも、ある人は「株式会社ABC商事」と入力するかもしれません。別の人は「(株)ABC商事」と入力するかもしれません。担当者名も「大沢」と入力する人もいれば「大澤」と入力する人もいます。アルファベットや数字を全角で入力する人も、半角で入力する人もいます。住所を「1丁目2番地3号」と入力する人もいれば、「1-2-3」と入力する人もいます。中には入力ミスをする人もいます。

 気の利いたシステムであれば、ある程度はシステム側で整えてくれるかもしれません。しかし限界はあります。「株式会社」と「(株)」は同一視してくれても、「大沢」と「大澤」では別物とみなすのが普通でしょう。「大沢仁史」さんと「大澤仁史」さんは本当は同一人物なのに、別の人物とみなされて検索結果がおかしくなることが起こりえます。

 ですので、通常は入力ルールを設けて統一化を図ります。しかし、なかなか守られるものではありません。

 仮に完璧に守られたとしましょう。それでも部門ごとに別々の名刺管理システムを使っていたとしたらどうでしょうか(よくあることです)。同じ入力ルールを採用していれば問題ありませんが、そのようなことはあまり期待できません。

 それぞれが別のシステムを使っていたら、さらに他の問題も起こりえます。ある部門のシステムは、性別は「男」、「女」と表していました。ところが別の部門のシステムは、性別を男なら「1」、女なら「2」として表していました。この2部門のデータを単純にマージ したら、性別は「男、女、1、2」の4種類あることになってしまいます。

 このように企業の持っているデータは汚れがちであり、半角/全角、大文字/小文字、表記方法、誤字脱字などを適宜修正する必要があります。この修正作業を「データクレンジング」と言うのです。

この記事の続き >>
・データクレンジングの必要性
・データクレンジングの手順
・データが企業競争力の源泉となる時代に

この続きは会員限定(完全無料)です

ここから先は「ビジネス+IT」会員に登録された方のみ、ご覧いただけます。

今すぐビジネス+IT会員にご登録ください。

すべて無料!ビジネスやITに役立つメリット満載!

  • ここでしか見られない

    1万本超のオリジナル記事が無料で閲覧可能

  • 多角的にニュース理解

    各界の専門家がコメンテーターとして活躍中!

  • スグ役立つ会員特典

    資料、デモ動画などを無料で閲覧可能!セミナーにご招待

  • レコメンド機能

    ​あなたに合わせた記事表示!メールマガジンで新着通知

関連タグ


関連コンテンツ


処理に失敗しました

人気のタグ

投稿したコメントを
削除しますか?

あなたの投稿コメント編集

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

通報

このコメントについて、
問題の詳細をお知らせください。

ビジネス+ITルール違反についてはこちらをご覧ください。

通報

報告が完了しました

コメントを投稿することにより自身の基本情報
本メディアサイトに公開されます

必要な会員情報が不足しています。

必要な会員情報をすべてご登録いただくまでは、以下のサービスがご利用いただけません。

  • 記事閲覧数の制限なし

  • [お気に入り]ボタンでの記事取り置き

  • タグフォロー

  • おすすめコンテンツの表示

詳細情報を入力して
会員限定機能を使いこなしましょう!

詳細はこちら 詳細情報の入力へ進む

ブロック

さんはあなたをフォローしたりあなたのコメントにいいねできなくなります。また、さんからの通知は表示されなくなります。

さんをブロックしますか?

ブロック

ブロックが完了しました

ブロック解除

ブロック解除が完了しました

機能制限のお知らせ

現在、コメントの違反報告があったため一部機能が利用できなくなっています。

そのため、この機能はご利用いただけません。
詳しくはこちらにお問い合わせください。

ユーザーをフォローすることにより自身の基本情報
お相手に公開されます