ガートナーが警鐘、AI時代に潜む「データ管理の罠」…革命実現する「3つの技術」とは(2/3)

データ管理で革命を起こす「3つのテクノロジー」

　データエコシステムを実現し、AIによるデータ管理の革命を起こす。この革命の扉を開くテクノロジーとして、ポア氏が挙げるのが、Python、Spark、OTFの3つである。ここからは、それぞれの内容を見ていこう。

　Pythonは、主要なLLMに対応するネイティブ言語だ。データの取り込みから処理、分析、共有まで、データ管理タスクのライフサイクル全体に対応し、「あらゆるデータ管理ツールの99%をカバーします」とポア氏は説明する。近年では、教育機関の支援などによりスキルを持つ人材が世界中で拡充し、幅広く利用されるようになった。さらに生成AIによりコードの品質が急速に向上しており、高いスキルがなくてもデータ管理に活用しやすくなっている。

　ポア氏は、データをソフトウェア・エンジニアリングと同様の運用で扱うことの重要性を指摘する。また、AIが生成したコードを検証できるシニア実務者の育成も重要だと述べる。

　Sparkは、汎用性の高いデータエンジンであり、大規模なデータを高速処理できる。これまではデータサイエンティストなどの一部の専門家向けだったが、Pythonとの連携などによって活用しやすくなった。加えて、AWS、グーグル、マイクロソフトといった主要ベンダーがサポートしており、幅広いユーザーが利用できる環境が整っている。いまやSparkは、AI開発の現場では欠かせない中核エンジンとなっている。

　その一方で、ポア氏は管理負担を抑えるため、自社でSparkを構築・運用するよりも、ベンダーが提供するマネージド・サービスを優先すべきだと説明する。また、複数のベンダーを活用するとともに、広く普及している技術を選択することも重要だとしている。

　OTFとは、特定のベンダーに依存せず、共通の規格でデータを保存する形式を指す。従来はシステムごとに異なる形式でデータを管理するケースが多かったが、OTFでは複数のエンジンから同じデータにアクセスできる。「データ管理のライフサイクル全体で生産性向上が期待できるほか、プロジェクト間や企業間でのデータ共有も容易になります」とポア氏は述べる。

　ポア氏は、高可用性や高い安全性、分析ワークロードにおける経済性などをOTFの利点として挙げる。一方で、相互運用性や低遅延処理への対応には課題も残ると説明する。

D＆A分野で優先するべき「5つの課題」

　3つのテクノロジーがそろうことで、データ管理のコモディティ化が進み、新たな変革が生まれる。複数のエンジンが同じデータに対して読み書きできるようになることで、新しいAIサービスの導入と既存業務の処理を、プラットフォームを切り替えることなく並行して進められるようになる。さらに実装コストが低いため、導入リスクも低く抑えられるという。


　では、こうした変革を推進するにあたり、企業は何を優先すべきなのだろうか。ポア氏はD&A（データ＆アナリティクス）における優先課題として、次の5つを挙げる。


　これらの実現に向けては、データ管理のライフサイクル全体でAIを活用し、生産性を高めることが求められる。また、既存のエンジニアを再教育し、AIを活用したデータ管理のエンジニアとして成長させていくことも重要となる。

　さらに、AI-Readyな基盤が整わないままAIを導入すれば、解決する以上の問題を生み出すリスクもある。データ管理の計画や方針をAI前提で見直すことが求められる。 【次ページ】データ管理がこれから迎える「2つのフェーズ」