データ分析を始めるにあたり
どのツールがこれから分析するデータに適しているか？TableauかDrSumか…Excelで十分じゃないか？といった、データを可視化するツールの選定からはいっていませんか？
ちょっと待ってください！
そのツールで扱うためのデータはどこからどのような手段で誰が持ってきますか？
また、そのデータはそのまま使えるものですか？
同様のデータを持つ人や部門がいくつか存在していませんか？
その方（部門）は、どのようにしてそのデータを収集してきたのですか？
ここで問題になるのは、扱うデータの信頼性や新鮮さが悪い場合が多いことです。
優秀なデータ分析者がいたとしても、データの信頼性と新鮮さが欠けていると、正しい結果を導き出すことは不可能です。
分析を始める前に、するべきことが山ほどあります。
その解決策は、データの信頼性を確保し、新鮮なデータを分析者に提供する仕組みの構築が必要です。それを我々は「情報基盤」と呼んでいます。
この「情報基盤」を構築することで、必要な時に必要なだけのデータを瞬時に取り出せるようになります。それができて初めて、分析に取り掛かることができるのです。
情報基盤とは、生データを蓄える「データレイク層」、加工済みデータを蓄える「DWH層」、そして業務別データを蓄える「データマート層」の三階層に分けたものを指します。これにより、データのレイアウト変更に強く、最終的にデータを可視化するツール（BIやExcel）の表示レスポンスがデータ量に依存しなくなり、ストレスなくデータが扱えるようになります。
企業は、時間とともに必要なデータが変わるだけでなく、それを見る視点も変わっていきます。BIは導入直後は問題なく動作しますが、時間の経過とともにレスポンスが低下したり、収集した情報が散逸することがあります。こうなってしまうと本末転倒です。この記事では、適切な情報基盤の構築方法の手順をご紹介しますので、これから新規導入や再構築を検討している方にとって役立つ情報となることを願います。
失敗しないデータ分析の実現方法
- 必要なデータの所在とそのデータが作られるタイミングの調査
- 分析に必要なローデータを社内で収集します。その際に、どの部署（誰）にあるのか、それが作成されるタイミングはどのようなものかを把握しながらまとめていきます。
- データ項目の洗い出し
- 収集したデータから項目を抽出します。その際には、分析の軸となる項目や集計する数値もまとめます。
- 業務別で必要なデータを調査
- 受注残、発注残、現在の在庫、滞留在庫などが含まれます。
- データレイク、DWH、データマートのレイアウト設計
- まとめたデータと項目を考慮しながら設計を行います。これはデータベースの設計と同様です。
- データレイク層からDWH層への連携方法の決定
- データレイク層には、CSVやExcel、あるいは他のシステムのテーブルなどが含まれます。つまり、加工前のデータがありますので、これらとDWH層をどのようなテクノロジーで連携するかを決定する必要があります。これは通常、SIの領域と同様です。
- DWH層からデータマート層への連携方法の決定
- データマートは業務に応じて作成します。我々の場合は、SQLやストアドプロシージャを使用して、DWHからデータマートを一気に作成します。
- データレイク、DWH、データマートソリューションの選定
- 様々なソリューションから最適なものを選定します。たとえば、データレイクは「S3」、DWHは「Redshift」、データマートは「MySQL」などがあります。
- 最後にBIソリューションを選定
- まずは、我々はエクセルをお勧めしています。エクセルベースのモックアップを作成し、データ分析者とデータ閲覧者、そして我々で打ち合わせを重ねて、その上で、エクセルで実現不可能なことや、物足りないと感じた場合に、適切なBIソリューションを選定しましょう。これにより、無駄な投資を抑えつつ、実現すべきことができます。また、エクセルによる打ち合わせを繰り返すことで、企業内に分析文化が醸成されます。醸成されないままBIを導入すると、使われないシステムが完成するだけです。
まとめ
いかがでしたでしょうか？
データ分析をする前には「情報基盤の構築」が必要になります。
もし詳細な資料が必要な方は、お気軽にお問い合わせください。無料で構築事例の資料をお送りいたします。
No responses yet