データ基盤構築について話せます
■背景
スタートアップ企業にてデータ分析基盤の構築運用を4年以上行ってきました
BigQueryをベースに構築を行なっており分析基盤構築から活用まで経験している
■話せること
基本何でも話せます
DMBOK
ELT
dbt
データマネジメント
データガバナンス
セキュリティ
BIツール
生成AI
構築支援も可能です
データ分析基盤の構築・運用注意ポイントについて話せます
¥30,000~■背景 従業員300名規模の金融機関にて、既に稼働しているデータ分析基盤の運用改善を担当しています。初期構築後に顕在化した課題、例えばETL/ELT処理の遅延、DWHのクエリパフォーマンス劣化、クラウド費用の増大などに対し、ボトルネック特定から改善策の立案・実行までを推進。 具体的には、SQLチューニング、パイプラインのアーキテクチャ見直しを担当しています。 また、基盤利用が拡大する中で課題となったデータの信頼性担保のため、データ品質チェックの仕組み導入、データリネージの可視化、データカタログの整備、金融業界の規制に対応したアクセス権限管理の見直しなどを推進。利用者が安心してデータを使える環境を整備し、データに基づいた意思決定の質を高めることを目指しています。 ■話せること ◼️個人情報を考慮したデータ基盤設計: 課題: 社内ポリシーに反した分析基盤への個人情報格納 施策/ツール: 社内ポリシーに則り、分析基盤のレイヤーの役割を定め、適切な加工処理（仮名加工・匿名加工）を実施。 ◼️パフォーマンス改善: 課題: ETL/ELTバッチ処理の遅延、分析クエリのレスポンス悪化。 施策/ツール例: ボトルネック特定（CloudWatch, BigQueryログ等）、パイプラインの処理ロジック見直し（Dataformコード改修）、DWHのテーブル設計変更（パーティショニング等）。 ◼️コスト最適化: 課題: 想定以上のクラウド利用料金（GCP等）、費用対効果の不明瞭さ。 施策/ツール例: コスト分析（Cost Explorer, 請求詳細分析）、利用頻度の低いリソースやテーブルの特定・削除。 ◼️データ品質向上・ガバナンス強化: 課題: データの不整合や欠損、信頼性の低下、データソースの不明瞭さ、金融規制対応。 施策/ツール例: データ品質チェックツールの導入検討・活用、データカタログ整備、データリネージ可視化、アクセス権限管理ポリシーの見直し。 ◼️利用促進・機能改善: 課題: 基盤が一部のユーザーにしか使われない、ビジネスニーズの変化に追随できない。 施策/ツール例: ユーザーヒアリング実施、BIツール（Tableau, Looker等）連携強化、分析用データマートの追加開発、ドキュメント整備、勉強会開催。