データ基盤の構築や、既存のデータリファクタリングについてお話しできます

■ 具体的な経験の内容
月数十テラバイトのデータが入ってくる環境で、下記のことを両立させています。
・１分以下のレイテンシでストリーミング処理をしてデータ活用
・統合的なDWHへのデータ蓄積

■ 実績や成果
経営やプロダクトに関するデータを統合管理し、

■ そのときの課題、その課題をどう乗り越えたか
現在の環境がデータの規模に合わず、データを活用するまでのレイテンシがかかってしまい、さらに障害も頻発していました。
しかし、環境で利用しているサービスを徹底的に調べて最大限延命するとともに、並行してデータ基盤の置き換えを行ないました。

■ 業界構造（トレンド/主要プレイヤー/バリューチェーン等）の知見の有無
データ関連のある程度のプレイヤーなどは把握しています。
（Spark、ログ転送、可視化など）

■ 関連する論文やブログ等があればURL

■ お役にたてそうと思うご相談分野
・多くのデータが溜まっているが、うまく活用できていない
・正直いまのシステムに限界を感じている
・データ基盤を作る必要があるが、知見のあるエンジニアがいない、または不足している
・少しでも楽してデータの整備を行いたい

■その他
地域: 東京本社
役割: プロジェクト責任者、エンジニア
規模: 月刊数十TBのデータ