AWSやOSSツールを用いたデータ分析・ETL基盤の構築

  • IT/システム
  • 業務支援
  • 経験内容

    具体的な経験の内容

    データの収集からデータベースへのロード、データの集計や加工といった、クライアント企業のETL基盤の構築に携わってきました。
    AWSの各種サービスを組み合わせ、Pythonやオープンソースのワークフローツール、SQLなどを駆使して、生のデータを「分析するためのデータ」として提供することが、私のミッションです。

    実績や成果

    AWSやオープンソースのETL関連ツールを用いて、ETL処理の要件定義から設計、構築ができます。
    またPythonやSQLであれば、処理効率化を目的としたリファクタリングも可能です。
    AWS認定のSolution Architect Professionalを取得しています。
    https://www.youracclaim.com/badges/07bafafe-ec32-46c7-83ad-ebbe3a48c79c/public_url

    そのときの課題、その課題をどう乗り越えたか

    何か課題に当たった時は、考えられうる解決策を全て整理した上で、個々の要件に応じて最適なものを選択してきました。
    インターネット上に公開されている日本語と英語の情報を網羅することを基本としているため、私一人の見解に依存しない、様々な方の知見が乗った解決策を提示できていると自負しております。

    業界構造(トレンド/主要プレイヤー/バリューチェーン等)の知見の有無

    AWSやGCPといったメジャーなクラウドベンダーの業界知識で、基本的なことでしたら持ち合わせております。

    関連する論文やブログ等があればURL

    弊社が運営する技術メディア、Developers.IOの執筆ページです。
    https://dev.classmethod.jp/author/haruta-takumi/

    お役にたてそうと思うご相談分野

    AWSやオープンソースツールを用いたデータ分析基盤・ETL基盤の構築のご相談
    PythonやSQLの処理効率化のご相談

    役割

    エンジニア

    期間
    2019年 〜 現在
    関連する職歴
    • クラスメソッド株式会社 データ分析基盤エンジニア