BigQueryを用いたデータ基盤構築について話せます
■背景
開発エンジニアとしてSaaSサービスのdbtを変換ツールとしてELT処理の加工部分を担当した。システムをAWSからGoogleCluodへ移行する業務。開発はpythonとSQLで行った。
■話せること
RedshiftでのETL処理をGoogleCloudのELT処理に変換するときに考慮すること
dbtを使った変換処理
プロフィール 詳細を見る
職歴
職歴:開示前
このエキスパートのトピック
-
AWSサーバレスアーキテクチャをデータ基盤構築について話せます
¥50,000~■背景 開発エンジニアとして業務に携わった。AWSのサーバレスアーキテクチャ(Lambda, Glue)などを用いてETL処理の構築を行った。デプロイにはサーバレスフレームワークを用いた。RDS, TimestreamはDBとして使用した。システムの設計から開発まで経験した。 ■話せること AWSのサーバレスアーキテクチャを用いたETL処理のシステム構成や設計について 使用したツール CodeCommit, Lambda, Glue, Timestream, RDS, SSM, EC2, S3,EventBridge, CloudWatch, Stepfunctions, CloudFormation
-
製品の成型(主に打錠)に関する技術についてお話できます。
¥30,000~■ 具体的な経験の内容 現場の打錠工程において打錠障害の低減と安定生産の実現 ■ 実績や成果 打錠障害を低減(10%→ほぼ0%)し、安定生産を実現。 製造現場で必要な打錠パラメータを抽出し、データに基づいて改善を行った。 ■ そのときの課題、その課題をどう乗り越えたか 安定生産を実現する上で必須となるデータ基盤(粒度、強度etc)がなく、経験に基づいた製造が行われていた。 基盤となるデータを採取、製造現場の1次情報を抽出、打錠実験 ■ お役にたてそうと思うご相談分野 打錠に関して悩みを抱えている方
-
結晶粒径のコントロール方法についてお話できます。
¥30,000~■ 具体的な経験の内容 製品の結晶粒径を変化させて、安定性の高い製品を目指す取り組み ■ 実績や成果 スラリーから析出してくる結晶粒径のコントロールを行い、ラボスケールで結晶形状の変化、及び粒径のコントロールに成功。実プラントへのスケールアップには至らなかった。 ■ そのときの課題、その課題をどう乗り越えたか スラリーから目的物の晶析は、粒径コントロールのために各種パラメータが相互に密接な関わりを持ち、制御が難しい。 文献の調査、専門家に直接聞く。 ■ お役にたてそうと思うご相談分野 溶液からの結晶析出の際に粒径コントロールについての知見を求めている方