GCPのdataformがpreviewになったので、terraformで構築しつつ、git連携を試してみたお話です。
Continue reading »投稿者: Yoshina9a
データ基盤にArgoWorkflowsを導入した話
今年の9月にサービス運用基盤がGCPのKubernetesに移行したことに伴い、データ基盤も刷新することにしました。新しいデータ基盤にArgoWorkflowsを導入したので、その経緯を本記事ではお話します。
Continue reading »AthenaからBigQueryにデータを転送してみた
はじめまして、データマイニングをしている吉永です。
先日、グリフォンのETL基盤にAthenaからBigqueryへの転送を追加しました。
今回は転送のために使用したembulk-input-Athenaプラグインのご紹介していきます。