食品系スタートアップ様

概要

食品系スタートアップに対し、約3ヶ月間にわたりデータ分析基盤の新規構築を支援しました。 複数のアプリケーションから発生するログデータをリアルタイムでSnowflakeに連携するデータパイプラインをゼロから設計・構築し、ほぼ単独で対応しました。

担当役割

• データエンジニア / インフラエンジニア（1〜2名体制、実質ほぼ単独対応）
• パイプライン設計・AWSインフラ構築・Terraform構成管理まで一貫して担当

技術スタック

カテゴリ	技術
データウェアハウス	Snowflake
データ転送	AWS Lambda / S3イベントトリガー
インフラ構成管理	Terraform
データ転送方式	リアルタイムストリーミング

システム構成

複数のアプリケーションが出力するログをS3へ集約し、S3イベントトリガーを起点にAWS Lambdaを経由してSnowflakeへリアルタイムに転送するパイプラインを構築しました。インフラ全体はTerraformでコード管理し、再現性と保守性を確保しています。

技術的なポイント

• ゼロからのパイプライン設計: 既存の仕組みがない状態から、複数アプリのログを統合するアーキテクチャを単独で設計・構築
• リアルタイムストリーミング: S3イベントトリガー + Lambdaによるイベント駆動アーキテクチャで、ログ発生からSnowflakeへの反映までのレイテンシを最小化
• Terraformによる構成管理: AWSリソースをすべてコードで管理し、環境の再現性と変更履歴の追跡を実現

プロジェクト期間

約3ヶ月