はじめに
目的
本ドキュメントはAWS環境でのDuckDB活用法を分かりやすくまとめます。LambdaやEC2での実装、S3 TablesのIcebergテーブルへの接続、SecurityLakeとの連携、IP範囲ファイルの読み込み、DuckDB UIのEC2ホスティングに関する技術情報と実例を提供します。
対象読者
クラウドやデータ処理に関心があるエンジニア、運用担当者、または小規模な分析基盤を検討する方を想定します。前提知識はAWSの基本操作とSQLの基礎です。
本ドキュメントの構成
第2章から第5章まで、それぞれのテーマごとに実装手順、権限設計、シークレット管理、既知の制限事項を示します。各章は実例と注意点を交えて解説します。
注意事項
環境やバージョンにより挙動が異なる場合があります。実運用前に検証を行ってください。
LambdaからDuckDBを使ってS3 TablesのIcebergテーブルにアクセスする方法
概要
DuckDBがApache IcebergのREST Catalogをプレビューでサポートしたことで、AWS LambdaからS3 Tables上のIcebergテーブルへ直接アクセスできます。ここでは必要な拡張、認証、実装手順と注意点を分かりやすく説明します。
必要なDuckDB拡張
- aws: S3やIAMと連携するために必要です。
- httpfs: HTTP経由でのカタログアクセスに使います。
- iceberg: Icebergテーブルを扱うための拡張です。
Lambda環境ではこれらをバンドルしてロードします。
権限と認証
- Lake Formationでテーブルやデータへの権限を付与してください。Lambda実行ロールに必要なアクセスを与えます。
- 認証情報はSecrets Managerなどで安全に管理し、環境変数やシークレットARNを参照して取得します。
- 推奨はcredential_chainプロバイダーの利用です。これにより、Lambda実行ロールの一時的な認証情報を自動で使えます。
実装の流れ（簡易）
- Lambda LayerにDuckDBと拡張を含めてデプロイします。
- ハンドラ内で拡張をLOADし、icebergカタログのエンドポイントを指定します（SageMaker LakehouseのCatalogエンドポイントも利用可能です）。
- credential_chainやSecrets Managerからの認証情報で接続し、SQLでIcebergテーブルにクエリを実行します。
注意点
- 既知の制限として、Icebergテーブルのネームスペースが「main」の場合にアクセスエラーが発生することがあります。ネームスペースを変更するか回避策を検討してください。
AWS SecurityLakeに対するSIEMクエリエンジンとしてのDuckDB
概要
DuckDBは列志向で高速な自己完結型の分析エンジンです。S3上のIceberg形式データ（例：AWS SecurityLakeのログ）へ直接クエリを投げられるため、軽量なSIEMクエリエンジンとして使えます。開発時はローカルのCLIで検証し、本番では同じSQLを運用に流用する運用が有効です。
なぜ有効か
- 低コスト: 既存のS3にあるデータをそのまま読み取れるため、データ移動を減らせます。
- 高速: カラム処理とインメモリの最適化で対話的な探索が速いです。
- 柔軟: 結果をファイルやテーブルに保存してチームで共有できます。
実装のポイント
- 拡張機能を有効にしてS3/HTTPS経由でIcebergやParquetを読み込みます。認証はIAMロールやキーで行います。
- クエリはまず開発環境でCLIやノートブックで検証します。パーティションやフィルターを効かせると効率が上がります。
- 本番ではスケジュール実行やAPI経由でクエリを起動し、結果をS3やデータベースに永続化します。
運用上の注意
単一ノード向けのため大規模な同時実行や全量集計には向きません。重い処理はバッチ化するか、専用の分散基盤へ委譲すると安全です。Goなどからライブラリ経由で呼び出し、CIでSQLの差し込み検証を行う運用が現実的です。
まとめ
DuckDBをSIEMクエリエンジンとして使うと、低コストで探索的分析や迅速な検証が可能です。運用ではクエリ検証と結果の永続化、処理負荷の分離を心がけてください。
AWS IPアドレス範囲ファイルをDuckDBで読み込む方法
概要
AWSが公開するip-ranges.jsonにはIPv4／IPv6のプレフィクスとサービス、リージョン情報が入っています。ネットワークフィルタやログ分析に使えます。DuckDBのファイル名指定でDBを作成するとテーブルを永続化できます。一度作ったテーブルは再起動後も保持できます。
前提
- curl、jqが使える環境
- DuckDBがインストール済み
ファイルのダウンロードと整形
JSONは配列の構造があるため、読みやすい形に変換します。簡単な例：
curl -s https://ip-ranges.amazonaws.com/ip-ranges.json -o aws-ip-ranges.json
jq -r '.prefixes[] | [.ip_prefix, .region, .service] | @csv' aws-ip-ranges.json > aws_ip_v4.csv
jq -r '.ipv6_prefixes[] | [.ipv6_prefix, .region, .service] | @csv' aws-ip-ranges.json > aws_ip_v6.csv
CSVにすればDuckDBでそのまま読み込めます。
DuckDBでの読み込みと永続化
DBファイル名を指定して起動します。例：
duckdb aws_ip.duckdb
起動後にテーブルを作成してCSVを取り込みます。
CREATE TABLE aws_ips (cidr VARCHAR, region VARCHAR, service VARCHAR);
COPY aws_ips FROM 'aws_ip_v4.csv' (AUTO_DETECT TRUE);
COPY aws_ips FROM 'aws_ip_v6.csv' (AUTO_DETECT TRUE);
これでaws_ip.duckdb内にテーブルが保存され、DuckDBを再起動しても保持されます。
サンプルクエリ
- 特定サービスの範囲一覧：
SELECT cidr FROM aws_ips WHERE service = 'AMAZON' AND region = 'us-east-1';
- IPにマッチするCIDR検索（拡張関数やJOINで対応）
注意点
- JSON構造が変わると整形コマンドを更新してください。データ量が多い場合は圧縮保存やパーティション分けを検討してください。
DuckDB UIをEC2上でホスティングする際の課題と実装方法
課題
S3上のParquetを直接分析できる利点を非エンジニアにも提供するには、使いやすいWeb UIが必要です。EC2でホスティングする場合、主に通信量とアクセス制御、そして運用の手間が課題になります。例えば社外公開するとデータ露出リスクが高まります。\n
推奨アーキテクチャ
・EC2を同一リージョンのプライベートサブネットに配置し、S3へはVPCエンドポイント経由でアクセスします。\n・ALB（内部または必要時に外部）とHTTPSで通信を保護します。\n・認証はOAuthや社内IDプロバイダで行い、UIはDuckDBのバックエンド（Python/Node）を使います。\n
セキュリティとネットワーク
EC2に直接S3の長時間認証情報を置かず、IAMロールで一時的にアクセスします。通信は常に暗号化し、アクセスは最小権限で制限します。したがって公開URLに対するIP制限やWAFも検討してください。\n
実装手順（簡易）
1) EC2を用意（適切なCPU/メモリ、EBS）
2) duckdbとWebアプリ（Flask/FastAPI、またはNode）をインストール
3) VPCエンドポイント設定、IAMロール付与
4) ALBとHTTPS、認証連携を構成
5) systemdなどで常駐化しログ監視を導入
運用上の注意
・大きなParquetを読み込む時はメモリ消費に注意してください。\n・クエリの実行を制限する機能（タイムアウトや同時接続数制限）を実装すると安全です。\n・監査ログを残し、定期的にアップデートとバックアップを実施してください。\n
この構成で非エンジニアにも直感的な分析環境を提供できますが、初期設計でネットワークと権限をしっかり固めることが重要です。
