Thread by @tsukamoto

CloudTrailの証跡ファイル1日分をGetObjectして全リージョンの1日分をまとめて1つのCSVファイルにするPowerShellスクリプト書いたけど、遅いのでなんとかと言われてる。AWS上で事前にある程度（できれば日次ファイル化まで）しちゃいたいけど、どうすればいいかな…。 #AWS

lambda作って、S3に証跡ファイルが置かれたイベントをトリガーに実行かな。1ファイルに集約するのだから、平行処理されないようにしたいな。証跡ファイルじゃなくDigestの方トリガーにすればいいのかな。それなら1時間に一回だな。でもリージョンが違うとほぼ同時になる心配あるな。

SQSのキューに入れて同時実行数1に制限とかどうだろう、と思ったけど、それはあまり上手くないみたいだな。Step Functionsでキューを一つ取り出して処理するだけのlambdaをキューが空になるまでループとかはどうなんだろう。できるんだろうか。
blog.nijohando.jp/post/2020/sqs-…

CloudWatch Eventsで定期的にStep Functionsを起動とかはできるんだな。そうするとファイル格納イベントとかトリガーにするより、毎時とか毎日とかのバッチ処理みたいにした方が簡潔になるかな。あれ、それならSQS使わないで直接S3見ればいいかな？まあいいか、そこはやってみて考えよう。保留。

日次ファイルはCSVかなあ。ファイルサイズ大きくなるのはやだな。json.gzかな。それが簡単だけど元々json.gzなふぁいる解いてまたjson.gzにするのもなんだな。えーと…触ったことないけど、Parquetにできるとステキそうだな。えーと…こんなか…。
yomon.hatenablog.com/entry/2019/03/…

制御周りどうするにしても、まずはDigestファイル一つ読んでそこに入ってる証跡ファイル全部読んで1ファイルに出力する関数作るところからだな。明日はこの辺りに挑戦だな。今日はここまで。