本日の方式メモ - CSV一括登録 2024/09/16

https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/avoid-exec-failures.html
よくあるCSV一括登録をラムダ単体でなくstepfunctionsで組むはなし。
はじめ、stateからそのままデータを次に渡してやろうとしてはじめて256kbの壁にぶちあたったのであった。
クロードさんにお尋ねして、S3で小分けにしなよ、という話で、そういうふうにやったらうまくいった。おそらく、実行時間もいい感じなのだろう。
serverlessでやっていて、そこでつまずいて数時間時間を費やしたのは内緒でもない。
おもしろかったのは、ラムダの中でs3から値をとるのではなく、stepfunctionsのtaskを使って前段で値をとってそのまま流すという作り。後段のラムダは引数でもらったペイロードを処理するという感じ。切り分けでできているな。