Dockerで始めるAWS Lambda開発

Transcript

1. Dockerで始める AWS Lambda開発 @Hibiya.Tech #4 「初心者歓迎！使ってみた技術 LT大会」 Takahide Sato (@Taka_input)

2. 自己紹介 名前: 佐藤 鷹英 GitHub: stutkhd-0709 X: @Taka_input 所属: 株式会社CyberOwl

   趣味: サウナ, Crossfit

3. 目次 • AWS Lambdaとは • AWS Lambda Runtime Interface Emulator

   (RIE) • AWS Lambda Web Adapter • まとめ

4. AWS Lambdaとは

5. aws lambda サーバーレスのイベント駆動型のコンピューティングサービス AWSのサービスをトリガーとして起動することなど可能

6. デフォルトのlambdaの実行コード entrypointはlambda独自の実装が必要

7. デプロイ方法 • Zipパッケージ • Docker Image

8. lambdaをローカルで開発するライブラリ • AWS SAM • serverless Framework など どちらもyamlでリソースを管理・デプロイ可能

9. AWS SAMの場合 template.yamlで管理

10. 便利！だけど...

11. yamlファイルの学習コスト • 独自プロパティが多い ◦ 運用コストがかかる ▪ フレームワークを使ったことないとわからない • yaml管理が若干オーバースペック ◦

    lambdaのみ開発したいなら、デプロイはaws-cliで十分

12. lambdaのみの開発とデプロイの理想 普段使っている技術でローカルの開発ができる & デプロイはaws cliで問題ない

13. では、何が良さそうか...?

14. デプロイ方法を眺めてみる • Zipパッケージ • Docker Image

15. デプロイ方法を眺めてみる • Zipパッケージ • Docker Image ➡ ローカル環境もDockerで開発して、デプロイもDocker Image使えば要件を満たせそ う！

16. 早速、Lambdaの公式イメージを探してみる

17. Dockerfileも簡単にかけそう！

18. そんな簡単ではなかった😇

19. ホットリロードが効かない lambdaのdocker imageは以下の手順で、関数実行用のruntimeを1度だけ生成する nodeのruntimeの場合 1. /lambda-entrypoint.sh (DockerのEntrypoint) 2. /var/runtime/bootstrap (runtime

    entrypoint) 3. node /var/runtime/index.mjs (関数用runtime生成） 関数実行runtimeの生成をホットリロードしたい！

20. Docker + ホットリロードが使え る仕組みはあるのか？🧐

21. AWS Lambda Runtime Interface Emulator (RIE)

22. AWS Lambda Runtime Interface Emulator (RIE)とは AWS Lambdaのランタイム環境をエミュレートするツール リポジトリ 引用:

    https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/runtimes-api.html

23. Runtime生成をホットリロードしたい = RIEを再起動させ続ければいい！ つまり...

24. RIEの使い方 提供されてるaws-lambda-runtime-interface-emulatorの実行ファイルを取得して、 実行することが可能 -> コンテナ内に配置して実行可能！

25. AWS Lambda Runtime Interface Client (RIC) Lambda ServiceとExecute Environmentが通信するためのクライアント カスタムイメージの場合はこれを自前で用意する必要がある

26. AWS Lambda Runtime Interface Client (RIC) RICは言語ごとに配布されている 引用:https://docs.aws.amazon.com/lambda/latest/dg/images-create.html#runtimes-api-client

27. AWS Lambda Runtime Interface Client (RIC) 本番環境ではlambdaをEmulateする必要がないため、RICのみImageに含める

28. Dockerfile 以下の３つに分割 • dockerfile.base ◦ RICを入れたベースイメージ • dockerfile.lcl ◦ ベースから作成した、RIC

    + RIEイメージ (ローカル開発) • dockerfile.prd ◦ ベースから作成したマルチステージビルドしたRICのみのイメージ (本番)

29. dockerfile.base RICインストール

30. dockerfile.lcl RIEインストール

31. dockerfile.prd

32. entrypoint.lcl.sh このファイルがnodemonに よってホットリロードされ、 RIEのプロセスが再起動さ れる 参考: https://dev.to/nipatiitti/custom-aws-lambda-docker-image-for-local-development-41j8

33. デプロイ buildしたImageをcliでそのままデプロイするだけで動く(ECR push済み)

34. ローカルのデバッグ方法 http://localhost:<PORT>/2015-03-31/functions/function/invocationsというエン ドポイントに対してリクエストする

35. DockerでLambda開発できた🎊

36. 数日後...

37. Xで面白そうな記事を見つけた 引用: https://aws.amazon.com/jp/builders-flash/202402/lambda-container-runtime/?awsf.filter-name=*all

38. 引用: https://aws.amazon.com/jp/builders-flash/202402/lambda-container-runtime/?awsf.filter-name=*all

39. 試してみる󰝋💨

40. AWS Lambda Web Adapter

41. AWS Lambda Web Adapterとは Lambda上で動かしているアプリケーションとRuntime APIの間に入り、lambda eventとhttpリクエストの変換を行うlambda extention リポジトリ

42. 参照: https://speakerdeck.com/_kensh/web-frameworks-on-lambda?slide=61

43. 何が嬉しいか Lambdaに依存したコーディングをせずに HTTP通信を扱えるフレームワークならデプロイすることが可能 -> ECSなどの別サービスとの互換性が高い(ポータビリティ)

44. lambdaにするメリット • 安価 • スケーラビリティ

45. Lambda Web Adapterで開発

46. 社内でECS -> Lambdaに 移行できそうなサービスを探してみた👀

47. Metabaseサーバー(ECS) OSSのBIツール 自前でサーバーをたてて、BIサーバーを立てる ことが可能 RDS, BigQueryのダッシュボードも作成可能

48. なぜLambdaに乗り換えられると思ったか • データを処理するタイミングはユーザーがダッシュボードを見るタイミング ◦ 常時起動は不要 • 社内でしか使わないため、レスポンス速度が多少悪くても問題ない ◦ コールドスタートの制約を気にしなくていい •

    Metabase自体がhttp通信できるので、web adapterで対応可能

49. いけそう！

50. web adapterを追加する デプロイするイメージのDockerfileに以下の１文を追加し、extension追加

51. web adapterを追加する 以下の環境変数を適切に設定する必要があります • AWS_LWA_READINESS_CHECK_PATH ◦ ヘルスチェック用のパス • PORT ◦

    サーバーのポート

52. できた！

53. けど、DBの同期がずっと終わらない...

54. こちらは解決まで至りませんでした... 必ずしも全てのアプリケーションですぐ動作するわけではなさそ う

55. 次に、全く新しいアプリケーションで 開発してみる

56. 開発したアプリ SPAの簡易BIツール 技術スタック • フロントエンド -> Vue.js • バックエンド ->

    node.js・express • DB -> PostgreSQL

57. 完成図

58. インフラ IAM認証 lambdaの関数URL がオリジン

59. 開発・デプロイについて • 開発 ◦ express動かしてるだけなので普通の開発と何も変わらない ◦ RIE/RICと違って、エンドポイントが自由に決められるのでフロント側でローカル専用 の書き換えなどが不要 ◦ 独自のホットリロード処理も不要

    • デプロイ ◦ Lambdaの関数更新はaws-cliで可能

60. インフラについて • パブリックアクセス可能なLambda関数URLのアクセス制限 ◦ Lambda関数URLはprivate subnetのVPCにいてもpublicなURL ◦ Lambda関数URLをIAM認証にして、Lambda@edgeで認証ヘッダー を付与 ▪

    これにより、CloudFront経由のみlambdaにアクセスが可能 ▪ しかしあまり綺麗ではない • 今後S3のようにIAMで制限してほしい！

61. ランタイムで発生したlambda特有のエラー npmがエラーログを吐き出すディレクトリ(/home/sbx_user1051/.npm/_logs)をサー バー起動時に作成しようとするがエラーになる ➡ lambdaの書き込みはエフェメラルストレージのみ可能(/tmp)

62. ランタイムで発生したlambda特有のエラー Dockerfileに以下を追加して対応 書き込み先をtmpに限定

63. まとめ

64. まとめ • web adapterの登場でlambdaに依存しないコード開発が可能になった ◦ web adapterを使ったデプロイも簡単にできる ◦ しかしECS ->

    Lambdaへの切り替えはスムーズとは限らない ▪ 本当にLambdaが適切か吟味する必要あり

65. Lambda Web Adapter でウェブアプリを (ほぼ) そのままサーバーレス化する AWS Lambda の上でいろんなWEB フレームワークを動かそう！

    / Web Frameworks on Lambda コンテナランタイムとしての AWS Lambda AWS Lambda Runtime Interface Clients / Emulator とはなにか Custom AWS Lambda Docker image for local development 参考文献