はてなブックマーク

前置き こんにちは。データエンジニアの山口です！ Streamlitでデータ可視化アプリを作成しており、 Streamlitアプリ上に手入力した値とSnowflake内の値を結合してデータを可視化したいなと思ったので、やり方を考えてみました。 結論 Streamlitアプリ上に手入力した値をSnowflakeのテーブルにデータを挿入・更新して、 すでにSnowflakeに入っているデータと結合すればいいのではないかと言う考えに至りました。 Streamlitのform_submit_button関数が使えそうだったので、そちらを使っていきます！ 機能を実装する 早速機能を実装していきます！ 前準備 まずはStreamlitから更新をするテーブルを用意しておきます。 今回は従業員マスターというテーブルを以下のクエリで作成して、 このテーブルの中にINSERT文などで、いくつか適当にデータを入

import sys import json import boto3 import ast import os import snowflake.connector import pymysql from snowflake.connector import DictCursor from sqlalchemy import create_engine from sqlalchemy.sql import text from datetime import datetime def lambda_handler(event, context): # 今日の日付とSQLを実行する日時を変数で用意 today = datetime.now() updated_at_str = datetime.strftime(today, '%Y-%m-%d %H:%M:%S') ## Snowflake

今回の課題 以下の前回の記事の機能を実装する際に、権限まわりでエラーが発生してしまったので解決した方法を記録する。 また、一応は解決できたが、解決できた理由がイマイチ理解できていなかったため、色々調査することにした。 発生した問題を解決する 前提 使用している権限 Lambdaにはpractice-Lambda-RDStoS3-role-idais11pというロールで権限が渡されている。 S3にアクセスや操作をできるようにするための権限(s3:GetObjectやs3:DeleteObjectなど)を持ったポリシーをアタッチしている。 こちらのロールの信頼されたエンティティは以下となっている。(Lambda実行時にAssumeRoleによって、ロールが所持しているポリシーの権限をLambdaが使える) import json import boto3 import time from bo

今回の課題 今後、業務でAWSとSnowflakeでデータ基盤を構築・運用していくことになるので、 勉強のために、自分で１からデータ基盤・データパイプラインの作成に挑戦してみた。 後から見返しやすいように、どのように作成したのかまとめてみる。 どのようにデータ基盤を作ったのか 以下のアーキテクチャ図のように作ってみた。 データ基盤作成手順 どのようにデータ基盤を作成したのか、手順に沿ってまとめてみた。 手順毎の詳細は、以前に別の記事で書いているので、そちらの記事も手順毎に記載した。 1)EC2上でRDSを動かす&RDSにデータを入れる 下記の記事を参考にしながら、以下を実装。 VPCを構築し、その中にEC2とRDSを立てる。 今回は、ターミナルからAWSにSSH接続して、create tableやinsertなどを実行してRDSにデータを入れるようにした。 ※注意:Snowflakeのリー

今回の課題 以前、下記の記事にて、S3からSnowflakeへのデータのロードを手動で行えるように実装したので、 今回はSnowpipe機能を使用し、ファイルがエクスポートされたと同時に自動的にSnowflakeにロードされる機能を実装したい。 実装する手順 前提として、外部ステージを作成しておく必要があります。 こちらの記事では、上記の記事で作成した外部ステージであるexternal_stageを使用する。 また、上記の記事でも記載されているが、ここでの外部ステージはS3のことである。 公式ドキュメントに記載がある通り、以下の流れで処理が走るように実装していく。 データファイルはステージにロードされます。 S3イベント通知は、SQS キューを介してSnowpipeにファイルをロードする準備ができたことを通知します。Snowpipeはファイルをキューにコピーします。 Snowflakeが提

今回の課題 以前、CloudFormationを使って、AWSのリソースをコードで管理するということに挑戦をしたので、 今回は、CloudFormationのコード履歴をGitHubで管理する方法を調査して、実際に実装してみることにした。 ◼︎前回の記事 今回実施したこと GitHub Actionsを使用して、 GitHubにymlファイルをプッシュしたら、S3にも同じファイルがアップロードされる という機能を実装してみた。 下記の記事を参考にしながら進めた。 実装した手順 1)AWSのリソースを用意する 1)-1.ブロックパブリックアクセス（バケット設定）をオフにする 1)-2でバケットポリシーの編集をするので、 ブロックパブリックアクセス（バケット設定）を無効にしておく。 ※ブロックパブリックアクセス（バケット設定）が有効だと、 バケットポリシーの編集ができない。 1)-2.テンプレ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

今回の課題 Kaggleで時系列データ分析についてインプットをしていたところ、 ラグ特徴量という特徴量が出てきた。 使い所について、イマイチ理解ができなかったため、勉強することにした。 ラグ特徴量とは 今の時間の特徴だけに注目せずに、過去や未来の特徴を用いて、 現在のデータの特徴量を増やす方法。 ラグ特徴量を用いることで、機械学習モデルの予測精度を向上できる可能性がある。 （ラグ特徴量を追加するので、重回帰分析になる。） 過去のデータを特徴量として使い、機械学習モデルの予測精度を向上させたいときに使うことができる。 ※参考：【機械学習】時系列データの前処理 -ラグ特徴量作成- コード 1)関数を用意しておく #指定したカラム、指定した単位でgroupbyして集計してデータフレームで返す関数 def grouped(df, key, freq, col): # Grouperは、時系列をGr