タグ

batchに関するbraitomのブックマーク (4)

  • GitHub - Cysharp/ConsoleAppFramework: Zero Dependency, Zero Overhead, Zero Reflection, Zero Allocation, AOT Safe CLI Framework powered by C# Source Generator.

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - Cysharp/ConsoleAppFramework: Zero Dependency, Zero Overhead, Zero Reflection, Zero Allocation, AOT Safe CLI Framework powered by C# Source Generator.
    braitom
    braitom 2019/04/09
    C#のバッチフレームワーク。dotnet publishを使って実行可ファイルにしてCircle CIで使う、DockerにパックしてAWS Batchで動かすなどもできる。
  • バッチ処理の採用と設計を考えてみよう | メルカリエンジニアリング

    こんにちは。メルペイで、決済・振込申請のバックエンドソフトウェアエンジニアをしている id:koemu です。 今日は、バッチ処理を行う理由について、考察を深めて設計に活かしていく話をしたいと思います。 はじめに バッチ処理とは、ある決まったタイミングで1つのプログラムが複数のデータを 一括処理 することを指します。この反対の言葉として、オンライン処理があります。オンライン処理とは、お客様の操作を初めとしたイベントをもとに 逐次処理 されるものです。OLTP(Online Transaction Processing)とも言います。 エントリでは、バッチ処理を採用するにあたり、どういったユースケースが適切なのかを整理して、今後のソフトウェアの設計の指針にできることを目指しています。今回は、「バッチ処理を採用するとき」と「バッチ処理の設計」の2つについて取り上げます。 バッチ処理を採用する

    バッチ処理の採用と設計を考えてみよう | メルカリエンジニアリング
    braitom
    braitom 2019/02/27
    バッチ処理について。バッチ処理の定義、処理時間や回復可能性などのバッチ処理の設計について書かれている。
  • AWSサービスを用いた今後のバッチ処理のお話〜開発本部・TechLunch〜 - MEDLEYオフィシャルブログ

    オンライン診療アプリ「CLINICS」を開発している田中です。 日は、メドレー開発部にて隔週で行われている勉強会(TechLunch)で、今後のバッチ処理構成の1つとして活用できそうなAWSサービスの紹介を行ったので、その一部を紹介したいと思います。 背景と勉強会の目的 メドレーでのバッチ処理 メドレーの各プロダクトは環境として主にAWSを使用しており、いわゆる「バッチ処理」(時間起動でのデータ一括処理系)については、スケジューラとして使用しているJenkinsからバッチ用EC2インスタンス上のバッチ処理をキックする、という構成が多いです。 (短時間で完了し、ワークフロー自体シンプルなバッチについては、スケジューラにLambdaを利用する構成も増えてきました) その他、SQSを用いたキューイング処理、Kinesis/Lambdaを使用したログストリーミング処理など様々な構成で動いていま

    AWSサービスを用いた今後のバッチ処理のお話〜開発本部・TechLunch〜 - MEDLEYオフィシャルブログ
    braitom
    braitom 2017/03/23
    AWS BatchとStep Functionsの比較、メリデメ。
  • AWS Batch とは何か - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AWS re:Invent 2016 で発表された AWS Batch。 語感から、誤解されるサービス No.1 な気がします。 定時バッチなどとは何がどう違うのかをメモ。 機能概要 以下公式資料とドキュメント、実際さわってみた所感を合わせて。 AWS Batch – 簡単に使えて効率的なバッチコンピューティング機能 – AWS AWS Black Belt Online Seminar「AWS Batch」の資料およびQA公開 結局何なのか 科学技術計算・ハイパフォーマンスコンピューティング用途で真価を発揮する、 大規模なスケール、ジ

    AWS Batch とは何か - Qiita
    braitom
    braitom 2017/03/01
    なるほど。cronではない。並列分散処理基盤。
  • 1