「DigDag」はTreasure Data製のワークフローエンジンのOSSです。ワークフローエンジンを使うことでバッチ処理の依存関係を明確に定義できたり、ジョブの管理をしやすくなります。また、Dockerと組み合わせることで、言語や環境を自由に選ぶことができます。
🤔 紹介スライド
2017/6/9に発表したDigdagの紹介LTのスライドです。Web画面からタスクの実行状況がわかったり、再実行ができたりするのは便利です！
🚕 Digdagの特徴
- 手動で行っている操作をYAML(.dig) で「ワークフロー」に書いて定義できます
- 依存関係のある複数のタスクを管理・実行しやすくするためのしくみです
- タスクが失敗した場合、時間内にワークフローが終了しない場合の通知を行うことができます
- PostgreSQLだけを維持すればDigdagサーバはいつでも立てたり落としたりできる本番環境に優しい設計 by @frsyuki
- AWSのS3やRedshift、トレジャーデータのサービスとの連携が楽になります
🎃 開発者の古橋さんの紹介スライド
🖥 VULTRおすすめ
「VULTR」はVPSサーバのサービスです。日本にリージョンがあり、最安は512MBで2.5ドル/月($0.004/時間)で借りることができます。4GBメモリでも月20ドルです。 最近はVULTRのヘビーユーザーになので、「ここ」から会員登録してもらえるとサービス開発が捗ります！
📚 おすすめの書籍
