Digdag Serverについて


Digdag Serverを使うことで、Digdag ServerのTask Agentにジョブを依頼できます。
複数台のDigdag Serverを使うことで、並列で効率的にデータを処理できます。

🗻 Digdag Serverの構成

Digdag

  • REST API server：クライアントとの応答を行います
  • Task Agent：ワークフローの各タスク実行を行います
  • Workflow executor：ワークフローの実行管理を行います
  • Schedule executor：ワークフローのスケジュール管理を行います

🐮 Server Modeで動かしてみる

このDigdag Serverの起動コマンドはこちら。

digdag server --memory

ちなみに、--memoryはこの場合はインメモリのDBを使うことを表します。
(本番運用の際はH2(ファイル)かPostgreSQLが前提)

次にDigdag Serverにprojectを登録するコマンドがこちら。

digdag push

projectを登録するとDigdagの管理するDBにタスクが履歴管理されて保存されます。

登録されたワークフローは次のコマンドで確認できます。

digdag workflow
#=> 2017-03-24 20:04:31 +0900: Digdag v0.9.7
#=>  default
#=>    digdag-sample

ワークフローを実行依頼するのは次のコマンドです。--session でいつ実行するかを指定できます。

digdag start default digdag-sample --session now

ちなみにブラウザで「http://127.0.0.1:65432」からも実行状況を確認できます。

Digdag

🚜 参考リンク

🖥 VULTRおすすめ

「VULTR」はVPSサーバのサービスです。日本にリージョンがあり、最安は512MBで2.5ドル/月($0.004/時間)で借りることができます。4GBメモリでも月20ドルです。 最近はVULTRのヘビーユーザーになので、「ここ」から会員登録してもらえるとサービス開発が捗ります！

📚 おすすめの書籍