Digdag Serverについて


Digdag Serverを使うことで、Digdag ServerのTask Agentにジョブを依頼できます。
複数台のDigdag Serverを使うことで、並列で効率的にデータを処理できます。

🐹 Digdag Serverの構成

Digdag

  • REST API server:クライアントとの応答を行います
  • Task Agent:ワークフローの各タスク実行を行います
  • Workflow executor:ワークフローの実行管理を行います
  • Schedule executor:ワークフローのスケジュール管理を行います

🤔 Server Modeで動かしてみる

このDigdag Serverの起動コマンドはこちら。

digdag server --memory

ちなみに、--memoryはこの場合はインメモリのDBを使うことを表します。
(本番運用の際はH2(ファイル)かPostgreSQLが前提)

次にDigdag Serverにprojectを登録するコマンドがこちら。

digdag push <project>

projectを登録するとDigdagの管理するDBにタスクが履歴管理されて保存されます。

登録されたワークフローは次のコマンドで確認できます。

digdag workflow
#=> 2017-03-24 20:04:31 +0900: Digdag v0.9.7
#=> default
#=> digdag-sample

ワークフローを実行依頼するのは次のコマンドです。--session でいつ実行するかを指定できます。

digdag start default digdag-sample --session now

ちなみにブラウザで「http://127.0.0.1:65432」からも実行状況を確認できます。

Digdag

🗻 参考リンク

📚 おすすめの書籍