Digdag Serverについて


Digdag Serverを使うことで、Digdag ServerのTask Agentにジョブを依頼できます。
複数台のDigdag Serverを使うことで、並列で効率的にデータを処理できます。

🤔 Digdag Serverの構成

<img src=/img/digdag-beginner-tutorial-start-guide-workflow-engine_1.jpg alt=Digdag Serverの構成 />

  • REST API server:クライアントとの応答を行います
  • Task Agent:ワークフローの各タスク実行を行います
  • Workflow executor:ワークフローの実行管理を行います
  • Schedule executor:ワークフローのスケジュール管理を行います

🐯 Server Modeで動かしてみる

このDigdag Serverの起動コマンドはこちら。

digdag server --memory

ちなみに、--memoryはこの場合はインメモリのDBを使うことを表します。
(本番運用の際はH2(ファイル)かPostgreSQLが前提)

次にDigdag Serverにprojectを登録するコマンドがこちら。

digdag push <project>

projectを登録するとDigdagの管理するDBにタスクが履歴管理されて保存されます。

登録されたワークフローは次のコマンドで確認できます。

digdag workflow
#=> 2017-03-24 20:04:31 +0900: Digdag v0.9.7
#=> default
#=> digdag-sample

ワークフローを実行依頼するのは次のコマンドです。--session でいつ実行するかを指定できます。

digdag start default digdag-sample --session now

ちなみにブラウザで「http://127.0.0.1:65432」からも実行状況を確認できます。

<img src=/img/digdag-beginner-tutorial-start-guide-workflow-engine_2.jpg width=640 height=379 alt=Digdag Serverの管理画面 />

🚜 参考リンク

🖥 VULTRおすすめ

VULTR」はVPSサーバのサービスです。日本にリージョンがあり、最安は512MBで2.5ドル/月($0.004/時間)で借りることができます。4GBメモリでも月20ドルです。 最近はVULTRのヘビーユーザーになので、「ここ」から会員登録してもらえるとサービス開発が捗ります!

📚 おすすめの書籍