PFP 推論に使用する Token の 消費を制御する機能として、Max Consumption Percentage (PFP Rate limit)を紹介します。類似機能として、ジョブの優先度機能についても合わせて説明します。
合わせてMatlantis Guidebookもご参照ください。
Max Consumption Percentage (PFP Rate limit)
概要
- 管理者がユーザーごとに使用可能なトークン消費速度を制限します。テナントに与えられたトークンの回復速度を100%として算出します。
- Dashboard > Users で設定します。
- Matlantis を起動中でも、設定を更新するとすぐに適用されます(再起動不要)。
- テナント内の全ユーザーに、100%をちょうど分配するように設定した場合、Token Availability が100%を割る(バーストする)ことは理論上ありません。
PFP load Status の Token Consumption Rate のイメージ:
設定した複数のユーザーが上限まで消費した計算を実行した場合、
- 消費速度上限に張り付くかたちで横ばいの積み上げグラフとなる
-
ユーザーに与えられた設定値はPFP load status に「Your Max Rate: xx%」と表示される
使用例:
-
同じテナント内に部署の異なるユーザーが混在している場合に、管理者が使用可能なToken量を所属部署に応じて設定できます。
優先度機能(Priority)
概要
- ジョブの優先度を設定できます。
- Token Availability の残量が減少した際に、Priority 設定に応じて実行されます。1~100 の数字で指定し、数字が大きい方ほど優先されます。
例:- 100 : 残量に寄らず実行される
- 30: Token Availabirity が 70 % を下回る場合、Token Availabirity 70%以上に回復するまで保留されます。
- いくつかの設定方法があります。設定方法について詳しくはこちらをご確認ください。以下は設定の強さ順です。複数設定された場合には強い方が採用されます。
- Estimator の引数として与える(コンストラクタ)
- Config.priority 変数に与える
- 環境変数として設定
- バックグラウンドジョブの実行時に設定
使用例:
- 常にPriority を低めに設定しておくと、優先度が高い、急ぎの計算が生じたときにその計算を優先して実行できる
- 急を要さず、他のユーザーの計算を圧迫したら申し訳ないから、計算時間を要すジョブはPriorityを下げて計算しよう
機能比較表
| Max Consumption Percentage (PFP Rate limit) |
優先度機能 (Priority) | |
| 使用者 | admin ユーザー | Notebook User すべて |
| 設定方法 |
Dashboard > Users ※admin 権限のないユーザーは設定できません。 |
複数の設定方法が存在(前述) |
| 適用範囲 | ユーザー単位 (そのユーザーのすべての計算) |
設定方法による
|
| 適用タイミング | 常時 | Token Availability が100 %を下回ったとき設定値に応じて |
FAQ:
-
Max Consumption Percentage と 優先度機能は同時に設定可能?
問題なく動作します。
バックグラウンドジョブ実行時のPriority 設定方法
バックグラウンドジョブ実行時の画面で「Use a lower Request Priority for this Background Job」を有効にして、数値を入力します。既定値の「10」は Token Availability が 90% 以上ない場合は計算が保留されることを意味します。
(参考)Background Job の使い方 > 実行について
ターミナルで実行する場合:
env PFP_DEFAULT_PRIORITY=10 mtl-bg-job run phonon.ipynb phonon_results.ipynb
(参考)
Backbroung Job の使い方 > コマンドラインツール