PFP 推論に使用する Token の 消費を制御する機能として、Max Consumption Percentage （PFP Rate limit）を紹介します。類似機能として、ジョブの優先度機能についても合わせて説明します。
合わせてMatlantis Guidebookもご参照ください。
Max Consumption Percentage （PFP Rate limit）
概要
- 管理者がユーザーごとに使用可能なトークン消費速度を制限します。テナントに与えられたトークンの回復速度を100％として算出します。
- Dashboard > Users で設定します。
- Matlantis を起動中でも、設定を更新するとすぐに適用されます（再起動不要）。
- テナント内の全ユーザーに、100％をちょうど分配するように設定した場合、Token Availability が100%を割る（バーストする）ことは理論上ありません。
PFP load Status の Token Consumption Rate のイメージ：
設定した複数のユーザーが上限まで消費した計算を実行した場合、
- 消費速度上限に張り付くかたちで横ばいの積み上げグラフとなる
-
ユーザーに与えられた設定値はPFP load status に「Your Max Rate: xx%」と表示される
使用例：
-
同じテナント内に部署の異なるユーザーが混在している場合に、管理者が使用可能なToken量を所属部署に応じて設定できます。
優先度機能（Priority）
概要
- ジョブの優先度を設定できます。
- Token Availability の残量が減少した際に、Priority 設定に応じて実行されます。1~100 の数字で指定し、数字が大きい方ほど優先されます。
例：- 100 : 残量に寄らず実行される
- 30: Token Availabirity が 70 % を下回る場合、Token Availabirity 70%以上に回復するまで保留されます。
- いくつかの設定方法があります。設定方法について詳しくはこちらをご確認ください。以下は設定の強さ順です。複数設定された場合には強い方が採用されます。
- Estimator の引数として与える（コンストラクタ）
- Config.priority 変数に与える
- 環境変数として設定
- バックグラウンドジョブの実行時に設定
使用例：
- 常にPriority を低めに設定しておくと、優先度が高い、急ぎの計算が生じたときにその計算を優先して実行できる
- 急を要さず、他のユーザーの計算を圧迫したら申し訳ないから、計算時間を要すジョブはPriorityを下げて計算しよう
機能比較表
| Max Consumption Percentage (PFP Rate limit) |
優先度機能 （Priority） | |
| 使用者 | admin ユーザー | Notebook User すべて |
| 設定方法 |
Dashboard > Users ※admin 権限のないユーザーは設定できません。 |
複数の設定方法が存在（前述） |
| 適用範囲 | ユーザー単位 （そのユーザーのすべての計算） |
設定方法による
|
| 適用タイミング | 常時 | Token Availability が100 %を下回ったとき設定値に応じて |
FAQ:
-
Max Consumption Percentage と 優先度機能は同時に設定可能？
問題なく動作します。
バックグラウンドジョブ実行時のPriority 設定方法
バックグラウンドジョブ実行時の画面で「Use a lower Request Priority for this Background Job」を有効にして、数値を入力します。既定値の「10」は Token Availability が 90% 以上ない場合は計算が保留されることを意味します。
（参考）Background Job の使い方 > 実行について
ターミナルで実行する場合：
env PFP_DEFAULT_PRIORITY=10 mtl-bg-job run phonon.ipynb phonon_results.ipynb
（参考）
Backbroung Job の使い方 > コマンドラインツール