リソースの有効活用と開発効率の向上を実現します。
システムの状況を定点観測し、AIのボトルネックを推定します
モニタリング結果をフィードバックとして活用し、高速化のサイクルを継続的に回すことができます。
継続的に使用することで、更なる高速化が期待できます
ハードウェア負荷の監視
どの処理がどのリソースをどの程度使用しているか
ボトルネックの特定
プログラムのどの部分が特定のハードウェアリソース（CPUやGPU）に負荷をかけているか
非効率なコードの検出
リソース消費が多いが、結果への貢献が少ない処理はないか
適切なソフトウェアライブラリへの置き換え
適切なパラメータ設定
並列化手法の適用
高速化の結果を再びモニタリングすることで、高速化のサイクルを継続的に回すことができます。
LLMに専門知識を加える継続事前学習ライブラリ「Megatron-LM」の高速化事例
継続事前学習の高速化事例について詳しくは
ホワイトペーパーをダウンロード
