開発・消費者向け
NVIDIA PAIR仮想推論ルーター、ローカルネットワークの利用可能な計算資源を拡張
原題: NVIDIA PAIR Virtual Inference Router Expands Available Compute on Your Local Network
複数端末へローカル推論を分散
NVIDIAは9月3日、Personal AI Router（PAIR）のベータ版を公開しました。
ローカルネットワーク上の対応端末を検出し、独立した推論要求を利用可能な端末へ振り分けます。
OllamaとLM Studioの互換インターフェースをプロキシするため、対応エージェント側に新しいAPI統合は不要です。
Windows、macOS、Linux向けにGUIとターミナルの両方を提供します。
GeForce RTX 20シリーズ以降、Turing世代以降のRTX PRO、DGX Spark、Apple M4以降をサポートします。
端末の稼働状態、推論エンジン、モデルの有無、処理負荷、GPU利用率を見て新しい要求の実行先を選びます。
端末はmDNSで発見し、利用者がペアリングを承認した後、端末間通信をmTLSで保護します。
プロンプト、データ、推論通信を既存のローカルネットワーク内に保つ設計です。
1つの推論を複数GPUへ分割したり、VRAMを統合したりする機能ではありません。
並列に発生する複数の推論要求を端末ごとに実行する用途が対象です。
プロジェクトはオープンソースで、コードの確認、Issue報告、改善への参加ができます。
処理時間の数値はNVIDIAの特定構成によるデモで、一般的な性能保証ではありません。