開発・AI基盤
SGLang-Neuronを一般公開
原題: Deploy frontier AI models on AWS Trainium with SGLang-Neuron
SGLangをTrainiumへ接続
AWSは2026年11月13日、SGLang-Neuronを一般公開しました。
RadixArkとAnnapurna Labsが共同開発し、AWS Deep Learning Containerから利用できます。
AWS TrainiumでSGLangのmodel servingとreinforcement learning rolloutを実行します。
out-of-tree pluginとしてSGLangへNeuron platformを登録します。
SGLang coreのAPI server、request lifecycle、RadixAttention、prefix cache処理を維持します。
pluginはTrainium向けmodel、attention、Mixture of Experts、graph runnerを実装します。
TorchNeuronによりTrainiumをPyTorch deviceとして扱い、NKI kernelも利用します。
prefill serverとdecode serverを分けるPD disaggregationへ対応します。
公開containerの例ではTrainium3 instance上でgpt-oss-120bをOpenAI互換chat completions APIとしてserveします。
対応modelと検証済み構成はrepository docsで確認する必要があります。