開発
OpenAI APIが急増トラフィックと一時過負荷のエラーを区別
原題: Changelog — Sep 2 Update
再試行判断に使えるエラーコードを追加
OpenAIは9月2日、APIの過負荷関連エラーを更新しました。
トラフィックが急激に増えた場合は、HTTP 429とslow_downコードを返すことがあります。
モデルが一時的に過負荷の場合は、HTTP 503とserver_is_overloadedコードを返します。
これにより、アプリケーションは送信量の急増とモデル側の一時過負荷を区別できます。
どちらの応答にもRetry-Afterヘッダーが含まれる場合があります。
ヘッダーがある場合は、指定された時間以上待ってから再試行する必要があります。
ヘッダーがない場合は、指数バックオフを使うよう案内されています。
実装側はHTTPステータスだけでなく、返されたエラーコードも再試行制御へ利用できます。
更新はOpenAI APIのエラーコードとレート制限の公式ガイドへ反映されています。