モデル・開発

Transformersのモデル統合コントラクト

原題: Transformers Model Integration Contracts

重要提案・試験運用Hugging Face

小型fixtureでモデル統合の回帰をPR時に検出

Hugging Faceは2026年11月3日9時頃（日本時間）、Model Integration Contract（MIC）というモデル統合テストの提案仕様を公開しました。

MICは、実checkpointの構成を縮小したfixture、利用者の操作を再現する実行可能なMarkdown、確認済み出力のbaselineで構成します。

fixtureではモデルの幅と層数を減らす一方、tokenizer、processor、異なるlayer種、attentionやMoEの経路を保ちます。

大きなcheckpointを毎回読み込まず、CPU上で生成や学習stepを実行して、期待するtoken、loss、gradient、weight変化を比較できます。

Hugging Faceは、UMT5のdecoderが将来tokenを参照できた回帰を、小型fixtureによりCPUで13.4秒で再現したと報告しています。

fixtureとcontractはHugging Face Hubのhuggingface-micで公開し、fleet datasetがrevisionとpackage versionを固定します。

tmic CLIはcontractの下書き、fixture作成、baseline記録に対応し、local-only設定ではuploadせず手元で試せます。

新しいmodel向けの下書きにはLLMを使いますが、期待値の承認は人が行い、変更されたbaselineも人によるreviewを必要とします。

2026年11月1日時点でTransformers CIのMIC jobはPR上で失敗を報告しますが、mergeをblockしない試験運用です。

仕様は提案段階で、対応modelと利用経路は一部に限られ、実weightsを使う既存の統合テストを置き換えるものではありません。