モデル
LIDstral Arabicを公開
原題: LIDstral Arabic
発表内容
Mistralは2026年10月8日、LIDstral Arabicを公開しました。
アラビア文字で書かれた文章の言語と方言を分類するモデルです。
現代標準アラビア語と、マグリブ、湾岸、ナイル流域、レバントなどのアラビア語方言を区別します。
同じ文字体系を使う非アラビア語を、文字だけでアラビア語と誤判定しないための分類も含みます。
対象にはペルシャ語、ウルドゥー語、パシュトー語、クルド語などが含まれます。
fastTextのone-vs-all分類器、MLP、クラス別の等張回帰による較正を組み合わせています。
CPUで動作するclassify.pyを同梱し、JSONL入力にも対応します。
対応する51分類のいずれかと、較正後の確率を返します。
モデル一式はHugging Faceの公開リポジトリから取得でき、Apache License 2.0で提供されます。
F1値などの性能比較はMistralの評価であり、独立評価ではありません。