日本語特化モデルの新版を公開しました

日本語特化モデルの新版「SUGUSAKU-LM 7B」を公開しました。今回はパラメータ数を増やすのではなく、トークナイザの語彙設計を見直しています。同じ文章を処理するときのトークン数がおよそ2割減り、そのぶん推論のコストが下がりました。

なぜトークナイザを見直したのか

海外で開発されたモデルの多くは、英語を基準に語彙が設計されています。そのまま日本語を通すと、1つの熟語が複数のトークンに分割されることが頻繁に起こります。「有価証券報告書」のような語が5つも6つものトークンになると、同じ内容を処理するのに英語の数倍のコストがかかります。

パラメータ数を増やせば精度は上がりますが、運用コストも比例して増えます。実務で毎日使われるものにするには、1回あたりの処理を軽くするほうが効きます。今回はそこに手を入れました。

具体的に変えたこと

• 日本語の語彙を32,000から48,000に拡張しました
• 業務文書に頻出する熟語（取締役会、有価証券報告書、労働者派遣など）を単一トークンとして登録しています
• 半角と全角が混在する表記を、前処理で正規化してから学習しました
• 数値と単位の組み合わせ（3,000万円、1.2億円など）の分割規則を見直しています

変わったこと

• トークン数が約2割減りました。 社内の評価用データセット（業務文書1万件）での平均値です。文書の種類によって14%から27%の幅があります。
• 応答が速くなりました。 同一条件での検索から回答表示までが、平均3.5秒から2.8秒になっています。
• 長い文書を一度に扱えます。 コンテキスト長は32,768トークンのままですが、実質的に入る日本語の量が増えました。
• 精度は横ばいです。 正答率は旧版とほぼ同等でした。今回の目的はコストであり、精度の向上ではありません。

仕様

モデル名	SUGUSAKU-LM 7B
パラメータ数	70億
学習データ	日本語の公開コーパスと、権利者から許諾を得たデータ。お客様からお預かりしたデータは含みません
コンテキスト長	32,768トークン
トークナイザ	日本語の語彙を拡張。旧版に比べて同じ文章のトークン数がおよそ2割減りました
提供形態	SUGUSAKU Studio に順次適用。API経由でもご利用いただけます
適用時期	2026年5月上旬から、プランを問わず順次切り替えます

開発を担当した研究者から

パラメータ数を増やすほうが、成果としては分かりやすい。ただ、うちのモデルは毎日の業務のなかで何万回も呼ばれます。1回の処理を軽くするほうが、結果としてお客様の負担は下がる。地味ですが、そこに手を入れました。

語彙の設計は、ひたすら実際の業務文書を眺める作業です。どの熟語が頻出するかは業種で違うので、金融と製造とメディアの文書を並べて、共通して出てくるものから登録していきました。

株式会社SUGUSAKU　研究開発部（架空）

料金への影響

今回の更新による料金の変更はありません。推論コストが下がったぶんは、当社が吸収します。プランの内容も変わりません。詳細は3つのプランをご覧ください。

お客様のデータの扱いも変わりません。SaaSとしてご利用いただく場合、入力された文書と質問を当社モデルの学習に使うことはありません。今回の学習にも使っていません。詳細はセキュリティとデータの扱いに記載しています。

次に取り組むこと

表が複雑に入れ子になったExcelの読み取りが、現状の弱点です。意味を取り違えることがあり、この点は正直に申し上げています。次の版では、表構造の解析を作り直す予定です。研究の進め方は研究開発の取り組みに書いています。

切り替えの手続きについて

お客様側での作業は不要です。2026年5月上旬から順次切り替えます。切り替えの前後で回答の傾向が変わる可能性があるため、事前に検証環境で確認されたい場合はお問い合わせフォームからご連絡ください。旧版を継続してご利用いただくこともできます。