日本語に強いオープンソースLLMをどう選ぶ？同じ課題で比べる評価票

日本語の業務に使うLLMを選ぶなら、先に「正しい回答とは何か」を決め、同じ資料と指示で回答を比べます。文章が自然でも、担当者や期限を取り違えるなら、その業務には使えません。LLMは文章などを生成する大規模言語モデルのことです。

この記事では、架空の作業メモから表を作る課題を使い、入力・期待する結果・確認項目のそろえ方を説明します。モデルのダウンロードや実行は行っていません。掲載する表と誤回答は説明用に作った例であり、特定モデルの出力、実測ベンチマーク、日本語性能の順位ではありません。

公開条件と対象版を確認し、日本語の優劣とは分ける

「オープンソースLLM」という検索語で探しても、公開条件が同じモデルばかりとは限りません。候補の名前だけで扱いを決めず、対象モデルの説明ページであるモデルカードと、そこに示されたライセンスを確認します。学習済みの数値データを公開するopen weightsという説明も、無条件で使えるという意味には取りません。

候補を整理する入口として、公式モデルカードで確認できた範囲を示します。確認日は2026年10月17日です。カードの公開・改訂日は今回の取得資料では確定できていません。利用時には対象版の条件を確認してください。

日本語instructionデータとは、日本語の指示と応答を含む学習用データです。こうした説明は候補を調べる手掛かりですが、日本語での正確さを一律に保証する情報ではありません。GemmaのライセンスはApache-2.0とは別です。ここでは規約の詳細条項を確認していないため、商用利用や再配布の可否を断定しません。

モデル名が決まったら、比較に使う版も記録します。配布元の識別子、改訂番号、実行ソフト、入力全文、出力上限を残してください。数値表現を軽くする量子化の方式や、推論過程を出す設定に違いがある場合も記録します。名前が似ていても、条件の違う結果を同じ結果として扱わないためです。導入手順や安全性の点検とは別に、ここからは回答の中身を確認します。

架空の日本語入力を固定し、期待する表を先に作る

以下を一つの入力として保存します。実在する人物や業務の記録ではありません。T01とT02は作業を識別するための番号です。比較する間は、人名や金額を含めて文章を変えません。

【評価用の架空メモ】
T01：案内文の修正は佐藤が担当する。期限は未定。予算は30000円。
T02：備品リストの確認は田中が担当する。期限は2026-11-05。予算は20000円。
T01の外部発注は行わない。T02の外部発注は未定。
どちらの作業も完了していない。実際の支出額は記載していない。

このメモに付ける指示も固定します。表の形だけを指定すると、モデルが期限を補ってよいか、予算をどう表記するかが曖昧になるため、値の扱いまで書きます。

メモに書かれた事実だけを使い、T01、T02の順に表を作ってください。
列は「ID／担当／期限／予算／外部発注／完了状況／実支出」とします。
予算は円を付け、桁区切りなしで表記してください。
期限と外部発注はメモの表現を保ってください。
完了状況は「未完了」、実支出は「記載なし」としてください。
未定や記載なしの値を推測で埋めないでください。説明文は不要です。

人が原文から作った期待値は、次の表です。これは実行後の結果表ではありません。回答を読む前に用意する照合先です。

期限の「未定」は、日付を決めていないという原文の情報です。「記載なし」へ置き換えると意味がずれます。一方、実支出の金額は原文にありません。予算をそのまま実支出へ写す回答は不正解です。金額が同じでも、予算と支出では指しているものが違います。

否定も分けて読みます。T01の「外部発注は行わない」は、発注するという意味にはできません。T02は「未定」なので、行うとも行わないとも決められません。「どちらの作業も完了していない」は両方が未完了という情報で、片方だけを未完了にする根拠はありません。

追加の質問を試す場合は、表を作る課題と別の欄に記録します。たとえば「T01の期限日はいつですか」には、原文からは未定としか答えられません。「実支出はいくらですか」にも金額の根拠はありません。評価者が日付や金額を想像して正解欄に入れると、回答の誤りを見逃します。まず原文に答えがあるかを確かめるのが先です。

流暢さと事実の一致を分けて評価票に残す

出力を受け取ったら、全体の印象より先に、表の各欄を原文と照合します。次の票はそのまま使える確認用のひな形です。まだモデルを動かしていないので、結果欄はすべて未実行としています。

誤りの記録には、回答の該当箇所と原文の根拠を添えます。「T01の期限を2026-11-05とした」という架空の誤回答なら、T02の日付を別の行へ移した取り違えです。「T02の外部発注は行わない」なら、未定を確定事項へ変えています。これらは説明用に作った誤りであり、実モデルの挙動ではありません。

合計点を先に作る必要はありません。担当と金額が合っていても、未定の日付を埋める誤りが業務上許容できるとは限らないからです。まず項目ごとに「一致・不一致・判定保留」を付け、不一致には理由を残します。許容する表記差と、許容しない意味の変化は、回答を見る前に決めておきます。

この課題では、列名と値の表記まで指示しています。表の区切り線や空白の違いは、セルの値と順序が同じなら問題にしない、という運用が考えられます。ただし、後段の処理が特定の書式を必要とするなら、その要件を事前に追加してください。読みやすさの評価と、機械で受け取れる形式かどうかの評価は、別々に残すと原因を追いやすくなります。

要約や敬体への書換えも調べたい場合は、同じメモを使って別課題にします。要約では担当・期限・予算のどこまでを必須情報にするか、敬体への書換えでは否定と未定を維持できているかを先に決めます。このメモで正答しても、長文の読解まで評価したとは扱いません。

未実行は未実行と残し、次の試験条件を決める

実行の記録は回答全文と一緒に残します。記録票に必要な項目は以下のとおりです。

• モデルの識別子と設定
• 実行日時
• 入力の版
• 判定者
• 人が手直しした内容

失敗した回答も保存してください。出力を人が直した後の表だけでは、どの誤りをモデルが出したのか分からなくなります。

同じ条件で再度試した場合も、前の回答を上書きせず別の記録として扱います。指示を改善してから比べるなら、改善後の入力を各候補へ同じように適用します。一方だけに補足した指示の結果を、共通条件での比較と呼ばないことが大切です。

今回の例で確かめられるのは、短い日本語メモの事実抽出と条件の保持です。長文、専門文書、曖昧な依頼での品質や、実行速度、必要なメモリまでは分かりません。ここで紹介したモデルについても、結果欄を埋める実行はしていません。公式の評価結果を引用する場合は、評価課題や条件が同じかを別途確認する必要があります。

次に行うことは、候補を一位から並べることではありません。まず業務で困る誤りを定め、架空の入力と期待値を一組保存し、条件をそろえて試せる状態にします。実行を許可された環境で得た回答を照合してから、その業務に使えるか、どこに人の確認が要るかを判断してください。

参照した公式資料：
– Qwen3-8Bのモデルカード
– Gemma 3 4B ITのモデルカード
– LLM-jp-3 3.7B instructのモデルカード