タイ語 生成AIの精度と費用｜崩れるのはモデルではなく前処理

タイ拠点で生成AIを入れると、日本語や英語では期待どおりに動くのにタイ語だけ精度が落ちる、という報告が上がります。多くの現場はそこでモデルを乗り換えますが、たいてい直りません。タイ語 生成AIがうまく動かないとき、壊れているのはモデルではなく、その手前にある文字と語の処理だからです。この記事では、タイ語の処理を4つの層に分け、どの層を直せば何が良くなるのかを用途別に整理します。

タイ語 生成AIで「精度が出ない」と言われるとき、実際に起きていること

タイ拠点で最初に上がってくる報告は、だいたい次の3つの形をしています。

• 社内文書を検索させても、あるはずの文書が出てこない。日本語で同じ質問をすると出てくる
• タイ語の日報や検査記録を集計させると、合計が現場の実感と合わない。同じ設備の記録が2つに割れている
• 翻訳や要約は動くが、訳が硬い、固有名詞が変わる、丁寧さの度合いが揃わない

いずれも「常に間違える」のではなく「たまに間違える」形で出ます。これが厄介なところです。常に落ちるなら設定を疑いますが、たまに落ちるものは再現手順が書けません。再現手順が書けない不具合は、原因の特定を飛ばして「モデルの実力不足」という説明に落ち着きやすくなります。

そこでモデルを乗り換えます。より新しいモデル、より大きいモデル、タイ語対応をうたうモデル。ところが症状は同じ形で残ります。検索が当たらない件数が少し減ることはあっても、当たらない文書は当たらないままです。

理由は単純で、モデルは処理の一番下流にいるからです。上流で壊れた文字列や、上流で不適切に切られた語は、そのままモデルへの入力になります。入力が壊れていれば、どんなモデルでも同じ場所でつまずきます。乗り換えても直らないのは、直すべき場所に手が入っていないからです。

この記事では、タイ語の処理を文字・語・トークン・意味の4層に分けます。層に分ける目的は、どの症状がどの層の問題なのかを切り分けて、直す順番を決められるようにすることです。順番を間違えると、費用と時間の大半が最後の層に吸われます。

タイ語の処理は4層に分かれる — 文字・語・トークン・意味

タイ語の文書が生成AIに渡るまでに、4つの層を通ります。上流から順に、文字層、語層、トークン層、意味層です。

この4層には、実務上いくつか性質の違いがあります。

上流ほど、一度作れば効き続けます。 第1層の正規化は、一度入口に置いてしまえば、その後に増える文書にも自動で効きます。対して第3層のモデル利用料は使った分だけ発生し続けます。

上流ほど、壊れたときの影響範囲が広くなります。 第1層が壊れると、検索も集計も要約も同時に外れます。第4層が弱いだけなら、影響は生成文の質にとどまります。

そして上流ほど、症状がモデルのせいに見えます。 第1層と第2層の失敗は「たまに」の形で出るため、原因が特定されないまま下流に責任が転嫁されます。

タイ拠点で見てきた範囲では、精度の相談として持ち込まれるものの多くが、第1層と第2層で説明がつきます。第4層の問題として扱うべきものは、上流を固めた後でないとそもそも判別できません。

第1層 文字層 — 見た目が同じで中身が違うタイ語

第1層でやることは一つだけです。同じ意味の文字列を、同じバイト列に揃える。

タイ語では、これが日本語よりも難しくなります。理由は、タイ文字が子音字の上下左右に母音記号や声調記号を積む構造をしているからです。上に付く母音記号と声調記号は、打ち込む順番が入れ替わっても、画面上ではほぼ同じに見えます。人の目には同じ単語ですが、コンピュータにとっては別の文字列です。

これに加えて、タイ語の文書には次のような揺れが混ざります。

• 目に見えない区切り文字が本文に埋め込まれている。改行位置を制御するために使われるもので、コピー元によって入っていたりいなかったりする
• 年が仏暦で書かれている。検査記録や契約書では西暦より仏暦のほうが普通
• 数字がタイ数字で書かれている。ロット番号や図番の一部にだけ混ざることがある
• 英語の設備名やコードが、全角と半角、大文字と小文字で揺れている

現場でどう見えるか。 設備マスタとタイ語の日報を突き合わせると「該当なし」が出ます。担当者が画面上で両方を見比べても、まったく同じ文字列に見えます。そこで「システムの検索がおかしい」という話になり、検索エンジンの設定やモデルの話に流れていきます。実際には、片方に見えない文字が1つ入っているだけ、ということが起こります。

第1層の直し方は、機能としては地味です。取り込みの入口を一本にして、そこで必ず正規化を通す。具体的には、文字の正規化、見えない区切り文字の除去、タイ数字のアラビア数字への変換、仏暦の西暦への変換、英数字の表記統一。これだけです。

重要なのは置き場所です。正規化処理を検索側にも集計側にも要約側にもばらばらに書くと、どれか一つを直したときに他が揃わなくなります。入口で一度だけ通し、それより下流は正規化済みの文字列しか扱わない、という約束にしておくほうが後の運用が楽になります。

第1層が固まっているかどうかは、目視ではなく数で確認できます。同じはずの語が何通りの文字列に割れているかを数える。この件数が減っていく間は、まだ第1層の作業が残っています。

第2層 語層 — 空白が無い言語で「どこで切るか」を誰も決めていない

ここがタイ語の生成AIで最も重要な層です。

PyThaiNLPの論文は、タイ語の書き方について「Thai is a scriptio continua」と述べています。語の間にも文の間にも空白その他の区切りが無い書き方が最も一般的だ、という説明です。つまりタイ語の文は、日本語のように単語が視覚的に分かれておらず、英語のように空白で区切られてもいません。連続した文字の列として書かれます。

すると、コンピュータ側は「どこで語を切るか」を自分で決めなければなりません。この処理を分かち書き（word segmentation）と呼びます。タイ語を扱うシステムは、明示的にせよ暗黙にせよ、必ずどこかで語を切っています。

問題は、この切り方に依存している処理が一つではないことです。

• 検索のインデックス作成は、切られた語を単位に作られる
• RAGのチャンク分割は、語や文の境界を手がかりに区切る
• キーワード一致や辞書照合は、切られた語と辞書の語を突き合わせる
• 精度の評価も、切られた単位で正解と比較する

つまり、切り方が変われば、この4つが同時に変わります。逆に言えば、切り方が悪ければ4つが同時に壊れます。しかも壊れ方が均一ではないため、症状は「検索が当たったり当たらなかったりする」という形になります。

タイ拠点の文書で切り方が崩れやすいのは、社内固有名詞のところです。設備名、部品名、社内略号、ライン名。これらは一般的な辞書に載っていません。辞書に無い語は、既定の分かち書きだと近い語の組み合わせに分解されます。分解のされ方は前後の文字によって変わるので、同じ設備名が文書によって別の切られ方をします。

現場でどう見えるか。 同じ設備の日報が、集計上2つの設備として並びます。担当者は「1台しかない設備が2行ある」と報告しますが、原因は設備マスタでもデータ入力でもなく、文書を語に切った時点で名前が2通りに割れていたことです。

第2層の直し方は、社内固有名詞の辞書を作って分かち書きに読ませることです。これは技術の作業というより、現地スタッフと一緒に語彙を洗い出す作業になります。そして設備や部品が増えるたびに追加が必要なので、一度きりでは終わりません。

多言語のナレッジ検索をどう組み立てるかは、工場のナレッジ検索をRAGで作るときの進め方でも扱っています。タイ語を含む検索を設計するときは、この第2層をどこで担保するかを先に決めておくと後戻りが減ります。

分かち書きの精度71.18%という数字の読み方

タイ語の分かち書きには公開されたベンチマークがあります。PyThaiNLPの論文によれば、PyThaiNLPの既定エンジンであるNewMM は BEST 2010 ベンチマークで 71.18%、同時点の最高水準は 95.60% でした。

NewMM は、辞書ベースの最長一致（maximum matching）で語を切り、Thai Character Cluster を境界の制約として使う方式です。辞書に載っている語を、できるだけ長く取る。これが基本の動きです。

この数字を読むときに、外してはいけない点が3つあります。

1つめ。71.18%は「既定値の性能」であって、タイ語処理の上限ではありません。 同じベンチマークで95.60%を出す方式が同時点で存在していました。つまり、何も設定しないまま使ったときの数字を見て「タイ語の分かち書きは7割程度」と結論するのは早すぎます。

2つめ。誤りは均等に散らばりません。 辞書ベースの方式である以上、辞書に載っている一般語はよく切れ、辞書に無い語で崩れます。そして社内文書に出てくる重要語は、たいてい辞書に無い語です。設備名、部品名、略号、社名。つまり自社の文書で最も当てたい語ほど、既定のままだと落ちやすいという構造になります。汎用ベンチマークの数値を自社の精度としてそのまま使えない理由はここにあります。

3つめ。この数字は特定のベンチマークにおける比較値です。 自社の文書でどうなるかは、自社の文書で測らないと分かりません。ベンチマークの数値は方式の傾向を知るためのものであって、社内の目標値としてそのまま置けるものではありません。

実務的な結論はシンプルです。既定の分かち書きをそのまま使うと、自社語彙のところで落ちる。だから辞書を足す。そして足した効果は、自社の文書で測る。これが第2層の作業内容です。

第3層 トークン層 — 同じタイ語文書でもトークン数は2.62倍変わる

第3層は、テキストをモデルが数える単位に分ける層です。この層は精度そのものより、費用と入る量に効きます。

Typhoonの論文には、Typhoon のトークナイザはタイ語のトークン化において GPT-3.5 の 2.62 倍効率的である、という記述があります。つまり同じタイ語の文書を、Typhoon のトークナイザで処理した場合と GPT-3.5 のトークナイザで処理した場合とでは、数えられるトークン数がこの倍率ぶん違うということです。これは特定の2者を比べた実測値であり、任意のトークナイザどうしの差の上限を示すものではありません。

ここで一つ、よくある読み違いを潰しておきます。この 2.62 倍は英語との比較ではありません。 同じタイ語の文書を、汎用のトークナイザで処理した場合と、タイ語に最適化されたトークナイザで処理した場合の差です。したがって「タイ語は英語より2.62倍高い」という言い方はできません。また、Web上の二次的な要約には比較対象を GPT-4 と書いているものがありますが、原典の比較対象は GPT-3.5 です。引用するときは原典に合わせてください。

この差が実務で効いてくる場面は2つあります。

請求。 従量課金のモデルでは、トークン数がそのまま金額に乗ります。文書量の多い用途、たとえば数年ぶんの検査記録を毎日読ませるような使い方では、この倍率がそのまま運用費の差になります。

コンテキストに入る量。 同じ文脈長の枠に、何ページぶんのタイ語文書を入れられるかが変わります。RAGでは、検索で拾った文書をモデルに渡します。トークン効率が悪いと、渡せる文書の数が減ります。渡せる文書が減れば、答えの根拠が薄くなります。この経路で、第3層は間接的に精度にも触れてきます。

ただし第3層は乗数であって、原因ではありません。第2層が壊れていて検索が正しい文書を拾えていないなら、その文書を効率よく詰め込んでも答えは良くなりません。トークナイザの選定は、上流が固まった後の最適化として扱うのが順番として自然です。

第4層 意味層 — ここで初めてモデルを選ぶ

第4層は、渡された文字列をどう解釈し、どう生成するかの層です。ここに属する症状は次のようなものです。

• 訳が硬い、直訳調になる、社内で使っている言い回しにならない
• 指示に従わない。形式を指定しても守らない
• 出典に無い内容を書く
• 丁寧さの度合いが揃わない。相手や場面に対して表現が浮く

第4層の問題かどうかを見分ける方法があります。同じ入力を人が手で整えて渡し、それで直るなら、それは上流の問題です。 検索で拾った文書を人が選び直したら正しく答えられるなら、悪いのは第2層の検索側です。文字化けや表記揺れを人が直したら通るなら、第1層です。人が整えた入力でも同じように崩れるなら、そこで初めて第4層の話になります。

この切り分けを先にやらずにモデルを比較すると、比較の結論が信用できなくなります。上流が揺れている状態で2つのモデルを比べると、差が出た理由がモデルの違いなのか、たまたま拾った文書の違いなのか区別できないからです。

第4層で判断材料になるのは、自社の評価セットでの実測値です。公開ベンチマークの順位は候補を絞る材料にはなりますが、自社の文書と自社のタスクでの順位とは一致しないことがあります。

タイ語に強いモデルの現在地 — Typhoon 2、SEA-LION、フロンティアモデル

タイ語に力を入れているモデル群について、一次情報で確認できている範囲を整理します。

いくつか補足します。

Typhoon 2 のサイズ展開は、選択肢の幅を意味します。 1Bから70Bまで揃っているということは、クラウドに出せない文書をオンプレミスの小型モデルで扱う、という設計が取りやすいということです。またTyphoon2-VisionはOCRを内蔵しており、Typhoon2-Audioは音声の入出力を扱います。帳票OCRや議事録の用途では、この2つが検討対象に入ってきます。

SEA-LION は AI Singapore が開発しています。 AI Singapore はシンガポールの National Research Foundation の支援を受け、シンガポール国立大学がホストする組織です。東南アジア言語向けに複数言語をまとめて扱う方針のモデル群で、タイ語だけでなく周辺国の言語も同じ枠組みで扱えます。タイに加えてベトナムやインドネシアにも拠点がある企業では、この点が実務上の差になります。

SEA-HELM は評価のほうです。 モデルではなく、東南アジア言語を重視したLLM評価の枠組みとリーダーボードです。ただし本記事では、個別モデルのスコアや順位には踏み込みません。数値を一次情報で確認できていないためです。候補を絞る入口として参照し、最終判断は自社の評価セットで、という使い方が安全です。

フロンティアモデルを外す必要はありません。 汎用の大規模モデルもタイ語を扱えます。ただし、タイ語での比較スコアについて今回一次情報で確認できたものが無いため、この記事では「タイ語専用モデルのほうが常に優れている」とも「フロンティアモデルのほうが常に優れている」とも書きません。確認できていないことは、確認できていないと書きます。

モデル選定で先に決めるべきなのは、順位ではなく制約条件です。音声やOCRが必要か。文書を社外に出せるか。モデルを自社環境に置く必要があるか。応答速度の要求はどうか。ここが決まれば候補は数個に絞れます。そこから先は評価セットでの実測です。

用途別に、どの層を直せば効くのか

ここがこの記事の中心です。同じ「タイ語の精度が出ない」でも、用途によって支配的な層が違います。 支配的な層を外して手を入れると、費用をかけたのに症状が変わらないという結果になります。

以下、6つの用途それぞれについて詳しく見ます。

社内ドキュメント検索（RAG）— 第2層が支配的

RAGは、質問に関係する文書を検索で拾い、その文書をモデルに渡して答えさせる仕組みです。この構造上、検索が外した文書について、モデルは何もできません。拾えなかった文書は存在しないのと同じです。

タイ拠点で相談を受けた範囲では、タイ語のRAGで検索が当たらない原因の多くは第2層にありました。質問文の切られ方と、文書側の切られ方が一致していない。とくに社内固有名詞が両側で別々に分解されると、一致するはずのキーワードが一致しません。

効く層 は第1層と第2層です。文字を揃え、語を揃える。ここを直すと、当たらなかった文書が当たるようになります。第3層は「渡せる文書の量」に効くので、根拠の厚みが増します。

ほとんど効かない層 は第4層のモデル差し替えです。モデルを替えても検索結果は変わりません。答えの言い回しが変わるだけで、「その文書が見つからない」という症状は残ります。

最初に手を付ける層 は第2層です。社内固有名詞の辞書を作り、質問側と文書側で同じ分かち書きを通す。これだけで当たり方が変わります。

チャットボット — 第2層で拾い、第4層で答える

社内向けの問い合わせボットは、2つの層に同時にまたがります。前半は「何を聞かれているか」を拾う処理で、これは第2層の影響を受けます。後半は「どう答えるか」で、こちらは第4層です。

タイ語のチャットボットで多いのは、同じ質問を別の言い方でされると拾えなくなるという症状です。問い合わせの文は日報より短く、口語で、綴りの揺れも入ります。短い文ほど、切り方の失敗が結果に直撃します。

効く層 は第2層と第4層です。第2層で問い合わせ語彙の辞書を持ち、第4層で答え方の型を整える。ほとんど効かない層 は第3層で、1件あたりの文が短いためトークナイザの差が金額にも文脈長にも大きく響きません。最初に手を付ける層 は第2層、それも実際に来た問い合わせから語彙を集めることです。

多言語のチャットボットを費用と工程の面から整理したものは、多言語チャットボットを社内に入れるときの費用と進め方にまとめています。言語ごとに担保する層が違うので、そこを設計に織り込んでおくと運用が安定します。

議事録と文字起こし — 第1層と第4層

タイ語の会議を文字にする用途では、まず音声からテキストが起こされ、その後に要約や決定事項の抽出が乗ります。

効く層 は第1層と第4層です。文字起こしの直後は、表記が揺れた状態のテキストが出ます。人名、設備名、社名が同じ会議の中で複数の綴りになる。ここを第1層で揃えないと、後段の要約で同じ人物が2人として扱われたり、決定事項が別々の項目として並んだりします。第4層は、話者の区別と要約の質に効きます。

ほとんど効かない層 は第3層です。ただし第2層は「効かない」とまでは言えません。議事録を後で検索する運用にするなら、その時点で第2層が効いてきます。文字起こし単体では第2層の影響は小さく、検索や集計を乗せた瞬間に効いてくる、という順序で理解しておくと判断を誤りません。

最初に手を付ける層 は第1層、それも会議に出てくる人名と設備名の表記統一です。

多言語の会議で要約が崩れる箇所については、多言語会議の議事録をAIで作るときに崩れる断層で整理しています。話者が言語を切り替える会議では、崩れる場所がタイ語単独の会議とは変わります。

帳票OCR — 第1層が支配的

納品書、検査成績書、作業指示書。紙やPDFからデータを取る用途です。ここは第1層がほぼすべてと言っていい領域です。

読み取った直後のテキストには、タイ数字とアラビア数字が混在し、年が仏暦で入り、見えない区切り文字が混ざります。この状態で基幹システムに投入すると、ロット番号が一致しない、日付の順序が狂う、期限判定が通らない、といった不具合が並びます。

効く層 は第1層です。数字の正規化、暦の変換、文字コードの正規化。加えて、読み取りそのものの精度は第4層のモデル側の話で、OCRを内蔵したモデルを使うかどうかの判断がここに入ります。

ほとんど効かない層 は第2層です。帳票の項目値は、そもそも語に切る必要がないものが多い。品番や数量を分かち書きしても得るものはありません。項目名の照合に語の一致を使う場合だけ、部分的に第2層が絡みます。

最初に手を付ける層 は第1層、それもタイ数字と仏暦の正規化です。この2つは症状が分かりやすく、対策も定型化できるため、着手の順番として先に置く価値があります。

翻訳 — 第4層が支配的

日本語からタイ語、タイ語から日本語への翻訳は、ここで挙げた6つの用途の中で最も第4層に寄った用途です。訳文の自然さ、用語の一貫性、丁寧さの度合い。これらはモデルの解釈と生成の質で決まります。

効く層 は第4層です。用語集を持たせる、文書の種類ごとに指示を変える、モデルを比較する。第1層も効きますが、役割は入力の清掃です。見えない区切り文字が入ったまま渡すと、モデル側で語の区切りの判断が乱れます。

ほとんど効かない層 は第2層です。翻訳では文全体を渡すので、自前の分かち書きを噛ませる必要は基本的にありません。ここに工数を割いても訳文は良くなりません。

最初に手を付ける層 は第4層、それも用語集と文書クラスの整理です。契約書と作業手順書と社内連絡を同じ設定で訳すと、どれかが必ず浮きます。

訳のブレを止めるための文書クラス分けの考え方は、製造業の翻訳をAIで自動化するときの設計で扱っています。文書の種類ごとに求める訳文の性質が違う、という前提を先に置くことが要点です。

分類と集計 — 第1層と第2層

タイ語の日報や不具合報告を、カテゴリ別に集計する用途です。ここは第1層と第2層の合わせ技で決まります。

集計は、キーになる語が一致するかどうかで結果が変わります。設備名が2通りの文字列に割れていれば集計は2行に分かれ、分かち書きが不安定なら同じ不具合が別カテゴリに入ります。効く層 は第1層と第2層です。

ほとんど効かない層 は第4層です。モデルを替えても、入力の段階で同じ設備が2つに割れている事実は変わりません。分類の判断そのものをモデルに任せる設計であっても、入力の揺れは吸収してくれません。

最初に手を付ける層 は第1層、それも集計のキーになる語の正規化です。設備名、ライン名、不具合の種別。この3つを揃えるだけで、集計結果が現場の実感に近づきます。

用途をまたいで言えることは一つです。表の「最初に手を付ける層」の列を見ると、モデル選定を初手に置くべき用途は翻訳だけで、残る5用途はいずれも第1層か第2層から着手する形になります。チャットボットと議事録は第4層も併走しますが、それでも先に触るのは上流です。「まずモデルを替える」という初手は、6用途中5用途で順番を外しています。

タイ語特有の6つの落とし穴

ここまでの層の議論を、具体的な症状に落とします。タイ拠点の文書でつまずきやすいのは、次の6つです。

仏暦 — 日付の比較が静かに壊れる

タイの検査記録、契約書、公的な書類では、年が仏暦（พ.ศ.）で書かれます。仏暦2569年が西暦2026年です。

現場でどう見えるか。 西暦に直さずに取り込むと、日付は数字としては正しく入るのに、比較と並べ替えがすべてずれます。仏暦の年と西暦の年が同じ列に混ざると、並べ替えたときに数百年ぶんの差が入ります。期限判定を組んでいれば、切れているはずの期限が切れていないと判定されます。しかもエラーにはならないので、誰も気づきません。

どの層か。 第1層です。取り込みの入口で西暦に変換し、元の表記も保持しておく。表示のときに仏暦に戻せるようにしておくと、現地スタッフの確認作業が楽になります。

タイ数字 — 同じ番号が別番号になる

タイ語にはタイ数字（๐๑๒๓๔๕๖๗๘๙）があります。アラビア数字の0から9に対応しますが、コンピュータ上はまったく別の文字です。

現場でどう見えるか。 ロット番号や図番の一部にだけタイ数字が混ざることがあります。手書き票の転記や、古い書式のテンプレートを使い続けている場合に出ます。すると同じロット番号が2種類の文字列として存在し、集計では別のロットとして並びます。担当者は画面上で「同じ番号が2行ある」と報告しますが、文字列としては別物なので、システム側は正しく動いています。

どの層か。 第1層です。アラビア数字への正規化を入口に置きます。

結合順 — 見た目が同じで検索が一致しない

タイ文字は、子音字に母音記号や声調記号を重ねて表記します。上に付く記号が2つ以上ある場合、打ち込む順番が入れ替わっても、画面上の見た目はほとんど同じになります。しかしコードポイントの並びが違えば、文字列としては別物です。

現場でどう見えるか。 タイ語の検索窓に、現地スタッフが手で打った語を入れても該当なしになります。その語をコピーして貼り付けると当たります。担当者からは「検索がたまに効かない」という報告になり、原因の説明がつかないまま放置されます。実際には、入力の順番が文書側と違っていただけです。

どの層か。 第1層です。文字の正規化を通すことで、並びを一つの形に揃えます。

ゼロ幅スペース — 目に見えない区切り文字

タイ語は語の間に空白を入れないため、そのままでは改行位置を機械が決められません。そこで、改行してよい位置を示すための、目に見えない区切り文字を本文に埋め込むことがあります。

現場でどう見えるか。 同じ文なのに、Wordから貼ったものとWebから貼ったもので検索結果が変わります。文字数を数えると、見た目の文字数と合いません。分かち書きに通すと、区切り文字のあった場所で語が2つに割れます。ここでも症状は「たまに検索が当たらない」の形で出ます。

どの層か。 第1層です。除去するのが基本ですが、改行の見栄えを保ちたい表示用のデータでは残す判断もあり得ます。除去したものを検索と集計に使い、残したものを表示に使う、という切り分けをしておくと両立します。

英タイ混在 — 1文の中で言語が切り替わる

タイ拠点の現場文書では、設備名、部品名、社内略号、単位が英語のまま書かれ、説明文がタイ語で書かれます。1つの文の中で、文字体系が何度も切り替わります。

現場でどう見えるか。 分かち書きは、タイ文字と英字の境界を語の境界として扱うことが多く、英語の部分がタイ語の文脈から切り離されます。その結果、英語の設備名の直前にあるタイ語の修飾語が別の語にくっつき、意味の単位がずれます。検索では、英語部分だけが拾われて文脈が失われます。翻訳では、英語の型番が訳されてしまうことがあります。

どの層か。 第2層が中心です。英語のまま残す語を辞書に登録し、切り方と扱いを固定します。加えて第1層で、全角と半角、大文字と小文字を揃えておく必要があります。

敬語末尾詞 — 話者と丁寧さの手がかり

タイ語には、文末に付ける丁寧の語があります。話し手が男性なら ครับ、女性なら ค่ะ という形で、話者の性別によって変わります。

現場でどう見えるか。 議事録の文字起こしでは、この語が話者を推定する手がかりになります。前処理で「意味を持たない語」として除去してしまうと、後段で話者の切り分けが弱くなります。逆に翻訳では、この語をそのまま訳出すると日本語側が不自然になり、落としすぎると丁寧さの度合いが元と合いません。

どの層か。 用途によって変わります。議事録では第1層の前処理で消さないこと、翻訳では第4層で丁寧さの再現をどう扱うかを指示に書くこと。同じ語が、用途によって残すべきものにも落とすべきものにもなります。前処理を全用途で共通化しているとここで衝突するので、前処理は用途ごとに分けられる作りにしておくのが安全です。

タイ語の評価データを作る — 「精度」を語れるようにする最短手順

ここまでの話は、すべて「測れる」ことが前提です。測れないまま層を直すと、直したのか直っていないのか分かりません。

タイ語の評価データを作る手順は、次のとおりです。

• 対象タスクを1つに絞る。検索なら検索だけ、翻訳なら翻訳だけ。複数を1つの評価セットで測ろうとすると、どの層の改善が効いたのか読めなくなる
• 実際の社内文書から標本を取る。作文した例文を使わない。作文した例文には、表記揺れも見えない区切り文字も仏暦も入っていないので、第1層と第2層の問題が最初から消えている
• 正解を現地スタッフと決める。何をもって正解とするかは、日本側だけでは決められない。とくに翻訳と分類では、現地の業務感覚がないと正解が定まらない
• 判定基準を先に文章で書く。「自然な訳」では測れない。用語集どおりか、数値が保持されているか、指定の形式か、といった判定可能な条件に落とす
• 版を切って固定する。評価セットを途中で足したり直したりすると、前回との比較ができなくなる

そして、タイ語の評価で特に効くのが誤りに層のラベルを付けることです。間違えた事例ごとに、第1層由来か、第2層由来か、第4層由来かを記録します。

これをやると、次に手を付ける層がデータで決まります。誤りの多くが第2層由来なら、モデルを比較しても意味がないと分かります。誤りが第4層に集中してきたなら、そこで初めてモデル選定に費用を使う価値が出ます。ラベルの無い評価は「全体で何割合っている」という数字しか出さないので、次の行動を決められません。

評価セットの規模については、ここでは件数を示しません。適切な件数は、対象タスクと誤りの起き方によって変わり、一般化できる数字を一次情報で確認できていないためです。実務的には、現在把握している失敗の型をすべて含むという基準で作り始め、新しい型の失敗が出るたびに追加していく形が回しやすくなります。

費用を5層に分解する

タイ語の生成AIの費用は、モデル利用料だけではありません。むしろモデル利用料以外の部分が、あとから予算を圧迫します。

先に一つ整理しておきます。ここでの費用の5層は、前半で説明した処理の4層と番号は似ていますが、同じものではありません。 対応関係は次のとおりです。

• 費用の第1層は、処理の第1層（文字層）を作る費用
• 費用の第2層は、処理の第2層（語層）を作り、維持する費用
• 費用の第3層は、処理の第3層（トークン層）に比例する利用料
• 費用の第4層は、処理の第4層（意味層）を測るための評価データの費用
• 費用の第5層は、4つの層すべてにまたがる運用の費用

この記事では金額を書きません。用途、文書量、対象言語の数、社内文書の状態によって幅が大きく、一般化できる相場を一次情報で確認できていないためです。代わりに、費用の性質の違いを押さえてください。

一度きりの費用と、続く費用の区別。 第1層は作り切りに近い費用です。第2層と第5層は続きます。第3層は使った分だけ発生します。この区別をせずに初期見積だけで判断すると、半年後に運用費で驚くことになります。

第3層には乗数が乗ります。 前述の 2.62 という倍率は、この層に効きます。同じタイ語の文書を扱っても、トークナイザ次第で数えられるトークン数が変わるからです。文書量の多い用途では、この差が運用費の差として毎月出ます。

最も飛ばされやすいのは第4層です。 評価データの構築は成果物が地味で、直接何かが動くわけではないため、予算からまず削られます。しかしここを飛ばすと、その後の議論がすべて印象論になります。「新しいモデルにしたら良くなった気がする」から先に進めません。

第5層は半年後に効いてきます。 辞書は放置すると古くなります。新しい設備が入り、新しい略号が生まれ、そのたびに分かち書きの精度が静かに落ちていきます。誰が、どの頻度で、何を見て辞書を更新するのか。ここを決めていないと、時間が経つほど稼働前の状態に近づいていきます。

タイ・ASEAN拠点で追加になる3つの論点

日本国内で生成AIを入れる場合と比べて、タイ拠点では次の3つが追加で乗ります。

規制の段階が国ごとに違う

タイでは、ETDA が 2026年7月2日に人工知能法の新しいドラフトを公開しました。公聴会は約30日とされています。2026年8月時点で、この法律は成立しておらず、施行もされていません。 現在のドラフトに含まれている論点は、リスクを3階層に分ける枠組み、外国事業者に国内代理人を求める規定、AI生成物に機械可読な標識を付ける義務、そして無過失であっても及び得る連帯責任です。

前段の経緯としては、2025年6月に2本のドラフトを統合するための公聴会が行われ、その後も草案の段階が続いています。

実務への影響として今言えるのは、確定していない要件に合わせて作り込むのは早いが、後から足せる構造にしておく価値はある、ということです。とくに生成物の標識と、生成に使ったモデルや入力の記録は、後から遡って付けるのが難しい種類の要件です。ログの設計だけ先に手当てしておくと、要件が固まったときの手戻りが小さくなります。

なお、ASEAN域内でも国によって段階が違います。ベトナムはすでに施行段階にありますが、本記事ではタイとベトナムで段階が異なるという事実の指摘にとどめます。各国の要件の詳細は、その国の一次情報にあたってください。

言語が3つ以上ある運用

タイ拠点では、日本語、タイ語、英語が同時に走ります。日本本社への報告は日本語、現場はタイ語、装置メーカーの資料は英語、といった構成です。

ここで決めておくべきなのは、どの言語を正本にするかです。正本が決まっていないと、翻訳版どうしを突き合わせて議論が始まり、どちらが正しいか誰にも決められません。前処理も同じで、正本の言語で正規化と辞書を整え、他言語は正本から派生させる形にすると、辞書の維持が1組で済みます。

辞書を維持する人を決める

第2層の辞書は、技術者だけでは維持できません。設備名や略号の正しい表記を知っているのは現場です。一方で、辞書の更新を現場の善意に任せると続きません。

必要なのは、誰が、どの頻度で、どの入力を見て辞書を更新するかを業務として定義することです。新しい設備が入ったときの手続きに「辞書への追加」を含めておく、といった形で既存の業務フローに埋め込むのが現実的です。ここを決めないまま稼働させると、精度が下がっていることに気づく仕組みも同時に無いことになります。

最初の90日で何をするか

順番を間違えないための、90日の進め方です。

• 第1日から第30日 — 対象文書を1種類に絞り、第1層の正規化だけを作ります。同時に「同じはずの語が何通りに割れているか」を数えます。この件数が、第1層の進捗を測る指標になります
• 第31日から第60日 — 第2層です。社内固有名詞の辞書を現地スタッフと作ります。そして分かち書きの結果を目で確認する回を必ず入れます。数値だけ見ていると、辞書に無い語がどう壊れているかが見えません
• 第61日から第90日 — 第4層の評価セットを作り、モデルを2つ比べます。モデル比較は最後です。 第1層と第2層が固まる前に比べても、差がモデル由来なのか入力由来なのか読めません

この90日で意図的に外しているものがあります。第3層のトークナイザ最適化です。第3層は費用の最適化としては効きますが、精度の問題の切り分けには寄与しません。最初の90日は、症状の原因を特定して潰すことに使い、費用の最適化は運用が回り始めてから着手するほうが、判断材料が揃います。

もう一つ。対象文書を1種類に絞るのは、範囲を狭めるためではなく、原因を見えるようにするためです。日報と検査記録と契約書を同時に扱うと、それぞれ別の壊れ方をするので、どの対策が何に効いたか分からなくなります。1種類で型を作れば、2種類目からは同じ型を当てはめられます。

よくある失敗5つと回避策

モデルを先に替える

タイ拠点で相談を受ける中で、最もよく見る形です。「タイ語の精度が出ない」という報告に対して、最初の対応がモデルの乗り換えになる。本記事の用途別の表のとおり、モデル選定を初手に置くべき用途は翻訳だけで、残る5用途は上流から着手する順番になります。

回避策。 症状が出た事例を手元に集め、人が入力を整えて渡したら直るかどうかを確認します。直るなら上流の問題です。この確認に特別な準備は要らず、モデルを調達する前に実施できます。

分かち書きの切り方を決めないまま検索を作る

検索、チャンク分割、キーワード一致、評価が、それぞれ別々の切り方を使っている状態です。個々は動いているように見えるので、問題が表面化するのは検索精度が説明できなくなったときです。

回避策。 分かち書きの処理と辞書を1つに決め、すべての処理がそれを参照する構成にします。辞書を更新したら、検索インデックスの再構築が必要になる点も設計に入れておきます。

評価セットを作らずに進める

「新しいモデルにしたら良くなった気がする」で意思決定が進む状態です。良くなったのか、たまたま試した質問が良かったのかを区別できません。

回避策。 評価セットを作るまではモデルの比較をしない、と決めます。評価セットが無い段階でできるのは、上流の層の整備だけです。

正規化処理をあちこちに書く

検索側にも集計側にも要約側にも、それぞれ別の正規化コードがある状態です。仏暦の変換を1か所直しても、別の経路では古いままになります。

回避策。 取り込みの入口を一本にして、そこだけで正規化します。下流は正規化済みの文字列しか受け取らない、という約束にします。

辞書更新の担当と頻度を決めない

稼働直後は精度が高く、時間とともに落ちていく典型的な形です。新しい設備や略号が辞書に入らないため、第2層が少しずつ古くなります。

回避策。 設備導入や新製品立ち上げの手続きに、辞書追加の工程を組み込みます。加えて、評価セットでの定期的な再測定を運用に含め、落ちてきたことを数字で検知できるようにします。

よくある質問（FAQ）

タイ語 生成AIは日本語より精度が落ちるのですか？

用途によります。翻訳や要約のような第4層中心の用途では、モデル側のタイ語の扱いに差が出ます。一方、検索や集計で「日本語より落ちる」と感じられるものの多くは、第1層と第2層の整備状況の差です。日本語の文書では既に表記が揃っていて、タイ語の文書では揃っていない、というだけのことがあります。同じ条件に揃えて比べないと、モデルの言語能力の差なのか、前処理の差なのかは判別できません。

タイ語に強い生成AIはどれですか？

一次情報で確認できている範囲では、SCB 10X の Typhoon 2 が2025年1月10日に公開され、テキストは 1B から 70B までの5サイズが揃っています。音声入出力の Typhoon2-Audio と、OCRを内蔵した Typhoon2-Vision もあります。東南アジア言語向けには AI Singapore の SEA-LION があり、11以上のSEA言語に対応、最新は SEA-LION v4.5（2026年5月20日）です。評価の枠組みとしては SEA-HELM があります。ただし個別のスコアや順位については一次情報で確認できていないため、本記事では順位に踏み込みません。どれが自社に合うかは、自社の評価セットで測るのが唯一確実な方法です。

タイ語の分かち書きは自前で用意する必要がありますか？

分かち書きの仕組み自体を自作する必要はありません。既存のライブラリがあります。自前で用意すべきなのは辞書のほう、それも社内固有名詞の辞書です。PyThaiNLP の既定エンジン NewMM は辞書ベースの最長一致で動くため、辞書に無い設備名や略号のところで切り方が崩れます。ここは自社でしか作れません。

タイ語のRAGで検索が当たらないのはなぜですか？

タイ拠点で相談を受けた範囲では、第2層に原因があることが多くありました。質問文の切られ方と文書側の切られ方が一致していないため、一致するはずのキーワードが一致しません。とくに社内固有名詞が両側で別々に分解されているケースが多く見られます。次いで第1層で、見えない区切り文字や表記の揺れが一致を妨げます。モデルを替えても検索結果は変わらないため、この症状に対するモデル乗り換えは効きません。

タイ語の生成AIは費用が高くなるのですか？

トークナイザによって、同じタイ語文書でも数えられるトークン数が変わります。Typhoon の論文には、Typhoon のトークナイザがタイ語のトークン化で GPT-3.5 の 2.62 倍効率的だという記述があります。従量課金では、この差がそのまま金額に効きます。ただしこれはタイ語文書を処理するトークナイザどうしの比較であって、英語との比較ではありません。また実務では、モデル利用料よりも辞書整備と運用の費用のほうが後から効いてくることが多く、費用の議論はモデル利用料だけで組み立てないほうが安全です。

タイ語の精度はどうやって測ればよいですか？

実際の社内文書から標本を取り、現地スタッフと正解を決め、判定基準を文章で先に書いて、版を固定します。作文した例文は使いません。表記揺れや見えない区切り文字が入っていないため、第1層と第2層の問題が最初から消えてしまうからです。そして誤りごとに、第1層由来か第2層由来か第4層由来かのラベルを付けます。このラベルがあると、次に手を付ける層がデータで決まります。

まとめ

タイ語で生成AIの精度が出ないとき、壊れているのはモデルではなく前処理です。この記事の要点を整理します。

• タイ語の処理は、文字層、語層、トークン層、意味層の4層に分かれる。モデルは第4層にあり、そこだけ替えても上流の壊れは残る
• 第1層は、見た目が同じで中身が違う文字列を揃える層。仏暦、タイ数字、見えない区切り文字、結合順がここに来る
• 第2層が要。タイ語は語の間に空白が無いため、どこで語を切るかを決める必要がある。この切り方に、検索とチャンク分割とキーワード一致と評価が同時に依存している
• PyThaiNLP の既定エンジン NewMM の分かち書き精度は BEST 2010 ベンチマークで 71.18%。同時点の最高水準は 95.60%。既定のままでは、辞書に無い自社語彙のところで落ちる
• 第3層は費用と入る量に効く。Typhoon のトークナイザはタイ語のトークン化で GPT-3.5 の 2.62 倍効率的。ただしこれは英語との比較ではない
• 用途によって支配的な層が違う。モデル選定を初手に置くべき用途は翻訳だけで、RAG、チャットボット、議事録、帳票OCR、分類と集計は第1層か第2層から着手する
• 費用は5層に分かれる。最も飛ばされやすいのが評価データの構築で、ここを飛ばすと精度を議論できなくなる
• 最初の90日は、正規化、辞書、評価セットの順に進める。モデル比較は最後に置く

タイ語で精度が出ないという相談は、どの層で起きているかを切り分けるところから始められます。自社の文書がどの層で崩れているかを一度見てみたい、評価の作り方だけ相談したい、といった検討段階でも構いません。お問い合わせはこちらからご連絡ください。

参考情報

• arXiv PyThaiNLP Thai Natural Language Processing in Python
• arXiv Typhoon Thai Large Language Models
• SCB 10X Introducing Typhoon 2
• AI Singapore SEA-LION
• AI Singapore SEA-HELM Leaderboard
• Mondaq Thailand Releases New Draft Artificial Intelligence Act
• Norton Rose Fulbright Thailand’s draft AI law