ChatGPT、Claude、Geminiに一文を入力すると、人が書いたような段落が返ってきます。面白いのは、その次の疑問です。LLMは裏側で実際にどう動いているのでしょう?率直にいえば、大規模言語モデルは、次のテキストのかけらを一つずつ予測するよう訓練された、とても大きな統計的な仕組みです。その一つの技を十分大きな規模で行うと、コード、文章、翻訳、議論が生まれます。このガイドでは、トークン、埋め込み、アテンション、学習、推論、そして今も間違う理由まで、各段階を平易に説明します。読み終えるころには、プロンプトと回答の間で何が起きるかがわかり、口調を信じるより答えを確かめるための、よりよい理由が得られるはずです。
目次
- LLMとは、そもそも何か
- トークンと埋め込み:LLMがテキストを見る方法
- Transformerと自己注意
- LLMはどう学習するのか
- 推論:プロンプトから返答へ
- LLMがハルシネーションを起こす理由
- コンテキストウィンドウ、RAG、ツール利用
- よくある質問
LLMとは、そもそも何か
大規模言語モデルは、言語のパターンを表現するよう訓練されたニューラルネットワークです。多くの生成モデルでは、事前学習の中心が次のトークンの予測です。チャットでの振る舞いには、その後の学習や、モデルを囲むアプリケーションも関わります。ここでは一般的な自己回帰型Transformerを扱い、あらゆる言語モデルの構造を説明するわけではありません。
学んだ情報は、普通の検索可能な文の表ではなく、数値のパラメーターに符号化されています。ただし、文章を丸暗記できないという意味ではありません。学習データの抽出に関する研究では、条件によって原文どおりの復元が実証されています。生成時には、利用できる文脈から、次のトークン候補のスコアを計算します。
LLMについて混同しない三つのこと
モデルは従来型のデータベースではありません。生成された回答が、そのまま検索で取得したレコードとは限りません。アプリケーションが検索やデータベースへ接続することはできますが、それらは追加の仕組みです。
流暢な答えは、生成過程を透かして見る窓ではありません。途中の手順を生成すると、計算を増やし、一部の課題に役立つことがあります。しかし、出力中の説明が内部処理の忠実な報告だとは保証されません。
製品は一つのチェックポイントだけではありません。提供者はモデル、指示、検索、ツールを変えられます。動きが違うからといって、基礎となる重みだけが変わったとは限りません。
トークンと埋め込み:LLMがテキストを見る方法
LLMがプロンプトを扱う前には、テキストを数値に変える必要があります。トークン化と埋め込みの二段階です。どちらも名前ほど難しくなく、どちらも一般に思われている以上にモデルの振る舞いを左右します。
トークン化:テキストを小分けにする
トークナイザーは、テキストをトークンという単位に分けます。使うトークナイザーと文字列によって、トークンは単語の一部、句読点、空白などを表します。「Tokenisation」がいくつかの断片に分かれることはありますが、「Pudgy Cat」がどう符号化されるかを知るには実際のトークナイザーが必要です。猫に共通のトークン数はありません。
バイトペア符号化はよく使われる方法の一つで、頻繁に現れるペアをまとめ、再利用できる単位をつくります。ユニグラム方式など、ほかの方法もあります。SentencePieceは両方に対応しています。サブワードやバイトに基づく方法では、見慣れない文字列を小さな断片で表せますが、語彙や特殊な文字の扱いは異なります。
費用や長さを見積もるなら、実際のモデルが使うトークナイザーで数えましょう。英語の文章、コード、空白、異なる文字体系は、それぞれ違った分割になることがあります。単語数からの目安は近似にすぎず、バイト数が同じでも、Pythonファイルが文章より多くのトークンを使うとは限りません。
埋め込み:トークンをベクトルへ
トークンは、埋め込みと呼ばれる数値ベクトルへ対応づけられます。次元数はアーキテクチャによります。これは出発点となる表現であり、ある単語についてモデルが知るすべてを詰めた箱ではありません。その後の層が、周囲の文脈を使って表現を変換します。
学習された表現は役立つ類似性を捉えますが、あらゆる同義語がきれいに隣り合う単純な辞書ではありません。文脈が重要です。川の話に出る英語の「bank」は川岸を、融資の話なら銀行を意味し、最初のトークンが同じでも扱いを変える必要があります。
Transformerと自己注意
Transformerは2017年の「Attention Is All You Need」で提案され、言語モデルに大きな影響を与えました。唯一の構造ではなく、Mambaの研究は状態空間モデルによる代替を探っています。また、公開情報だけで、すべての非公開モデルの正確な内部設計を断言することもできません。
アテンションは実際に何をする?
プロンプトの各トークンについて、モデルはほかのどのトークンが重要かを計算する必要があります。「The cat sat on the mat because it was tired.」という文を考えましょう。猫は疲れていたのでマットに座った、という意味です。「it」はマットではなく猫を指します。人にはすぐわかりますが、モデルは計算しなければなりません。
アテンションは、クエリとキーの関係を使って、バリューベクトルの重みつきの組み合わせを計算します。因果的なテキスト生成では、ある位置から未来のトークンを自由に見ることはできません。猫とマットの例では、文脈が代名詞の関係を表す助けになりますが、特定の注意の重みを、保証された文法的説明とみなすべきではありません。
マルチヘッド・アテンションと層の積み重ね
複数のアテンションヘッドは、それぞれ学習された異なる射影を使い、情報を違う形で組み合わせます。各ヘッドに明快な役職名をつけたくなりますが、動きはもっと分散し、変動します。ヘッド数は設計上の選択であり、現代のあらゆるモデルに共通する固定範囲はありません。
Transformerのブロックには、フィードフォワード変換、正規化、残差接続もあります。ブロックを重ねて、文脈を反映した表現をつくります。数や配置はさまざまで、フィードフォワード部分も、計算の中で必ずしも小さなおまけではありません。
LLMはどう学習するのか
学習はモデルのパラメーターを調整します。大まかには、大きなデータ集合から学ぶ事前学習と、指示への応答などを整える事後学習を分けると便利です。実際の工程には、この単純な二分より多くの段階が含まれます。
事前学習:大量のデータを集める
事前学習データには、モデルに応じて、複数の出所のテキストやコードが含まれます。次トークン予測の学習では、予測から損失を計算し、誤差逆伝播で勾配を求め、最適化器がそれを使ってパラメーターを更新します。単なる二択の「不正解」スイッチではありません。データの構成、フィルタリング、規模はそれぞれ違います。
大規模な学習には相当の計算資源が必要です。費用はモデルの大きさ、データ、ハードウェア、学習上の判断に左右されるため、根拠のない一つの値札をすべての最先端モデルにつけるのは誤解を招きます。小さな実験用モデルの学習と、最先端システムの学習は、まったく異なるプロジェクトです。
ファインチューニングとRLHF
事前学習だけを終えたモデルは、流暢な文章補完エンジンです。質問すると、掲示板のスレッドのように、その質問自体を続けてしまうこともあります。役立つアシスタントにするため、提供者は次の段階を加えます。
影響力のある方法の一つが、2022年のInstructGPT論文で説明されています。教師ありの例、好みの比較、強化学習を組み合わせるものです。比較から報酬モデルを訓練し、そのモデルが追加の最適化を導きます。ほかの事後学習の方法もあります。一つの技法だけで、チャットアプリのあらゆる丁寧な言い回し、拒否、要約を説明できるわけではありません。
研究者は、学習目標や構造が能力にどう影響するかを調べ続けています。実用上の教訓は、事前学習の課題と、実際に回答するシステム全体を区別することです。「予測」に関する標語だけで、推論や理解をめぐるすべての問いは片づきません。
推論:プロンプトから返答へ
通常の推論では、配備されたモデルの重みは一般に固定されています。会話のたびに重みを更新しなくても、プロンプトや蓄積された文脈が出力に影響します。ただし生成は非決定的な場合があり、アプリケーション側のメモリーは学習とは別です。
生成のループ
システムはプロンプトを処理し、次のトークン候補のスコアを計算し、デコード手順で一つを選び、続けます。停止条件や上限で生成が終わります。これが基本的な自己回帰のループですが、製品は途中でツールのために止まったり、その周囲で別の処理をしたりすることもあります。
実装では、毎回すべてをゼロから計算し直さないよう工夫します。Transformerのキーバリュー・キャッシュは、計算済みのアテンション情報を再利用できます。PagedAttentionの研究は、そのキャッシュを効率よく管理する方法を扱っています。新しいトークンには引き続き計算が必要ですが、「毎回プロンプト全体を再処理する」も「すべてのパラメーターを動かす」も、推論の万能な説明ではありません。
温度とサンプリング
貪欲法によるデコードは、次の候補のうち最もスコアが高いトークンを選びます。サンプリングは分布から選び、しばしば事前に分布を調整します。どちらを使うかはシステムや課題によって異なり、すべてのサービスが常にサンプリングするわけではありません。
温度は、サンプリングの分布がどれだけ集中するかを変えます。低い値では選択が集中し、高い値では確率が広がるのが一般的です。Top-kとtop-pは、別々の方法で候補を絞ります。低温度でもハードウェアや実装をまたぐ再現性は保証されず、高温度も創造性や品質の保証にはなりません。
LLMがハルシネーションを起こす理由
LLMは、もっともらしいのに誤った文章を生成することがあります。流暢な形は事実の裏づけを保証せず、関連情報があっても失敗します。不確実さを表したり回答を控えたりするよう学べますが、その動作も不完全です。役立つ問いは、ためらっているか自信満々かではなく、その回答が具体的に裏づけられているかです。
よくあるハルシネーションの形
架空の引用。出典を求められると、学習データで非常によく見られる形式をなぞって、本物の学術文献のような文字列をつくることがあります。書式は正しくても、著者や題名が架空です。
日付や数量の誤り。証拠に合わない、もっともらしい数字を出すことがあります。自信に満ちた細かさが検索の結果だと決めつけず、適切な出典で確認しましょう。
存在しない機能。ソフトウェアの操作方法を尋ねると、「このライブラリには、こうするメソッドがある」という強いパターンから、もっともらしいが存在しないAPI呼び出しをつくることがあります。
ハルシネーションを減らすには
裏づけを改善する一つの方法は、関連資料を検索してモデルへ渡すことです。検索拡張生成の研究は、検索と生成を組み合わせます。役立ちますが、検索が悪かったり文書を誤用したりすれば、まだ間違います。詳しいアプリケーション構成は、RAGのガイド(英語)をご覧ください。
コンテキストウィンドウ、RAG、ツール利用
アプリケーションは、あなたの言葉と一緒に、文書、会話履歴、ツールの結果を渡せます。こうした追加情報が、目に見える質問と同じくらい重要な場合もあります。システムを理解するうえで役立つ三つの要素は、文脈の管理、検索、ツールです。
コンテキストウィンドウ
コンテキストウィンドウは、ある設定のモデルが扱えるトークン化された材料の量を制限します。何を含め、要約し、取得するかはアプリケーションが決めます。目の前の文脈にない材料も、製品の保存領域から消えたとは限りません。ただし、システムが再び渡さない限り、モデルはそれを見られると期待できません。
検索拡張生成
検索システムは外部のコレクションから資料を選び、生成時に使えるようにします。ベクトルの類似度、キーワード検索、または両方を使えます。再学習せずに、より新しい情報や課題に特化した情報を提供できる仕組みです。有用な設計の選択肢であって、本格的な導入なら必ず使う要件ではありません。
ツール利用とMCP
ツール対応アプリは、モデルに検索、計算、データベース操作を要求させ、それを実行し、結果を文脈として返せます。MCPは2024年11月に発表された、AIアプリと外部システムをつなぐプロトコルです。ツール利用そのものがMCPから始まったわけではありません。この接続層については、MCPの解説(英語)もどうぞ。
よくある質問
LLMの仕組みを一文でいうと?
LLMは列の次のトークンを予測するよう訓練された巨大なニューラルネットワークで、「チャット」はプロンプトを出発点として、その予測ループを繰り返すことです。
LLMとAIはどう違いますか?
AIは、画像認識、ロボット工学、検索、ゲームをプレイするシステムなどを含む広い分野です。LLMはその特定の種類で、テキストを学習してテキストを生成する大規模言語モデルです。ChatGPT、Claude、GeminiはLLMに基づく製品です。
LLMは本当に言語を理解していますか?
「理解」は、言語をうまく使うことから人間のような経験をもつことまで、さまざまな意味をもちます。モデルは有用な振る舞いを支える表現を学びますが、それだけでは哲学的な問いは決着しません。画像や音声も扱うシステムがあるため、こうしたモデルすべてに感覚的な入力がないと言うのは広すぎます。
なぜLLMは作り話をするのですか?
整った回答を生成することと、正しい回答を生成することは別の要件です。学習や資料による裏づけで誤りを減らせますが、正しさは保証されません。重要な主張、特に引用、数字、手順については証拠を確認しましょう。
自分のLLMを学習させられますか?
学習のために小さなモデルを訓練したり、ハードウェア、データ、方法が許せば既存モデルを調整したりできます。ファインチューニングは、どの構成でも自動的に安価になるわけではありません。モデルをローカルで動かすのは別の作業です。ローカルAIのガイド(英語)を出発点にできます。
覚えておきたいこと
役立つ全体像には、トークン化された入力、学習された表現、生成処理、そして検索やツールを加えることのあるアプリケーションが含まれます。次トークン予測は重要な仕組みを説明しますが、製品全体のあらゆる動作を説明するわけではありません。それぞれを知ると、よりよい質問をし、回答を検証しやすくなります。どれほどきれいに整形されていても、自信たっぷりの段落には証拠を示してもらいましょう。
2026-05-22公開の英語版の記事を日本語に翻訳しました。翻訳日:2026年10月30日。翻訳にはAIを使用し、記事内の時点は原文に合わせています。




