日本語
質問のたびに遠隔のAIサービスへ送らなくても、自分のコンピューターで言語モデルを動かせます。小さなモデル、対応アプリ、少しの空きメモリがあれば実験を始められます。サーバールームは不要ですが、ノートPCのファンは何か言いたいかもしれません。
最初の有益な目標は控えめです。一つのローカルモデルを動かし、自分が理解している作業で試し、消費する資源に見合う結果かを確かめます。このガイドでは、高価な機材の買い物リストではなく、定着したツールと具体的なモデル名を使って進めます。
実際に何がローカルで動くのか
言語モデルには、学習で得た数値の重みが入っています。推論は、その重みと入力を使って答えを生成する計算で、通常は一度に一つのトークンを出します。トークンは単語全体だけでなく、単語の一部や句読点も表します。
ローカル推論では、その計算を自分の端末で行います。アプリはCPU、対応GPU、またはその組み合わせを使います。これは、はるかに大がかりな、ゼロからのモデル学習とは別です。
作業全体がローカルだと思い込む前に、モデルとアプリの設定を確認しましょう。たとえばOllamaは2025年9月にクラウド上のモデルを導入しました。同じ見慣れた画面でも、自分のマシンと遠隔の計算資源のどちらも使えます。ターミナルから起動しただけでクラウドモデルがローカルになるわけではありません。
メモリ：モデルのファイル以外の余裕も必要
量子化は、モデルの値を表す精度を下げて、必要なメモリを減らします。出力の品質や性能にも影響する場合があり、その兼ね合いは方法とモデルによります。
大まかな例として、70億個の重みを16ビットで保存すると、重みだけで約14GBです。4ビットなら計算上約3.5GBですが、追加データや処理上の負担はまだ含んでいません。どちらもシステム全体の必要メモリ量ではありません。
実行環境には作業領域が必要で、会話の文脈もメモリを使います。OSやほかのアプリにも取り分が必要です。ダウンロードしたモデルがディスクに収まっても、長い会話がRAMやVRAMに余裕を持って収まるとは限りません。
実用的には、小さな量子化モデルと短いコンテキストから始めます。アプリのハードウェア要件と推定メモリ量を確認してください。激しくスワップし始めたり、返答が耐えがたいほど遅くなったりしたら、購入を考える前にサイズを下げましょう。
家庭用には必ず70Bが上限という規則はありません。同じRAM容量なら特定のパラメーター数がどのマシンでも快適に動く、という保証もありません。メモリ帯域、アクセラレーション対応、モデルの構造がすべて関わります。
実際に使いたくなる操作方法を選ぶ
Ollama：ターミナルからのシンプルな道
Ollamaはモデルのダウンロードを管理し、コマンドラインやローカルAPIから実行できます。ライブラリのLlama 3.2のページには、以下で使う小型の入門例があります。この練習では、ダウンロードできるローカルモデルを選んでください。
LM Studio：グラフィカルな道
LM Studioにはモデル検索画面とチャット画面があります。オフライン動作の説明によると、ダウンロード済みモデル、ローカルの文書処理、ローカル推論サーバーはネットなしで動かせます。モデル検索、ダウンロード、更新確認には接続が必要です。
画面で操作するほうが安心なら、それを使いましょう。コマンドラインを覚えるかは自由ですが、モデルがどこで動くかを理解することは省けません。
llama.cpp：もっと直接的な制御
llama.cppは、量子化モデル、CPU実行、複数のハードウェアアクセラレーションに対応するC/C++の推論プロジェクトです。CPUとGPUへの作業分担もできます。設定をより細かく制御したい人に役立ちます。
どのツールも、すべてのコンピューターで自動的に最速になるわけではありません。ハードウェアと使いたいモデルに対応する、最も簡単な選択肢から始めましょう。
Ollamaで最初のローカルチャット
- アプリをインストールします。Ollama公式ダウンロードページで、OSに合うインストーラーや手順を使います。インストールとモデル取得の時間を見込んでください。回線速度は環境で違います。
- 小型モデルを名前まで指定して取得します。ターミナルを開き、
ollama pull llama3.2:3bと入力します。Ollamaでは、このモデルの標準の量子化ダウンロードを約2GBとしています。これは取得するサイズであり、使用する総メモリではありません。 - 起動します。
ollama run llama3.2:3bと入力します。もっと小さく始めるなら、ライブラリにはllama3.2:1bもあります。 - 簡単な作業で試します。自分で書いた段落を短く書き直すよう頼み、元の文章と比べます。名前、数字、意味が保たれたかを確認しましょう。
- チャットを終了します。
/byeと入力します。後で同じモデルに戻るとき、再ダウンロードは不要です。
Llama 3.2のテキストモデルは1Bと3Bであり、8Bではありません。Metaのモデルカードに用途とライセンスが説明されています。ここでの3Bは扱いやすい例であって、2024年のモデルが2026年の全作業で最良だという主張ではありません。
インストールとダウンロードが終われば、このローカルモデルとの基本的な会話はオフラインでも可能です。ネットが必要なツールを接続した場合は、そのツールの要件が加わります。
大きくする前に、違う作業を試す
魅力的な段落を書くモデルでも、計算を間違えたり、存在しないソフトウェア関数を作ったりします。答えを確認できる例で評価しましょう。コーディングでは小さな試験用プロジェクトを使い、生成コードを実行する前に変更を調べます。
定着したコード向けの別の選択肢にQwen2.5-Coder-7B-Instructがあります。取得する具体的な形式と量子化に実行ツールが対応するか確認してください。モデル名、パラメーター数、ファイル形式、ライセンスは、それぞれ違う問いへの答えです。
AIコーディングツールの競争（英語）を見ると、役立つ作業の流れはベンチマークの点数だけでは決まらないと分かります。コンピューターに何とか読み込ませられる最大級の数字ではなく、自分が実際にする作業で選びましょう。
情報の新しさとプライバシーは作業全体次第
モデルの重みが昨日のニュースを自動的に覚えることはありません。文書を渡したり、情報取得や検索ツールを接続したりできます。Ollamaの2025年9月のウェブ検索発表は、その追加層の一例です。
接続を加えると、プライバシーの状況も変わります。言語モデル自体がローカルでも、外部検索やクラウド連携は情報をマシンの外へ送る場合があります。ローカルのチャットファイルも、バックアップに含まれたり、ほかのソフトからアクセスできたりします。
基本的なプライベート構成では、ローカルモデルを使い、有効な連携を把握し、マシン自体を安全に保ちます。機密情報には、製品ページの「ローカル」の一語ではなく、作業全体の確認が必要です。
費用とローカルAPI
無償で入手できるツールやモデルの重みから始められますが、各ライセンスに従います。実行にはハードウェア、電力、保存領域、自分の時間を使います。外部サービスより安いかは利用次第で、新しいコンピューターの代金を回収できる保証はありません。
開発者はOllamaのローカルサーバーにアプリを接続できます。OllamaのFAQには既定アドレスの127.0.0.1:11434が記載されています。この入門構成では、自分のマシン内にとどめれば十分です。ほかの端末から届くようにすると、別途アクセス制御が必要になります。
得られるのは制御する自由と、実験に役立つ場所です。小さく始め、答えを確認し続け、実際の作業が求めるときだけ広げましょう。メールの下書きを助けるのに巨大なモデルは不要です。もちろん猫は、それでも四本の足すべてで編集に参加すると言い張るでしょう。
2026-04-10公開の英語版の記事を日本語に翻訳しました。翻訳日：2026年10月30日。翻訳にはAIを使用し、記事内の時点は原文に合わせています。
