llama.cppの代替ツール9選【2026年】ハードウェアとワークロードで選ぶ

Rama Adi
執筆者

Rama Adi

Katelin Teen
レビュー者

Katelin Teen

最終更新 2026年11月14日

専門家による検証済み
ノートパソコンの前に座る開発者、Mac mini、GPUサーバーラックの横に立つ2人、それぞれがローカルでAIモデルを実行している様子の手描きイラスト
TL;DR

最適なllama.cppの代替は、GPUサーバー上の多くのユーザーにはvLLMまたはSGLang、Apple SiliconのMacにはMLX-LM、NVIDIAカード1枚に最大のモデルを載せるならExLlamaV3だ。Ollama、LM Studio、Jan、LocalAIはより使いやすいが、裏側では今もllama.cppを実行しているため、変わるのはアプリであってエンジンではない。llama.cppはv1.0.0に達した今、1人で1台のマシンを使うなら、そのまま使い続ける方がよいことが多い。目的がサポートチケットへのAI活用なら、eeselはホスト型モデルでそれを実現し、CLIを使えばコーディングエージェントがヘルプ記事をアップロードし、回答を先にテストできる。

なぜ人々はllama.cppの代替を探すのか?

ほとんどの場合、llama.cppが作られた目的を超えて成長したからであり、llama.cppの質が落ちたわけではない。llama.cppは一般的なハードウェアでモデルを実行することを当たり前にしたC/C++エンジンであり、今も最も幅広いエンジンだ。プロジェクトのREADMEにはCUDA、Metal、HIP、Vulkan、SYCL、CPU単体、その他十数種類以上のバックエンドが挙げられ、1.5bitから8bitまでのGGUF量子化、VRAMより大きいモデルのためのCPU+GPUオフロードにも対応する。MITライセンスの下で135,056個のGitHubスターを獲得し、2026年11月13日にはv1.0.0、つまり初のsemverリリースを出し、FP8のKVキャッシュ、mixture-of-expertsモデル用のホストメモリキャッシュ、再設計されたWeb UIを備えた。

私はeeselのインテグレーションとAPIを担当しているので、ローカルエンジンに費やす時間の大半は地味な部分に向かう。公開しているAPI、複数のリクエストが同時に来たときの挙動、モデルを切り替えたときに何が壊れるか、といった点だ。このリストもそれを反映している。各プロジェクトのドキュメント、リリースノート、リポジトリを読み、Hacker Newsからコミュニティの報告も集めたが、9つすべてを1台のマシンでベンチマークしたわけではないので、以下の速度に関する主張はあくまで各プロジェクト自身のものとして扱ってほしい。

移行の理由として挙がるものは、大きく4つに分かれる。

  • 多数の同時ユーザー。 llama.cppは1人には最適で、少人数ならまずまずだ。同じサーバーに複数人が集中するチームでは、バッチング型エンジンが優位に立つ。
  • Macでの速度。 Apple Siliconでは、Apple自身のMLXフレームワークの方が速い場合が多い。
  • 特定のGPUでのピーク速度。 特定ベンダーのハードウェア向けに書かれたカーネルを持つエンジンは、そのハードウェア上では汎用的なエンジンを上回ることがある。
  • ビルドではなくアプリ。 誰もがCMakeでコンパイルしてフラグを渡したいわけではない。

最初の3つは実際のエンジンの変更だ。4つ目は多くの場合そうではなく、ほとんどの比較記事が触れない部分だ。

Hacker News

"While I think that llama.cpp is an outstanding project - a one-stop-shop to get almost any model to run on almost any hardware, you get a lot more speed from specialised inference engines with kernels made for your hardware."

Ollamaは本当にllama.cppの代替なのか?

エンジンのレベルでは違う。Ollama、LM Studio、Jan、LocalAIはいずれもGGUFモデルでは裏側でllama.cppを実行しており、そのうちいくつかはMacでMLXも追加している。これらが変えるのはインストール方法、ダウンロード方法、モデル管理の方法だ。トークンの生成方法は変わらない。

その証拠は各プロジェクト自身のページにある。Ollamaのv0.40.16リリースノートには今も"Updated llama.cpp"と記載されている。LM Studioのホームページは"with MLX and llama.cpp under the hood."と述べている。JanのAPIサーバードキュメントは"local models powered by llama.cpp or MLX."と説明している。LocalAIはllama.cppを80以上あるバックエンドの1つとして、vLLMやMLXと並べて挙げている。そしてllama.cppチームは今、Mac・Windows向けに1MBのダウンロードで済む自前のLlamaデスクトップアプリも提供している。

Ollama、LM Studio、Jan、LocalAI、そしてLlamaアプリがすべてllama.cppエンジンの上に乗っており、Ollama、LM Studio、JanはMacでMLXも使える様子を示し、別のリストに異なるエンジン群を並べた図
Ollama、LM Studio、Jan、LocalAI、そしてLlamaアプリがすべてllama.cppエンジンの上に乗っており、Ollama、LM Studio、JanはMacでMLXも使える様子を示し、別のリストに異なるエンジン群を並べた図

この区別によって、どこを見るべきかが決まる。ビルドやフラグに疲れてllama.cppを離れるのなら、その上に乗るアプリが正しい選択で、すでに動いているものはすべて維持できる。ワークロードに対して遅すぎるから離れるのなら、同じエンジンの上に乗るアプリは助けにならず、右側の列にある5つのうちの1つが必要になる。

Hacker News

"There's also been some controversy over not giving proper credit to llama.cpp which ollama is/was a wrapper around."

これらの代替ツールをどう選んだか

実際に購買者が尋ねることから出発した。新しいチャットでChatGPTに"What are the best llama.cpp alternatives?"と尋ねたところ、9つのプロジェクトが挙げられ、推論エンジンとローカルLLMプラットフォームに分けられたので、その9つすべてをここに載せている。そのうえで、それぞれを次の5点で確認した。

  1. エンジンかラッパーか。 llama.cppの推論を置き換えるのか、それを包むだけなのか?
  2. ハードウェアとOS。 NVIDIA、AMD、Apple Silicon、CPU。Linux、Windows、macOS。
  3. モデル形式。 GGUF、MLXウェイト、EXL3、またはHugging Faceのsafetensors。
  4. サービング。 OpenAI互換のAPIかどうか、そして多数のリクエストをうまくバッチ処理できるか。
  5. メンテナンス。 2026年11月15日時点での、各プロジェクトのGitHubリポジトリの最新リリース日、ライセンス、スター数。

並べると次のようになる。

ツール種類裏でllama.cppを実行?ハードウェアOS主なモデル形式OpenAI互換API多数の同時ユーザーライセンスGitHubスター最新リリース有料プラン
vLLMエンジンいいえNVIDIA、AMD、Intel、CPU、プラグイン経由でTPULinux(WindowsはWSL)Safetensors、GGUFは実験的はい、Anthropic APIも対応強いApache-2.096,936v0.33.0なし
SGLangエンジンいいえNVIDIA、AMD、TPU、Intel、Ascend、MLX経由でMac主にLinuxSafetensors、NVIDIAではGGUFはい強いApache-2.038,874v0.5.23なし
MLX-LMエンジンいいえApple SiliconのみmacOSMLXウェイトOpenAI風、基本的軽量MIT7,656v0.32.2なし
ExLlamaV3エンジンいいえNVIDIA、AMD 7900以降Linux、WindowsEXL3TabbyAPI経由動的バッチングMIT(TabbyAPIはAGPL)1,825v1.6.7なし
TensorRT-LLMエンジンいいえNVIDIAデータセンター向けGPULinuxSafetensors、FP8/FP4はい強いNVIDIAのオープンソース~15,100v1.2.1 stableなし
Ollamaアプリ+サーバーはい、MLXもNVIDIA、AMD、ApplemacOS、Windows、LinuxGGUFサブセット、Anthropic APIも対応中程度MIT186,973v0.40.16クラウドは月20ドルから
LM Studioデスクトップアプリはい、MLXもNVIDIA、AMD、Apple SiliconmacOS(Mシリーズ)、Windows、LinuxGGUF、MLXはい、Anthropic APIも対応中程度アプリはクローズド、ツールはMIT5,427(lms CLI)Bionic 1.2.0クラウドは月20ドルから
Janデスクトップアプリはい、MLXもNVIDIA、AMD、ApplemacOS、Windows、LinuxGGUFはい軽量Apache 2.0~45,700v0.8.8なし
LocalAIAPIサーバーはい、80以上あるバックエンドの1つCPU、NVIDIA、AMD、Intel、Apple、JetsonLinux、macOS、Docker、KubernetesGGUFほかはい、Anthropic APIも対応中程度MIT~50,400v4.12.1なし

どのllama.cppの代替が自分のハードウェアに合うか?

まずマシンから考え、次に使う人数を考える。Macなら MLX-LM。NVIDIAカード1枚なら、1人用ならExLlamaV3、小規模チームならvLLMだ。GPUサーバーなら、プロンプトを共有するエージェントのワークロードにはSGLang、NVIDIAハードウェアで最後の速度を求めるならTensorRT-LLMだ。単に使いやすいアプリが欲しいだけなら、LM Studio、Jan、Ollamaを選び、裏側では今もllama.cppが仕事をしていることを受け入れればいい。

llama.cppを離れる際の決定木。Apple SiliconのMacはMLX-LMへ、NVIDIA GPU1枚は1人ならExLlamaV3、チームならvLLMへ、GPUサーバーはSGLangまたはTensorRT-LLMへ、アプリが欲しい場合はLM Studio、Jan、Ollamaへとつながる
llama.cppを離れる際の決定木。Apple SiliconのMacはMLX-LMへ、NVIDIA GPU1枚は1人ならExLlamaV3、チームならvLLMへ、GPUサーバーはSGLangまたはTensorRT-LLMへ、アプリが欲しい場合はLM Studio、Jan、Ollamaへとつながる

最も役立つ質問は、同時に何人がそのモデルを使うかだ。llama.cppには並列スロットとOpenAI互換のllama-serverがあるが、continuous batchingを中心に構築されたエンジンは、同時リクエストが積み重なってもスループットを維持できる。その代わり、起動は遅くなり、量子化されたファイルを扱う柔軟性は下がる。

llama.cppにとどまるべき場合(1人のユーザー、数秒での起動、どのGGUF量子化でも対応、CPUとGPUのオフロード)と、vLLMやSGLangに移行すべき場合(多数のユーザー、continuous batching、共有プレフィックスキャッシュ、LinuxのGPUサーバー)を示した比較
llama.cppにとどまるべき場合(1人のユーザー、数秒での起動、どのGGUF量子化でも対応、CPUとGPUのオフロード)と、vLLMやSGLangに移行すべき場合(多数のユーザー、continuous batching、共有プレフィックスキャッシュ、LinuxのGPUサーバー)を示した比較
Hacker News

"IME vLLM is quite a bit faster than llama.cpp but where it really wipes the floor with it is in batching concurrent load. The downside is that it is dramatically less flexible in terms of tweaking. It gives you very few options for running quantized weights."

1. vLLM

こんな人に向いている: LinuxのGPUサーバーから多数のユーザーに1つのモデルを提供したい人。

vLLMのドキュメントのホームページ。すべての人向けの簡単・高速・低コストなLLMサービングと説明されている。vLLMのドキュメントより
vLLMのドキュメントのホームページ。すべての人向けの簡単・高速・低コストなLLMサービングと説明されている。vLLMのドキュメントより

vLLMは自らを"a fast and easy-to-use library for LLM inference and serving."と説明している。UC BerkeleyのSky Computing Labで始まり、現在は2,000人以上のコントリビューターを抱える。"サーバー向けのllama.cpp"という文脈で1つだけ名前を聞いたことがあるなら、それはこのツールだろう。

llama.cppより優れている点

  • 同時トラフィック。 PagedAttention、continuous batching、chunked prefill、prefix cachingはすべて、多数のリクエストを同時に処理するために作られている。
  • 大規模なデプロイ。 テンソル、パイプライン、データ、エキスパート、コンテキストの並列化により、モデルを複数のGPUやマシンに分散できる。
  • APIの広さ。 OpenAI互換サーバーに加えて、Anthropic Messages APIとgRPCも備え、Claude Codeのようなツールから接続できる。
  • サーバー向けの幅広いハードウェア対応。 NVIDIA、AMD ROCm 6.3+、Intel XPU、CPUに加え、プラグイン経由でTPU、Gaudi、Ascendにも対応する。

弱い点

  • Linuxのみ。 GPUインストールガイドは"vLLM does not support Windows natively"と述べ、WSLを案内している。Apple Siliconはコミュニティ製のvLLM-Metalプラグイン経由でしか動かない。
  • GGUFは裏口的な存在。 GGUFのドキュメントはこれを"highly experimental and under-optimized"と呼び、今は別のプラグインが必要だ。モデルのライブラリがGGUFファイルなら、safetensors版をダウンロードする計画を立てておくべきだ。
  • 起動が遅い。 読み込み時に最適化されたCUDAグラフをコンパイルするため、モデルを頻繁に切り替える場合は不利になる。
Hacker News

"We use all kinds of different models other than Qwen3, and vLLM startup when switching models is prohibitively slow (several times slower than llama.cpp, which is already 5 sec)"

コスト

Apache-2.0の下で無料。uv pip install vllmでインストールし、vllm serve <model>で提供する。本当のコストは対応GPUを備えたLinuxマシンと、それを運用する人だ。

結論

チーム、アプリ、エージェント群が1つのモデルを共有し、起動時間よりスループットが重要なときはvLLMを選ぶ。WindowsやMacを使っている場合、あるいは一日中GGUFモデルを切り替えている場合は見送るべきだ。

2. SGLang

こんな人に向いている: 同じ長いプロンプトを繰り返し送るエージェントのワークロードを扱う人。

SGLangのドキュメントのホームページ。大規模言語モデルとマルチモーダルモデル向けの高性能サービングフレームワークと説明されている。SGLangのドキュメントより
SGLangのドキュメントのホームページ。大規模言語モデルとマルチモーダルモデル向けの高性能サービングフレームワークと説明されている。SGLangのドキュメントより

SGLangは"optimized for agentic workloads, large-scale serving, and RL rollouts,"と説明されるオープンソースの推論フレームワークで、非営利団体LMSYSがホストしている。そのドキュメントは"low-latency, high-throughput inference with RadixAttention, prefix caching, and multi-GPU parallelism."という説明から始まる。

llama.cppより優れている点

  • 共有プレフィックスの再利用。 RadixAttentionは共有されたプロンプトのプレフィックスをキャッシュに保持し、エージェントが毎回同じシステムプロンプトとツールリストを送る場合に効果を発揮する。
  • 発売初日からのモデルレシピ。 ドキュメントにはKimi K3.1 Proのような新しいリリース向けのクックブックページがあり、Qwen3.8-Flash-Next向けの初日レシピもある。
  • 幅広いアクセラレーター対応。 RTX 30シリーズからGB300までのNVIDIA、AMD Instinct、Google TPU、Intel ArcとXeon、Huawei Ascend、MLX経由のMacに対応する。
  • OpenAI互換。 ドキュメントは"compatible with Hugging Face and OpenAI APIs."だと述べている。

弱い点

  • CUDA 13が必要。 インストールページによれば、CUDA 12のwheelは0.5.19以降廃止されたため、古いドライバスタックは更新が必要だ。
  • Linuxが中心。 メインのインストールガイドはNVIDIA GPUを搭載したLinuxを対象としており、Macでの導入にはmacOS 14以降と環境変数の設定が必要になる。
  • メモリオフロード。 ユーザーからは、ウェイトとKVキャッシュをシステムRAMにオフロードする機能がllama.cppより弱いという報告がある。
Hacker News

"My own experience shows that both weight and KV cache offload to ram on sglang and vllm is unavailable or unusable."

コスト

Apache-2.0の下で無料。uv pip install --prerelease=allow sglang、またはDockerイメージlmsysorg/sglangを使う。

結論

トラフィックがエージェントや、長く繰り返されるプレフィックスを持つRAGパイプラインであれば、vLLMよりSGLangを選ぶ。MCPを使ったAIエージェントを構築しているなら、それがトラフィックの大部分を占めるはずだ。オフロードなしではモデルが収まらない単体のデスクトップGPUには向かない。

3. MLX-LM

こんな人に向いている: Apple SiliconのMacでモデルを実行・ファインチューニングしたい人。

ml-explore/mlx-lmのリポジトリページ。GitHubより
ml-explore/mlx-lmのリポジトリページ。GitHubより

MLX-LMはApple自身の"Python package for generating text and fine-tuning large language models on Apple silicon with MLX."だ。Appleの配列フレームワークで、ユニファイドメモリを中心に構築されたMLXの上に成り立っている。

llama.cppより優れている点

  • 多くのモデルでのMacの速度。 Hacker Newsのユーザーは、Apple Siliconで打ち勝つべき基準としてMLXを扱っている。あるユーザーは、LM Studio上の同じ8Bモデルで、MLXが1秒あたり約50トークン、llama.cppが約41トークンだったと測定している。
  • ファインチューニングが組み込み済み。 LoRA、QLoRA、フル・ファインチューニングに対応し、量子化済みモデルでも使える。複数のMacにまたがる分散推論も可能だ。
  • すでにそろった大きなライブラリ。 Hugging FaceのMLX Communityには変換済みモデルが数千件あり、mlx_lm.convert -qで自分のモデルを量子化できる。
Hacker News

"On a Mac the baseline I'd want is MLX, not llama.cpp. llama.cpp isn't the fast path on Apple Silicon for most models people run locally, so a speedup over llama.cpp could still be slower than mlx_lm."

弱い点

  • Macのみ。 このパッケージにはLinuxやWindows向けのGPUパスがない。
  • シンプルなサーバー。 mlx_lm.serverはOpenAIに似たAPIを話すが、自身のサーバーに関する注記は"is not recommended for production as it only implements basic security checks."と述べている。
  • GGUFに対応しない。 MLX形式のウェイトを使うため、既存のGGUFフォルダはそのまま使えない。
  • 常に信頼性が高いわけではない。 あるユーザーは、MLXのセットアップが繰り返しを続けて止まらなくなった後、llama.cppに戻ったと報告している。

コスト

MITの下で無料。pip install mlx-lm、続いてmlx_lm.chat。

結論

MシリーズのMacを使っていて、速度やローカルでのファインチューニングが欲しいならMLX-LMを選ぶ。同じエンジンをGUI付きで使いたいなら、LM Studio、Ollama、JanはいずれもMacでMLXを使っている。Linuxサーバーで動かす必要があるものには向かない。

4. ExLlamaV3

こんな人に向いている: NVIDIAのコンシューマー向けGPU1枚に、できるだけ大きなモデルを詰め込みたい人。

turboderp-org/exllamav3のリポジトリページ。GitHubより
turboderp-org/exllamav3のリポジトリページ。GitHubより

ExLlamaV3は"an inference library for running local LLMs on modern consumer GPUs, with flexible quantization and parallel inference."だ。ExLlamaV2を置き換えるもので、ExLlamaV2のREADMEは今はarchived(アーカイブ済み)と記され、V3への移行を案内している。TabbyAPIはその上で動く公式サーバーだ。

llama.cppより優れている点

  • ギガバイトあたりの品質。 QTIPをベースにしたEXL3形式は、小数単位のビットレートと2〜8bitのキャッシュ量子化に対応し、VRAMをぴったり満たすようにモデルを調整できる。
  • 自宅でのマルチGPU。 コンシューマー向けカード間でのテンソルおよびエキスパートの並列化に加え、大規模なmixture-of-expertsモデル向けのCPUオフロードも備える。
  • 活発な開発。 v1.6.7は2026年11月13日にリリースされ、ほぼ毎日コミットがある。
Hacker News

"ExllamaV3 4.0bpw fits in 12.5G of VRAM and beats IQ4_XS according to the measurements here"

弱い点

  • NVIDIAが前提。 CUDA 12.4以降が必要だ。AMD対応は新しく、Radeon RX 7900シリーズに限られる。Macのパスはない。
  • 変換が必要。 モデルはEXL3に変換する必要があり、GGUFは読み込めない。
  • ホビー規模のサーバー向け。 TabbyAPIのREADMEは"is not meant to run on production servers"だと述べ、ライセンスはAGPL-3.0だ。

コスト

無料。ExLlamaV3はMIT、TabbyAPIはAGPL-3.0だ。リリースページのビルド済みwheelを使えば、pip install exllamav3のためにCUDA toolkitを用意する必要がない。

結論

RTXカードを1枚か2枚持っていて、自分用に収まる最大のモデルが欲しいならExLlamaV3を選ぶ。共有の本番サービングやNVIDIA以外の環境には向かない。

5. TensorRT-LLM

こんな人に向いている: NVIDIAのデータセンター向けGPUで最大のスループットを求める人。

NVIDIA/TensorRT-LLMのリポジトリページ。GitHubより
NVIDIA/TensorRT-LLMのリポジトリページ。GitHubより

TensorRT-LLMはNVIDIAのオープンソースライブラリで、"for accelerating and optimizing inference performance of the latest large language models (LLMs) on NVIDIA GPUs"のためのものだ。今はPyTorchの上に構築され、Python製のLLM APIを備える。

llama.cppより優れている点

  • 新しいカードでの低精度フォーマット。 B200ではネイティブのFP4、H100以降ではFP8に対応し、NVIDIAによれば"can double performance and halve memory consumption compared to 16-bit floating point"だという。
  • サービング機能。 In-flight batching、ブロック再利用付きのPaged KVキャッシュ、投機的デコーディング(EAGLE、MTP、NGram)、LoRA、ベータ版の分離型サービングを備える。
  • NVIDIAのスタック。 ドキュメントによれば、NVIDIA DynamoやTriton Inference Serverと連携でき、trtllm-serveはOpenAI互換のエンドポイントを公開する。

弱い点

  • NVIDIAのデータセンター向けハードウェアが前提。 対応GPUはAmpere A100からHopper、Blackwellまでだ。ノートPC向けのツールではない。
  • リリースのペース。 最新の安定版はv1.2.1で2026年4月20日のもの。ドキュメントはすでに1.4.0のリリース候補を扱っている。
  • セットアップが重い。 最も手早い方法はNVIDIAのNGCコンテナだ。
Hacker News

"Some GPUs are still better than others like Nvidia GPUs are still the best for token throughput (via TensorRT-LLM), but AMD GPUs are competitive (via vLLM) and even CPUs can run LLMs at decent speeds (via Llama.cpp)."

コスト

無料で有料プランはない。コストは、これが対象とするH100やB200クラスのハードウェア、あるいはクラウドの利用時間だ。スループットだけが必要なチームは、自前の運用よりGroqのようなホスト型エンジンの方が安いと感じることもある。

結論

NVIDIAのデータセンター向けGPUを所有していて、トークンあたりのサービングコストが主要な指標であればTensorRT-LLMを選ぶ。コンシューマー向けハードウェアでは、vLLMやExLlamaV3の方がシンプルなので見送るべきだ。

6. Ollama

こんな人に向いている: 最も簡単なローカルモデルのセットアップが欲しく、クラウドモデルも選択肢に入れたい人。

Ollamaのホームページ。"the most popular way to build with open models"とあり、インストール数、ダウンロード数、トークン数のカウンターが表示されている。Ollamaより
Ollamaのホームページ。"the most popular way to build with open models"とあり、インストール数、ダウンロード数、トークン数のカウンターが表示されている。Ollamaより

Ollamaは自らを"the most popular way to build with open models"と呼んでおり、その数字も人気の部分を裏付けている。GitHubスターは186,973個、自社のホームページによれば月間900万件以上のインストールがある。

llama.cppより優れている点

  • ビルドが不要。 macOS、Windows、Linux向けのインストールスクリプトまたはインストーラーに加え、Dockerイメージもある。
  • モデルライブラリ。 ollama runはollama.com/libraryからダウンロードし、Kimi K3やDeepSeek V4 Flashのようなモデルも含まれる。
  • エージェントとの連携。 ollama launchはローカルモデルをClaude Code、Codex、OpenCodeなどに接続し、OpenAIとAnthropic互換のエンドポイントも備える。
  • MacでのMLX。 リポジトリには今、llama.cppと並んでMLXランナーも含まれている。
Hacker News

"When I read the llama.cpp repo and see I have to build it, vs ollama where I just have to get it, the choice is already made."

弱い点

  • エンジンは同じ。 GGUFモデルの場合、裏側は今もllama.cppなので、スループットの問題は解決しない。
  • OpenAI APIは部分的対応。 互換性ドキュメントは"supports a subset of the OpenAI API."と述べている。
  • 調整の幅が少ない。 インストールが簡単になった今、より細かな制御を望むようになったユーザーの一部はllama.cppに戻っている。

コスト

ローカルでは無料。クラウドプランはOllamaの料金ページにある通り、以下の通りだ。

プラン価格内容
従量課金サブスク料金0ドルクラウドでのトークン課金、同時リクエスト3件
Pro月20ドル(年200ドル)月60ドル分の利用クレジット、より大きなProモデル
Max月100ドル月300ドル分の利用クレジット、同時リクエスト10件
Team(早期アクセス)月500ドルユーザー数無制限、1,000ドル分の共有クレジット
Enterprise要相談モデルアクセス制御、ユーザー・キー単位の予算

結論

5分でローカルモデルを動かしたい、そしてコーディングエージェントに接続する予定があるならOllamaを選ぶ。llama.cppを離れる理由が速度なら、同じエンジンを使い続けることになるので見送るべきだ。

7. LM Studio

こんな人に向いている: VRAMに応じてモデルを選べる、洗練されたデスクトップアプリが欲しい人。

オープンモデル向けのエージェントアプリであるBionicを紹介するLM Studioのホームページ。LM Studioより
オープンモデル向けのエージェントアプリであるBionicを紹介するLM Studioのホームページ。LM Studioより

LM Studioはモデルチャットアプリから"Bionic"へと成長した。これを"LM Studio's agent for open models. Natively local."と呼んでいる。裏側では、公式の言葉で"with MLX and llama.cpp under the hood."だという。

llama.cppより優れている点

  • モデル探索。 検索によって、ダウンロード前に自分のハードウェアに合うモデルが分かる。
  • Macで両方のエンジン。 llama.cppの拡張パック経由のGGUFと、自社のoMLXエンジン経由のMLXを、モデルごとに選べる。
  • 開発者向けの機能。 OpenAIとAnthropic互換のエンドポイント、TypeScriptとPythonのSDK、lmsCLI、そしてGUIなしで動くサーバー・CI向けのヘッドレスデーモンllmsterを備える。
Hacker News

"LM Studio's model search is pretty good at showing what models will fit in your VRAM."

弱い点

  • クローズドソースのアプリ。 デスクトップアプリはLM Studio独自の利用規約の下にあり、GitHub上でMITなのはCLIとSDKのみだ。
  • llama.cppに遅れをとる。 プリコンパイル済みのエンジンパックを同梱しているため、真新しいモデルへの対応が数日遅れることがある。
  • Intel Macには対応しない。 macOSにはApple Siliconとmacos 14以降が必要だ。

コスト

ローカルでは無料。LM Studioの料金ページによれば、Bionic+は米国ホストのオープンモデルとウェブ検索で月20ドル、Proは利用上限が5倍になって月100ドル、チーム向けの料金は公開されていない。

結論

ローカルモデル向けの最も優れたGUIが欲しく、特にMacでGGUFとMLXを自動で切り替えてほしいならLM Studioを選ぶ。オープンソースのアプリや、その日のうちに最新のllama.cppビルドが必要な場合は見送るべきだ。

8. Jan

こんな人に向いている: ローカルにとどまる、ChatGPT風のオープンソースデスクトップアプリが欲しい人。

"Your personal intelligence. Run any model, your way."というJanのホームページ。Janより
"Your personal intelligence. Run any model, your way."というJanのホームページ。Janより

JanはmacOS、Windows、Linux向けのオープンソースデスクトップアプリだ。そのドキュメントは"the llama.cpp engine is built into Jan and updates together with the app"だと述べ、Apple SiliconではMLXを使用している。

llama.cppより優れている点

  • オープンソースで使いやすい。 Apache 2.0ライセンス、約45,700のスター、チャットインターフェース、初回起動時にデフォルトモデルをダウンロードするモデルハブを備える。
  • 1つのウィンドウでローカルとクラウドの両方。 ローカルモデルと並べてOpenAI、Anthropic、Googleのキーを追加できるほか、MCPサーバーとウェブ検索も使える。
  • ローカルAPI。 127.0.0.1:1337/v1でOpenAI互換サーバーを提供する。
Hacker News

"its open source, has a simple chat interface, it uses llama.cpp, it lets you search for models and downloads them, and it supports .gguf so youre not locked in if you want to use the models with another program later on"

弱い点

  • エンジンは同じ。 OllamaやLM Studioと同様、推論速度は変わらない。
  • Intel Mac。 内蔵されたllama.cppエンジンは、v0.8.5以降Intel Macでモデルをロードしない。
  • 新しい機能はプレビュー中。 自律タスクモードのCoworkは、まだプレビューとされている。

コスト

無料。有料プランはなく、ホスト版プラットフォームは近日公開とされている。

結論

オープンソースライセンスでLM Studioの使いやすさが欲しいならJanを選ぶ。サーバー級のサービングが必要なら見送るべきだ。

9. LocalAI

こんな人に向いている: テキスト、画像、音声などをまとめて扱える、単一のセルフホスト型APIが欲しい人。

"Your own AI, on your own hardware"というLocalAIのホームページ。LocalAIより
"Your own AI, on your own hardware"というLocalAIのホームページ。LocalAIより

LocalAIはMITライセンスのセルフホスト型エンジンで、テキスト、ビジョン、音声、画像、動画のモデルを対象とし、"more than 80 backends"を備え、その中にはllama.cpp、vLLM、MLX、whisper.cppも含まれる。

llama.cppより優れている点

  • 多様なモデルタイプ向けの単一API。 OpenAI互換に加え、AnthropicやElevenLabsの形式、リアルタイムAPI、制約付き文法にも対応する。
  • 差し替え可能なバックエンド。 各バックエンドは独自のイメージで、モデルが必要とするときだけ読み込まれる。チームはvllm.cppのように、いくつかを自前で構築している。
  • 幅広いハードウェア対応。 CPU、NVIDIA CUDA 12・13、AMD ROCm、Intel、Apple Metal、Vulkan、Jetsonに対応する。

弱い点

  • 実質的にはルーター。 GGUFのテキストモデルでは、実際の作業をしているのは今もllama.cppだ。
  • 新機能は開発版ビルドのみ。 エージェント、ファイル、サンドボックス、チームログインは、v4.12.1時点では開発版ビルドにしかない。
  • 可動部分が多い。 バックエンドごとのコンテナは柔軟だが、単一のバイナリより重い。
Hacker News

"And if you want to use WSL, then I'd suggest using something like LocalAI which gives you a lot more control and support for additional formats (GGML, GGUF, GPTQ, ONNX, etc)."

コスト

無料。スクリプト、Docker、macOSアプリ、Kubernetesでインストールできる。

結論

チャット以上のことをするホームラボや社内プラットフォーム向けに、OpenAI風の単一エンドポイントが欲しいならLocalAIを選ぶ。テキストモデルしか動かさないなら、純粋なエンジンの方がシンプルなので見送るべきだ。

いつllama.cppにとどまるべきか?

1人で1台のマシンを使っていて、特に混在した、あるいは珍しいハードウェアを使っている場合だ。ここに挙げたどの代替も、これほど多くのバックエンドをカバーしていない。AMDノートPC向けのVulkanから、Snapdragon、Huawei Ascendまで幅広い。新しいモデルアーキテクチャも、たいていそこに最初に到達する。v1.0.0はリリース当日にKimi-K3.1-ProとRipple-65Bを追加し、llama-serverは既にOpenAI互換API、Web UI、MCPツールを備えている。私の同僚のllama.cppガイドがv1.0.0のセットアップを詳しく解説している。

2つの大きな不満も、以前より小さくなっている。ビルドは今ではLlamaアプリやHomebrew、Wingetによるインストールで不要になり、v1.0.0の新しいMoEキャッシュはリリース内のあるテストで速度を倍増させ、Qwen3.8-Flash-Nextで1秒あたり24.2から47.6トークンになった。エキスパートのキャッシュミスの大半はCPUで処理されている(PR #30966)。

llama.cppチームとHugging Faceによる、Llamaデスクトップアプリのページ。"Your AI. On your computer."とある。llama.appより
llama.cppチームとHugging Faceによる、Llamaデスクトップアプリのページ。"Your AI. On your computer."とある。llama.appより
Hacker News

"I have been using llama.app, which is the desktop interface built on top of llama.cpp by the same people. It is an alternative to Ollama that might interest people who want to switch given Ollama's reputation and previous decisions."

主にコーディングエージェントを動かすためにモデルを実行しているなら、ボトルネックを実測していない限りそのまま使い続けるべきだ。ツール呼び出しを待つエージェントは、サーバー型エンジンのバッチングをほとんど必要としない。自宅で動かすオープンソースエージェントについても同じことが言える。

llama.cppからの移行には実際どれくらいのコストがかかるか?

このリストにあるエンジンはすべて無料のソフトウェアなので、価格はハードウェアと時間だ。上のドキュメントから導き出せる目安をいくつか挙げる。

  • vLLM、SGLang、TensorRT-LLM。 LinuxのGPUサーバーと、CUDA、ドライバー、コンテナを常に最新に保つ担当者が必要になる。SGLangは既にCUDA 13を要求する。
  • MLX-LM。 すでにユニファイドメモリが十分あるMシリーズのMacを持っているなら、追加コストはかからない。
  • ExLlamaV3。 モデルをEXL3に変換し、GGUFファイルとは別のモデルフォルダを保持する必要がある。
  • OllamaとLM Studio。 ローカルでは無料で、課金されるのはクラウドモデルだけであり、月20ドルからだ。

どれも自前で持ちたくないなら、Together AIのようなホスト型推論が、ハードウェア代をトークンあたりの料金に置き換えてくれる。それでもLLM利用量トラッキングツールで追跡すべきだ。ローカルモデルが本当に安くなるのは、そのマシンが常に稼働している場合だけだからだ。

サポートチケットにAIを使いたいなら、eeselはどこに位置するのか?

多くの人がllama.cppに行き着くのは、データをあちこちに送らずに顧客に返答するAIが欲しいからだ。推論エンジンはそのための基盤であり、完成した仕事そのものではない。それでも、ヘルプデスクとの連携、ナレッジの同期、テスト、人への引き渡し、レポーティングは自分で構築する必要がある。それこそがeeselがやっている仕事だ。エンジンはモデルを動かし、eeselはサポートの仕事をする仲間だ。

eeselのAIヘルプデスク担当は、ZendeskやFreshdeskの既存のキューに加わり、ヘルプセンターと過去のチケットから回答し、実際の顧客に返信する前に過去の会話でテストされる。SE RankingはZendesk上の3つのプロダクトそれぞれにeeselエージェントを運用し、約16,800ページのナレッジから月に4,650件の会話を処理しており、返金や担当者への引き渡しが必要なリクエストはチームに渡している。貴金属業界向けのソフトウェアを開発するOrosoftは、代わりにこれをコパイロットとして使っている。サポート担当者がFreshdeskのチケット上でeeselにメンションすると、約6,100件の過去のチケットに基づいた下書きを受け取れる。

すでにターミナルに慣れているなら、eeselのCLIは気に入ってもらえる部分だ。Claude CodeやCodexのようなコーディングエージェントはこれを使って、エクスポートされたヘルプ記事やマクロのような承認済みのナレッジをアップロードし、エージェントの指示を調整し、本番投入前にテスト用の質問をして回答を確認できる。ヘルプデスク自体の接続には、依然として管理者権限を持つ誰かの承認が必要だ。

eeselを試す

あなたのデスクにあるモデルが、最終的に顧客への返答を目的としていたなら、eeselはエンジンを選んだりGPUを買ったりせずにそこへたどり着かせてくれる。数分でヘルプデスクに接続し、過去のチケットから学習し、SE Rankingが3つのプロダクトで運用しているのと同じように、まず過去の会話でテストされる。気になるなら先に料金を見てほしい。準備ができたら、eeselを無料で試してほしい。

Zendeskのチケットに取り組むeeselのAIエージェント。チームのヘルプコンテンツから回答を作成し、送信している様子

よくある質問

llama.cppの最適な代替は何ですか?
何から移行するかによる。GPUサーバー上の多くのユーザーにとって、vLLMまたはSGLangはリクエストをまとめて処理する(バッチング)ため、最も有力なllama.cppの代替だ。Apple SiliconのMacではMLX-LMが定番の選択肢で、NVIDIAカード1枚なら、ExLlamaV3が同じVRAMにより多くのモデルを収められる。最終的な目的がサポートチケットへのAI活用なら、ホスト型のAIヘルプデスクエージェントはハードウェアの問題を完全に回避できる。
Ollamaはllama.cppの代替ですか?
アプリのレベルでのみそうだ。Ollamaのリリースノートには今も"Updated llama.cpp"と記載されており、リポジトリにはllamaフォルダがあるため、GGUFモデルでは裏側のエンジンは依然としてllama.cppだ。Apple Silicon向けのMLXランナーも備えている。Ollamaが変えるのはセットアップとモデルライブラリであり、中核の推論エンジンではない。速度が理由で代替ツールを探しているなら、これは重要な点だ。
vLLMはllama.cppより速いですか?
多くの人が同時に使う場合は、通常はそうだ。vLLMはcontinuous batchingとPagedAttentionを使って同時リクエストを処理するためだ。モデルを頻繁に切り替える単一ユーザーにとっては、llama.cppは数秒で起動する一方、vLLMはまず最適化されたCUDAグラフを構築する。vLLMはLinuxも必要とし、公式ドキュメントはGGUFサポートを非常に実験的だとしているため、サーバー向けのllama.cpp代替であって、ノートPC向けではない。自前のサーバーを運用したくないなら、Groqのようなホスト型の選択肢がどう比較されるか見てほしい。
Macで最適なllama.cppの代替は何ですか?
MLX-LM、Apple Siliconでモデルを実行・ファインチューニングするためのApple自身のパッケージだ。Hacker Newsのユーザーは、ほとんどのモデルでMacでの基準となる速い選択肢だと報告しているが、特定のモデルではllama.cppの方が信頼できるという声もまだある。LM Studio、Ollama、JanもアプリならすべてMLXモデルを実行できる。試す価値のあるモデルとしては、QwenやDeepSeek V4 Flashから始めるとよい。
llama.cppの代替は無料ですか?
エンジン自体は無料でオープンソースだ。vLLM、SGLang、MLX-LM、ExLlamaV3、LocalAI、Janはローカルで実行する限り費用はかからない。OllamaとLM Studioもローカルでは無料だが、クラウドプランを販売している。Ollama ProとLM Studio Bionic+は月20ドルからだ。どのllama.cppの代替でも本当のコストはハードウェアとそれを動かす時間であり、そのためチームはよくTogether AIやFireworks AIと比較検討する。
2026年もllama.cppにとどまるべきですか?
1人で1台のマシンを使っているなら、多くの場合はそうだ。llama.cppは2026年11月13日にv1.0.0をリリースし、ここに挙げたどの代替よりも多くのハードウェアバックエンドで動作し、今はllama.appでデスクトップアプリも提供している。多くの同時ユーザー、Macネイティブの速度パス、特定のNVIDIA最適化が必要になったら移行すればいい。コーディングエージェント向けにモデルを実行しているなら、llama-serverは既にOpenAI APIに対応している。
カスタマーサポートAIにローカルのllama.cpp代替を使えますか?
使えるが、ヘルプデスクとの連携、ナレッジの同期、テスト、引き渡しを自分で構築する必要がある。多くのサポートチームにとっては、eeselのようなAIヘルプデスク担当の方が適している。ZendeskやFreshdeskに接続し、本番投入前に過去のチケットでテストされる。顧客にモデルを晒す前にハルシネーションを防ぐ方法を読んでおいてほしい。

Share this article