Llama.cpp on soijoy.dev

Ollamaとは何か？ローカルLLM推論エンジンの比較

Tue, 15 Sep 2026 12:06:32 +0000

ローカルLLMを動かすエンジンの一つ Ollama とは何か、そして代表的な推論ソフトの比較。基盤構築の初期に整理したもの。

Ollamaは一言でいうと「複雑なローカルLLMの環境構築を極限まで簡略化し、使いやすいAPIとして提供するラッパー」。内部では C++製の軽量・高速な推論エンジン llama.cpp が動いている。本来 llama.cpp を直接扱うにはビルドやコマンドが必要だが、Ollamaはそれを隠蔽し、ollama run モデル名 というDockerのような手軽さで、モデルのダウンロードから実行、APIサーバー起動までを全自動でこなす。

得意なモデル形式: GGUF（量子化モデル）
主な役割: クライアント（Open WebUI等）からのプロンプトを受け取り、内部モデルで計算して回答を返すバックエンドエンジン

代表的な推論ソフトの比較 #

vLLM #

高速推論・サーバー用途で最強格。「PagedAttention」というメモリ管理で、Ollamaやllama.cppの数倍〜十数倍のスループット。OpenAI互換APIサーバーに最適。一方でVRAM消費が激しく、量子化モデル（GGUF等）対応は発展途上。構築難易度はやや高め。

llama.cpp（直接実行） #

Ollamaの内部でも使われるコアエンジンを直接操作する方法。オーバーヘッドがなく最軽量で、リソースを限界まで引き出せる。CPU/GPUの配分など細かいチューニングが可能。すべてCUIで、モデル管理も手動なので学習コストは高い。

LM Studio #

Windows/MacでGUIがセットになったオールインワン。モデル検索→DL→チャットが専用アプリで直感的に完結し、初心者には最も簡単。ただしクローズドソースで、ヘッドレス運用（サーバーで常駐し別PCからアクセス）には不向き。

Text-generation-webui（Oobabooga） #

超多機能・拡張性特化。GGUFに加えEXL2/AWQ/GPTQなどほぼ全形式・エンジンを切り替え可能で、パラメータ調整項目も最多。反面、UIが複雑で依存も多く、環境が壊れやすい。

目的別のおすすめ #

手軽さ・安定・汎用: Ollama（+ Open WebUI）
超高速APIサーバー: vLLM
マニアックな極限設定: llama.cpp
色々な形式を試す: Oobabooga

この基盤でのその後 #

この整理の時点では Ollama + Open WebUI が最もバランスの良いモダン構成だったが、量子化やKVキャッシュ、GPUオフロードといった推論の低レベル制御を自分で握るため、最終的にこの基盤ではオーバーヘッドのない llama.cpp 直叩き構成へ移行した（→ プロジェクト概要）。

llama.cpp によるモデルの自作量子化（Quantization）

Tue, 15 Sep 2026 12:06:18 +0000

Hugging Faceからオリジナル精度（FP16/BF16）の生の重み（Safetensors）を入手し、llama.cpp の変換スクリプトで無圧縮のGGUF（FP16）を作成。そこからC++ネイティブの llama-quantize で4bit（Q4_K_M）へ量子化し、自作した量子化モデルがV100で高速かつ論理破綻なく動くことを確認した記録。

前提 #

作業ディレクトリ: ~/llama.cpp
対象モデル: Qwen2.5-7B-Instruct
変換の流れ: Safetensors（生データ）→ FP16 GGUF（無圧縮）→ Q4_K_M（4bit量子化）

1. 生の重みデータ（Safetensors）を入手 #

誰かが量子化済みのファイルではなく、公式配布のオリジナル精度の重みを取得する（約15GB）。

cd ~/llama.cpp
hf download Qwen/Qwen2.5-7B-Instruct --local-dir models/Qwen2.5-7B-Instruct-Raw

2. 変換用のPython仮想環境（venv） #

現代のLinux（PEP 668）ではシステムのpipへ直接入れられないため、venvで隔離する。

sudo apt install python3-venv -y
python3 -m venv llama-env
source llama-env/bin/activate

依存ライブラリは requirements.txt でコケることがある。その場合はコアだけ直接入れる。

pip install torch transformers gguf sentencepiece protobuf numpy

3. 無圧縮GGUF（FP16）へ変換 #

複数の .safetensors を、llama.cpp が扱える1つのGGUF（FP16, 無劣化）に結合する。

llama.cpp ネイティブ環境構築とTesla V100フル稼働の記録

Tue, 15 Sep 2026 16:00:00 +0900

Ollamaのようなラッパー（ブラックボックス）を排除し、C/C++ネイティブの llama.cpp をソースからビルドして、Tesla V100（32GB）の性能を限界まで引き出す。エッジAI・組み込みAIの基礎になる「量子化」や「ローレベルな推論制御」を自分の手で握るためのベース環境を作った記録。

前提環境 #

OS: Ubuntu Server（Proxmox VM101）
GPU: NVIDIA Tesla V100（VRAM 32GB）
目的: AIのアーキテクチャ階層を直接操作し、フィジカルAI・エージェントAIの基盤技術（量子化・推論制御）を検証する

1. 依存関係とCUDA Toolkitの導入 #

C++ソースからGPU用プログラムをコンパイルするため、ビルドツールとCUDA Toolkit（nvcc等）を導入する。

# ビルドツールと依存ライブラリ
sudo apt update
sudo apt install build-essential cmake git -y

# CUDA Toolkit（nvccコンパイラ等）
sudo apt install nvidia-cuda-toolkit -y

# 確認（バージョンが出ればOK）
nvcc --version

2. llama.cpp のクローンとビルド #

公式リポジトリを取得し、CUDA（GPU高速化）を有効化してネイティブバイナリをコンパイルする。