llama.cpp によるモデルの自作量子化（Quantization）

Tue, 15 Sep 2026 12:06:18 +0000

Hugging Faceからオリジナル精度（FP16/BF16）の生の重み（Safetensors）を入手し、llama.cpp の変換スクリプトで無圧縮のGGUF（FP16）を作成。そこからC++ネイティブの llama-quantize で4bit（Q4_K_M）へ量子化し、自作した量子化モデルがV100で高速かつ論理破綻なく動くことを確認した記録。

前提 #

作業ディレクトリ: ~/llama.cpp
対象モデル: Qwen2.5-7B-Instruct
変換の流れ: Safetensors（生データ）→ FP16 GGUF（無圧縮）→ Q4_K_M（4bit量子化）

1. 生の重みデータ（Safetensors）を入手 #

誰かが量子化済みのファイルではなく、公式配布のオリジナル精度の重みを取得する（約15GB）。

cd ~/llama.cpp
hf download Qwen/Qwen2.5-7B-Instruct --local-dir models/Qwen2.5-7B-Instruct-Raw

2. 変換用のPython仮想環境（venv） #

現代のLinux（PEP 668）ではシステムのpipへ直接入れられないため、venvで隔離する。

sudo apt install python3-venv -y
python3 -m venv llama-env
source llama-env/bin/activate

依存ライブラリは requirements.txt でコケることがある。その場合はコアだけ直接入れる。

pip install torch transformers gguf sentencepiece protobuf numpy

3. 無圧縮GGUF（FP16）へ変換 #

複数の .safetensors を、llama.cpp が扱える1つのGGUF（FP16, 無劣化）に結合する。

llama.cpp ネイティブ環境構築とTesla V100フル稼働の記録

Tue, 15 Sep 2026 16:00:00 +0900

Ollamaのようなラッパー（ブラックボックス）を排除し、C/C++ネイティブの llama.cpp をソースからビルドして、Tesla V100（32GB）の性能を限界まで引き出す。エッジAI・組み込みAIの基礎になる「量子化」や「ローレベルな推論制御」を自分の手で握るためのベース環境を作った記録。

前提環境 #

OS: Ubuntu Server（Proxmox VM101）
GPU: NVIDIA Tesla V100（VRAM 32GB）
目的: AIのアーキテクチャ階層を直接操作し、フィジカルAI・エージェントAIの基盤技術（量子化・推論制御）を検証する

1. 依存関係とCUDA Toolkitの導入 #

C++ソースからGPU用プログラムをコンパイルするため、ビルドツールとCUDA Toolkit（nvcc等）を導入する。

# ビルドツールと依存ライブラリ
sudo apt update
sudo apt install build-essential cmake git -y

# CUDA Toolkit（nvccコンパイラ等）
sudo apt install nvidia-cuda-toolkit -y

# 確認（バージョンが出ればOK）
nvcc --version

2. llama.cpp のクローンとビルド #

公式リポジトリを取得し、CUDA（GPU高速化）を有効化してネイティブバイナリをコンパイルする。

Tesla V100 on soijoy.dev