Tesla V100 ローカルLLMサーバ構築 完了

Proxmox VE（HP Z8 G4）上のUbuntu VM（VM101）のGPU資源で、ローカルLLM推論基盤を構築するプロジェクト。当初のOllama + Open WebUI構成から、C/C++ネイティブの llama.cpp 直叩き構成へ完全移行し、Tesla V100（32GB）の性能を引き出す土台を作った。この基盤の上に、自律型マルチAIエージェント（別プロジェクト）を載せていく。

完了済み #

• Ollama / Open WebUI から llama.cpp 直叩き構成へ完全移行
• Qwen2.5 27B（Q6_K_XL）を Tesla V100 32GB で安定稼働（llama-server, -c 65536, -ngl 99, ポート8080）
• KVキャッシュを8bit量子化（-ctk q8_0 / -ctv q8_0）し、32GB枠にモデル約23GB＋余裕を確保
• デュアルGPU構成：V100=メインLLM推論、Quadro P5000 16GB=ビジョン推論（Gemma系）

技術メモ #

• ラッパーを排除したことで、量子化・KVキャッシュ・GPUオフロードといった推論の低レベル制御を自分で握れるようになった
• 推論はエンドポイント（llama-server, :8080）として提供し、エージェント制御は上位の応用プロジェクトに分離した

作業ログは以下のTech Notesに記録している。