Tesla V100 ローカルLLMサーバ構築 進行中
Proxmox VE (HP Z8 G4) 上のUbuntu VMに、Tesla V100 32GBをIOMMU/VFIOでパススルーし、Ollama + Open WebUI によるローカルLLM推論環境を構築するプロジェクト。
作業ログは以下のTech Notesに記録していく。
Proxmox VE (HP Z8 G4) 上のUbuntu VMに、Tesla V100 32GBをIOMMU/VFIOでパススルーし、Ollama + Open WebUI によるローカルLLM推論環境を構築するプロジェクト。
作業ログは以下のTech Notesに記録していく。