5 posts
Ollamaのようなラッパー（ブラックボックス）を排除し、C/C++ネイティブの llama.cpp をソースからビルドして、Tesla V100（32GB）の性能を限界まで引き出す。エッジAI・組み込みAIの基礎になる「量子化」や「ローレベルな推論制御」を自分の手で握るためのベース環境を作った記録。 前提環境 # OS: Ubuntu …
Read more: llama.cpp ネイティブ環境構築とTesla V100フル稼働の記録Proxmox VE（HP Z8 G4）上のUbuntu VM（VM101）のGPU資源で、ローカルLLM推論基盤を構築するプロジェクト。当初のOllama + Open WebUI構成から、C/C++ネイティブの llama.cpp 直叩き構成へ完全移行し、Tesla V100（32GB）の性能を引き出す土台を作った。この基盤の上に、自律型マルチAIエージ …
Read more: Tesla V100 ローカルLLMサーバ構築📋 1. 基本環境情報 # HP Z8 G4 Workstation内に構築したローカルLLM推論環境のベーススペックです。 ホストマシン: HP Z8 G4 Workstation ホストOS (ハイパーバイザ): Proxmox VE 9.2.2 ホスト総メモリ: 96 GB 対象GPU: NVIDIA Tesla V100 PCIe 32GB × 1 …
Read more: HP Z8 G4 + Proxmox + Tesla V100 (32GB) ローカルLLM環境構築備忘録【PR】この記事にはアフィリエイトリンク（広告）が含まれています。 概要 # 停電・瞬断時のインフラ保護および安全な自動シャットダウンの構築を行いました。 環境: Proxmox VE (z8g4 / ノード本体のシェルで直接実行) 導入機器: CyberPower CP1200PFCLCD JP（PR） (1200VA/780W 正弦波) 使用ツール: …
Read more: Proxmox UPS導入・自動シャットダウン設定ログ🌐 導入の背景と「Omada SDN」とは # 自宅ネットワークをより強固に、かつ一元管理・可視化できるようにするため、エンタープライズ向けのネットワーク統合管理プラットフォームである TP-Link Omada SDN (Software-Defined Networking) を導入しました。 Omada SDNの特徴 # 一元管理 …
Read more: Omada SDNコントローラー構築とAP導入