Tesla V100 ローカルLLMサーバ構築
Proxmox VE(HP Z8 G4)上のUbuntu VM(VM101)のGPU資源で、ローカルLLM推論基盤を構築するプロジェクト。当初のOllama + Open WebUI構成から、C/C++ネイティブの llama.cpp 直叩き構成へ完全移行し、Tesla V100(32GB)の性能を引き出す土台を作った。この基盤の上に、自律型マルチAIエージ …
Read more: Tesla V100 ローカルLLMサーバ構築5 posts
Proxmox VE(HP Z8 G4)上のUbuntu VM(VM101)のGPU資源で、ローカルLLM推論基盤を構築するプロジェクト。当初のOllama + Open WebUI構成から、C/C++ネイティブの llama.cpp 直叩き構成へ完全移行し、Tesla V100(32GB)の性能を引き出す土台を作った。この基盤の上に、自律型マルチAIエージ …
Read more: Tesla V100 ローカルLLMサーバ構築📋 1. 基本環境情報 # HP Z8 G4 Workstation内に構築したローカルLLM推論環境のベーススペックです。 ホストマシン: HP Z8 G4 Workstation ホストOS (ハイパーバイザ): Proxmox VE 9.2.2 ホスト総メモリ: 96 GB 対象GPU: NVIDIA Tesla V100 PCIe 32GB × 1 …
Read more: HP Z8 G4 + Proxmox + Tesla V100 (32GB) ローカルLLM環境構築備忘録【PR】この記事にはアフィリエイトリンク(広告)が含まれています。 概要 # 停電・瞬断時のインフラ保護および安全な自動シャットダウンの構築を行いました。 環境: Proxmox VE (z8g4 / ノード本体のシェルで直接実行) 導入機器: CyberPower CP1200PFCLCD JP(PR) (1200VA/780W 正弦波) 使用ツール: …
Read more: Proxmox UPS導入・自動シャットダウン設定ログ概要 # 自宅のメインルーターとしてYAMAHA RTX830を導入しました。今後のVLAN導入など、柔軟なネットワーク拡張の要として期待しています。本記事では、初期設定からセキュリティ検証、より安全なSSHアクセスの確立までを行った際のログをまとめました。 1. CUI環境の基本セットアップ # RTX830の真価を発揮するため、CUIアクセスと初期設定 …
Read more: YAMAHA RTX830 導入・初期設定とSSH化ログ🌐 導入の背景と「Omada SDN」とは # 自宅ネットワークをより強固に、かつ一元管理・可視化できるようにするため、エンタープライズ向けのネットワーク統合管理プラットフォームである TP-Link Omada SDN (Software-Defined Networking) を導入しました。 Omada SDNの特徴 # 一元管理 …
Read more: Omada SDNコントローラー構築とAP導入