Ollamaとは何か？ ローカルLLM推論エンジンの比較
ローカルLLMを動かすエンジンの一つ Ollama とは何か、そして代表的な推論ソフトの比較。基盤構築の初期に整理したもの。 Ollamaは一言でいうと「複雑なローカルLLMの環境構築を極限まで簡略化し、使いやすいAPIとして提供するラッパー」。内部では C++製の軽量・高速な推論エンジン llama.cpp が動いている。本来 llama.cpp を直接扱 …
Read more: Ollamaとは何か？ ローカルLLM推論エンジンの比較