llmfit

English · 中文 · 日本語

新機能: コミュニティリーダーボード — 実際のユーザーから集まった実環境のパフォーマンスデータを閲覧できます。b を押すと、自分のものに限らず、あらゆる GPU の実測 tok/s、TTFT、VRAM を確認できます。H で 27 種類以上のハードウェアプリセット（RTX 5090 から Apple M1 まで）から選び、購入や自作の前に実数値を比較しましょう。

数百のモデルとプロバイダー。自分のハードウェアで動くものを見つけるコマンドはひとつ。

LLM モデルをシステムの RAM、CPU、GPU に合わせて最適化するターミナルツールです。ハードウェアを検出し、各モデルを品質・速度・適合度・コンテキストの各観点でスコアリングして、あなたのマシンで実際に快適に動くものを教えてくれます。

インタラクティブな TUI（デフォルト）と従来型の CLI モードを備えています。マルチ GPU 構成、MoE アーキテクチャ、動的な量子化選択、速度推定、ローカルランタイムプロバイダー（Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio）に対応しています。

新機能: コミュニティリーダーボード（b） — 同じハードウェアを使う他のユーザーから集まった実環境の tok/s、TTFT、VRAM 使用量を確認できます。localmaxxing.com を利用し、推定パフォーマンスと実測パフォーマンスの差を埋めます。

その他: ダウンロードマネージャー（D）、詳細設定（A）、ハードウェアシミュレーション — D を押すとダウンロードの管理、履歴の閲覧、モデルの削除、ダウンロードディレクトリの設定ができます。A を押すと TPS 効率、実行モード係数、スコアリングの重みを調整できます。S を押すと別のハードウェアをシミュレーションできます。

姉妹プロジェクト: - sympozium — Kubernetes でエージェントを管理。 - llmserve — ローカル LLM モデルをサーブするためのシンプルな TUI。モデルを選び、バックエンドを選び、サーブする。 - llama-panel — ローカルの llama-server インスタンスを管理するネイティブ macOS アプリ。

---

インストール

Windows

scoop install llmfit

Scoop がインストールされていない場合は、Scoop インストールガイドに従ってください。

macOS / Linux

Homebrew

ビルド済みバイナリ（推奨。すべての macOS/Linux バージョンで動作）:

brew install AlexsJones/llmfit/llmfit

または homebrew-core の formula から。bottle がない macOS バージョンではソースからビルドされます:

brew install llmfit

MacPorts

port install llmfit

クイックインストール

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

GitHub から最新リリースのバイナリをダウンロードし、/usr/local/bin（sudo がない場合は ~/.local/bin）にインストールします。

sudo なしで ~/.local/bin にインストール:

curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local

uv / pip

llmfit をインストールまたは更新するには:

uv tool install -U llmfit

インストールせずに実行するには:

uvx llmfit

pip や uv などのツールを使って、通常の方法で llmfit を Python パッケージとしてインストールすることもできます。

Docker / Podman

docker run ghcr.io/alexsjones/llmfit

これは llmfit recommend コマンドの JSON を出力します。この JSON は jq でさらにクエリできます。

podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'

ソースから

git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release
# バイナリは target/release/llmfit にあります

---

使い方

TUI（デフォルト）

llmfit

インタラクティブなターミナル UI を起動します。システムスペック（CPU、RAM、GPU 名、VRAM、バックエンド）が上部に表示されます。モデルは複合スコア順に並んだスクロール可能なテーブルに一覧表示されます。各行には、モデルのスコア、推定 tok/s、あなたのハードウェアに最適な量子化、実行モード、メモリ使用量、ユースケースカテゴリが表示されます。

キー	アクション
Up / Down または j / k	モデルを移動
/	検索モードに入る（名前、プロバイダー、パラメータ、ユースケースの部分一致）
Esc または Enter	検索モードを終了
Ctrl-U	検索をクリア
f	適合フィルターを切り替え: All、Runnable、Perfect、Good、Marginal
a	利用可否フィルターを切り替え: All、GGUF Avail、Installed
s	ソート列を切り替え: Score、Params、Mem%、Ctx、Date、Use Case
v	Visual モードに入る（複数モデルを選択）
V	Select モードに入る（列ベースのフィルタリング）
t	カラーテーマを切り替え（自動保存）
p	選択したモデルの Plan モードを開く（ハードウェアプランニング）
P	プロバイダーフィルターのポップアップを開く（入力で曖昧フィルタリング）
U	ユースケースフィルターのポップアップを開く
C	機能フィルターのポップアップを開く
L	ライセンスフィルターのポップアップを開く
R	ランタイム/バックエンドフィルターのポップアップを開く（llama.cpp、MLX、vLLM）
S	ハードウェアシミュレーションのポップアップを開く（RAM/VRAM/CPU を上書き）
A	詳細設定のポップアップを開く（効率や実行モード係数を調整）
b	コミュニティリーダーボードビューを開く（localmaxxing.com）
I	推論ベンチビューを開く（あなたのモデルに対するローカル品質スコアリング）
h	ヘルプポップアップを開く（すべてのキーバインド）
m	選択したモデルを比較対象にマーク
c	比較ビューを開く（マーク済み vs 選択中）
x	比較マークをクリア
i	インストール済み優先ソートを切り替え（検出された任意のランタイムプロバイダー）
d	選択したモデルをダウンロード（複数利用可能ならプロバイダー選択）
D	ダウンロードマネージャーを開く（履歴、削除、設定）
r	ランタイムプロバイダーからインストール済みモデルを再読み込み
Enter	選択したモデルの詳細ビューを切り替え
PgUp / PgDn	10 件単位でスクロール
g / G	先頭 / 末尾にジャンプ
q	終了

Vim 風モード

TUI は左下のステータスバーに表示される Vim 由来のモードを使用します。現在のモードによって、どのキーが有効かが決まります。

Normal モード

デフォルトのモードです。移動、検索、フィルタリング、ビューの表示を行います。上の表のすべてのキーがここで適用されます。

Visual モード（v）

一括比較のために連続したモデルの範囲を選択します。v を押して現在の行を起点に固定し、j/k または矢印キーで移動して選択範囲を広げます。選択された行はハイライトされます。

キー	アクション
j / k または矢印	選択範囲を上下に拡張
c	選択したすべてのモデルを比較（マルチ比較ビューを開く）
m	現在のモデルを 2 モデル比較用にマーク
Esc または v	Visual モードを終了

マルチ比較ビューは、行が属性（Score、tok/s、Fit、Mem%、Params、Mode、Context、Quant など）、列がモデルとなるテーブルを表示します。最良の値はハイライトされます。画面に収まらないほど多くのモデルを選択した場合は、h/l または矢印キーで横スクロールできます。

Select モード（V）

列ベースのアクションです。V（shift-v）を押して Select モードに入り、h/l または矢印キーで列ヘッダー間を移動します。アクティブな列は視覚的にハイライトされます。Enter または Space を押すと、その列の現在のアクションが実行されます。

列	フィルターアクション
Inst	利用可否フィルターを切り替え
Model	検索モードに入る
Provider	プロバイダーポップアップを開く
Params	パラメータサイズのバケットポップアップを開く（<3B、3-7B、7-14B、14-30B、30-70B、70B+）
Score, tok/s, Mem%, Ctx, Date	その列でソート
Quant	量子化ポップアップを開く
Mode	実行モードポップアップを開く（GPU、MoE、CPU+GPU、CPU）
Fit	適合フィルターを切り替え
Use Case	ユースケースポップアップを開く

Select モードでも行のナビゲーションは引き続き機能するため、アクションを適用しながらその効果を確認できます: j/k、矢印キー、Ctrl-U、Ctrl-D、PageUp、PageDown、Home、End。Esc を押すと Normal モードに戻ります。

TUI Plan モード（p）

Plan モードは通常の適合分析を反転させます。「何が自分のハードウェアに収まるか?」ではなく、「このモデル構成にはどんなハードウェアが必要か?」を推定します。

選択した行で p を押し、次のように操作します:

キー	アクション
Tab / j / k	編集可能なフィールド間を移動（Context、Quant、Target TPS）
Left / Right	現在のフィールド内でカーソルを移動
入力	現在のフィールドを編集
Backspace / Delete	文字を削除
Ctrl-U	現在のフィールドをクリア
Esc または q	Plan モードを終了

Plan モードは以下の推定値を表示します: - 最小および推奨の VRAM/RAM/CPU コア数 - 実行可能な実行パス（GPU、CPU オフロード、CPU のみ） - より良い適合目標に到達するためのアップグレード差分

ハードウェアシミュレーション（S）

S を押すとハードウェアシミュレーションのポップアップが開きます。RAM、VRAM、CPU コア数を上書きして、別のターゲットハードウェアでどのモデルが収まるかを確認できます。すべてのモデルスコア、適合レベル、速度推定は、シミュレーションされたスペックに対して即座に再計算されます。

キー	アクション
Tab / j / k	RAM、VRAM、CPU フィールドを切り替え
数字を入力	選択したフィールドを編集
Enter	シミュレーションを適用
Ctrl-R	実際に検出されたハードウェアにリセット
Esc	キャンセルして閉じる

シミュレーションが有効なときは、システムバーとステータスバーに SIM バッジが表示されます。リセットするまで、モデルテーブル全体がシミュレーションされたハードウェアを反映します。

詳細設定（A）

A を押すと詳細設定のポップアップが開きます。このパネルでは、TPS 推定、実行モードのペナルティ、複合スコアリングの背後にあるパラメータを調整できます。これは特定のモデル（例: Qwen3 30B）で tok/s が過大評価されていたissue #449に対応するものです。

すべての変更は即座に適用され、モデルテーブルが再計算されます。Esc で確定して閉じるか、Ctrl-R でデフォルトにリセットします。

フィールド	説明	デフォルト
Efficiency	帯域幅ベースの TPS のグローバル効率係数。オーバーヘッドを考慮	0.55
GPU factor	純粋な GPU 推論の速度倍率	1.0
CPU Offload	重みがシステム RAM にあふれた場合の速度倍率	0.5
MoE Offload	Mixture-of-Experts のエキスパート切り替えの速度倍率	0.8
Tensor Par	テンソル並列推論の速度倍率	0.9
CPU Only	CPU のみの実行の速度倍率	0.3
Context cap	メモリ推定に使用する最大コンテキスト長（デフォルトの場合は空欄のまま）	auto

キー	アクション
Tab / j / k	フィールドを切り替え
数字 / . を入力	選択したフィールドを編集
Left / Right	フィールド内でカーソルを移動
Backspace / Delete	文字を削除
Ctrl-U	現在のフィールドをクリア
Enter	変更を適用してすべてのスコアを再計算
Esc / q	適用せずに閉じる

ダウンロードマネージャー（D）

D を押すとダウンロードマネージャービューが開きます。このフルスクリーンビューはメインのモデルテーブルに置き換わり、3 つのセクションを提供します:

• Active Download — 進行中の現在のダウンロードを、プログレスバー、モデル名、ステータスメッセージとともに表示します。
• Config — GGUF モデルディレクトリを表示（および編集可能）します。設定したパスはセッションをまたいで永続化されます。
• History — 過去のダウンロードのナビゲート可能なリスト（新しい順）を、モデル名、プロバイダー、ステータス、日付とともに表示します。失敗したダウンロードは履歴から削除でき、成功したダウンロードはプロバイダーから削除できます。

Tab / Shift-Tab でセクション間のフォーカスを切り替えます。

キー	アクション
Tab / Shift-Tab	フォーカスを切り替え: Active → Config → History
j / k または矢印	履歴リストをナビゲート（History にフォーカス時）
x	選択したモデルを削除（確認を求められる）
y / n	削除を確認またはキャンセル
e	ダウンロードディレクトリを編集（Config にフォーカス時）
Enter	ディレクトリ編集を確定
Esc / D / q	閉じてモデルテーブルに戻る

失敗したダウンロード（例: 404 エラー）の場合、x は履歴からエントリを削除します。成功したダウンロードの場合は、プロバイダーからモデルを削除します（Ollama と llama.cpp でサポート）。

コミュニティリーダーボード（b）

b を押すとコミュニティリーダーボードビューが開きます。llmfit の理論的な速度推定だけに頼るのではなく、このビューでは同じハードウェアを使う他のユーザーから集まった実環境のパフォーマンスデータ — 実測の tok/s、最初のトークンまでの時間、ピーク VRAM 使用量 — を表示します。

データはコミュニティのベンチマークデータベースである localmaxxing.com から取得されます。ビューを開くと、llmfit はあなたのハードウェア（GPU モデル、VRAM ティア、Apple Silicon チップファミリー、OS）を自動検出し、一致する結果をクエリします。

列	説明
Model	HuggingFace モデル ID
Engine	使用された推論ランタイム（llama.cpp、vLLM、Ollama、MLX...）
**Q