shanselman/gputaskman
A GPU task manager for Windows, Linux, and WSL: per-process VRAM, GPU activity, and LLM model/KV-cache insights (Windows AMD and NVIDIA).
A GPU task manager for Windows, Linux, and WSL: per-process VRAM, GPU activity, and LLM model/KV-cache insights (Windows AMD and NVIDIA).
痛点:经常在本地运行大模型的开发者,无法方便地查看每个进程占用的显存、GPU 占用,尤其是 LLM 的模型和 KV-cache 内存分布情况。
目标用户:在 Windows/Linux/WSL 上运行本地 LLM 的开发者、AI 工程师和 GPU 工作站用户
证据:A GPU task manager for Windows, Linux, and WSL: per-process VRAM, GPU activity, and LLM model/KV-cache insights
变现:开源版免费引流,推出付费 Pro 版(团队多机监控、历史曲线、告警、WSL/远程集群支持、企业授权)或做 SaaS 化的 GPU 观测面板
MVP:2 周内做出跨平台(Windows/WSL)CLI+轻量 GUI:采集每进程显存占用、识别 llama.cpp/Ollama/vLLM 进程并估算 KV-cache 占用,提供 JSON 输出与简单告警
竞品:nvidia-smi、nvtop、GPU-Z、btop、Windows 任务管理器
摘要:Scott Hanselman 发布的 gputaskman 是跨 Windows/Linux/WSL 的 GPU 任务管理器,主打每进程显存、GPU 活动以及 LLM 模型/KV-cache 洞察,已获 498 stars。该工具验证了本地 LLM 用户对细粒度显存观测的真实需求,但原帖未出现付费意愿或收入数据,且已有 nvidia-smi、nvtop、GPU-Z 等免费竞品,需靠 LLM 专属洞察和团队化功能差异化变现。