AI 分析
痛点:本地LLM玩家缺少廉价大内存来运行120B级模型,购买企业级GPU或大内存主机成本过高。
目标用户:拥有多台旧电脑或异构设备的本地LLM爱好者、小型AI工作室、隐私敏感开发者。
证据:To solve AI memory walls without buying expensive enterprise GPUs, we built RAMDeck. We tested this by pooling 78 GB of RAM across 6 disparate devices ... Exposes localhost:8420/v1/chat/completions
变现:销售预装RAMDeck的硬件Hub;开源核心+Pro版订阅,提供企业节点管理、跨平台支持、自动扩缩容和技术支持。
MVP:基于llama.cpp RPC或类似框架,做一层mDNS自动发现+异构节点内存池+OpenAI兼容API的轻量CLI/Docker,2周内先支持2-3台Linux/Mac,验证跨机推理稳定性和速度。
竞品:llama.cpp RPC、Exo、Petals、GPUStack、distributed-llama
摘要:作者发布RAMDeck,通过mDNS发现局域网内Windows/Mac/Android设备,把旧电脑RAM池化并分层运行120B模型,实测6台异构设备共78GB内存。项目提供OpenAI兼容API和自愈功能,但帖子未展示付费意愿或收入数据,且分布式推理赛道已有多个竞品。