大小与训练要求极低:该模型只有约 2700 万参数,并且仅用 1000 条样本进行训练,无预训练、无 chain-of-th
该模型只有约 2700 万参数,并且仅用 1000 条样本进行训练,无预训练、无 chain-of-thought(CoT)监督 Live SciencearXivcodemotion.com。
大小与训练要求极低:该模型只有约 2700 万参数,并且仅用 1000 条样本进行训练,无预训练、无 chain-of-thought(CoT)监督 Live SciencearXivcodemotion.com。问:约 2700 万参数可以运行在PC上?
ChatGPT 说:
已思考 18s
可以的——27M 参数的 HRM 完全能在一台“家用级”PC上跑推理;关键是最好配一块带 CUDA 的独显。
为什么能跑:
- 参数体量很小: 27M 参数在 FP32 约 ~108 MB;FP16 约 ~54 MB;再加上中间激活与缓存,显存占用通常也只是几百 MB 级别,远低于常见 LLM。这使得8 GB 显存(甚至更低)就能从容推理。该仓库也明确给了“在笔记本 RTX 4070 上训练/演示”的示例(推理更轻),并要求安装 PyTorch+CUDA 与 FlashAttention。GitHub
最低实用配置建议(推理):
- GPU:NVIDIA RTX 2060(6 GB)或更高;推荐 8–12 GB 显存更稳。
- 驱动/软件:CUDA 12.x + PyTorch(与 CUDA 匹配)+(建议)FlashAttention。GitHub
- CPU-only 也能跑,但会显著变慢;官方代码路径默认走 CUDA 扩展,实际使用中仍以 GPU 更顺手。GitHub
参考与来源:
- HRM 论文:参数规模 27M、少样本、无预训练/无 CoT 监督的设定来自原文与开源说明。arXivGitHub
- 媒体与测评亦强调其“小模型、强推理”的定位。Live Science
如果你要我帮你把官方仓库拉到本地、按你的机器规格出一份一键推理/演示脚本(含环境安装清单),我现在就给你配好。
Comments (0)
No comments