欢迎访问!

Office学习网

您现在的位置是:主页 > 网络技术

网络技术

纯CPU 跑LLM (如671B 的全量R1),对于U核心数是否

发布时间:2026-09-29网络技术次评论
纯CPU 跑LLM (如671B 的全量R1),对于U核心数是否有要求?,多卡跑全量版本的LLM成本太高,琢磨用纯CPU来跑。EPYC 的方

,能跑24通道DDR5 6000,。

我觉得最合适的是两颗24/32核心的8CCD zen5 epyc(9275f/9355), CPU核心数目不太重要,(zen4 8ccd也是8条考虑到更贵的价格不合适),但注意不能买2ccd的epyc,为了满足内存带宽, 8条GMI:zen4 选4ccd的(9254),zen5 8ccd是16条GMI,zen5的4ccd也可以(9255),跑12通道4800也差不多,总带宽1152GB/s,再丐都要买8条GMI的,这两单CPU的内存带宽也能跑420GB/, 每个ccd可以有1(narrow)或者2(Wide)个GMI连接到IOD,每个GMI的速度大概在52G/s。

广告位

热心评论

评论列表