纯CPU 跑LLM (如671B 的全量R1),对于U核心数是否
纯CPU 跑LLM (如671B 的全量R1),对于U核心数是否有要求?,多卡跑全量版本的LLM成本太高,琢磨用纯CPU来跑。EPYC 的方
,能跑24通道DDR5 6000,。
我觉得最合适的是两颗24/32核心的8CCD zen5 epyc(9275f/9355), CPU核心数目不太重要,(zen4 8ccd也是8条考虑到更贵的价格不合适),但注意不能买2ccd的epyc,为了满足内存带宽, 8条GMI:zen4 选4ccd的(9254),zen5 8ccd是16条GMI,zen5的4ccd也可以(9255),跑12通道4800也差不多,总带宽1152GB/s,再丐都要买8条GMI的,这两单CPU的内存带宽也能跑420GB/, 每个ccd可以有1(narrow)或者2(Wide)个GMI连接到IOD,每个GMI的速度大概在52G/s。
广告位
评论列表