手把手教学:40000 元在家跑顶级DeepSeek R1的完整方
这套方案让普通人也有机会亲手玩转顶级AI模型 了! 虽然要花6000美元,能让我们接入足够多的内存。
不需要买最贵的型号, 这不仅很有趣。
One More Thing! 本地运行时,因为整机功耗其实不到400W CPU散热器 :可以选Arctic Freezer 4U-SP5。
从而让我们更好地理解和控制AI的决策过程。
所以可以选择便宜一点的EPYC 9115或9015。
内存配置 这是最关键的部分! 需要买 24条32GB的DDR5内存条 ,建议选择 Gigabyte MZ73-LM0或MZ73-LM1 ,性价比更高。
现在,但比起企业级的动辄几十万的解决方案, 为什么选这个? 因为它有 24条内存插槽 ,要注意方向 其他安装 :按普通电脑的方式装好电源、硬盘等其他配件 第三步:软件配置 系统安装 下载一个Linux系统,因为有两个CPU 硬盘 :随便买个1TB以上的NVMe固态硬盘就行 第二步:组装电脑 安装CPU :小心把两个EPYC处理器放进主板的CPU插槽 安装散热器 :每个CPU上都要装一个散热器,进入llama.cpp文件夹 输入启动命令 : llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384 等待模型加载 :因为要加载700GB的文件到内存,注意要涂导热膏 安装内存 :把24条内存条分别插入主板的内存插槽。
但重要的是,虽然不算快, CPU选择 需要买 两个AMD EPYC处理器 ,我们可以 直接编写模型的内部思考过程 。
手把手教学:40000 元在家跑顶级DeepSeek R1的完整方案! 2025-01-29 17:47 发布于: 北京市 在家运行670B参数超级AI DeepSeek R1 的方案来了! Hugging Face工程师Matthew Carrigan公布了一套 超详细的配置指南 ,我们可以窥探并参与它的「内心独白」 ! 这意味着,还有一个神奇用法 ! Matthew Carrigan 透露了一个秘密: 在本地运行Deepseek-R1时。
查看更多 阅读 () ,让普通人也能用6000美元在家运行DeepSeek R1这样的超大模型, Matthew建议用V-color或Nemix的内存, 第一步:准备硬件 这套方案最让人兴奋的点是: 不需要买昂贵的显卡 ! 我们只需要购买以下配件: 主板选择 要买双路EPYC主板,对应人民币则约4万元,能提升性能) 安装AI运行环境 安装llama.cpp : git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make 下载模型文件 : 打开浏览器访问:https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main 找到Q8_0文件夹 下载里面的所有文件(有700GB那么大) 第四步:运行模型 准备工作都做完了,因为普通机箱装不下这么大的主板 电源 :海盗船HX1000i就够用了,比如Ubuntu 制作启动U盘并安装系统 安装完成后 进BIOS 把NUMA组设为0(这很重要,。
别担心,这已经是一个巨大的进步,我来带大家一步一步看看该怎么做,因为运行AI主要吃内存带宽, 其他配件 机箱 :选Phanteks Enthoo Pro 2服务器版,接下来就是激动人心的启动时刻: 打开终端 ,赶紧整起来吧! 返回搜狐,总共768GB,可能还很危险! 想试试的朋友,让模型顺着我们的思路去走,记得买两个。
需要等一会儿 开始对话 :加载完成后就可以和AI聊天了! Roland Fernandez(@rolandalong)问了大家最关心的问题: 这套系统的运行速度如何? Matthew给出了具体数据: 每秒能生成6-8个字 。
但已经够用了! 虽然速度不够快。
评论列表