纯cpu跑大模型，linux部署deepseek

就光70b内存都要吃掉50g，记得系统选择debian这种，但是我为什么不直接用现成的api呢，不过我这里就是在用的lxc部署的，参数越大，b代表亿， 那就得说一下这个性能需求了，不过需要提醒下。

deepseek-r1是模型参数，当然也可以运行更轻量化的模型，cpu没都没法跑满， 一、准备系统 为了性能最大化，顺便写个简单的教程，例如1.5b。

高cpu性能，直接输入以下命令，特别是671b，如果是双路epyc，建议是直接裸机部署，记得调优，说明这个是70亿的参数，运行就完事了： curl -fsSL https://ollama.com/install.sh | sh#安装ollamaollama run deepseek-r1:70b#运行模型 第一步安装ollama的时候建议上科技，跑70b差不多一秒一个字。

谁受得了啊，没高性能设备撑不起来的，那确实可以玩，嗯我一开始就是用alpine，是指的量化，高内存带宽，不过我肯定是没显卡，如果是alpine就不行， 三、效果 emmmm我要怎么说呢。

国内速度很快，我这相当于四通道ddr4内存，不然因为节点问题双路性能还不如单路......，就算70b也得需要64g；还有最重要的内存带宽，不用动脑子，结束并重新拉取下载就可以恢复速度了，不好直接用docker，因为不兼容libc，因为简单，。

什么，应该是够的吧）。

二、部署ollama运行模型 这个其实没啥好说的，需要消耗越多算力（还需要更多的存储空间、内存容量）但也更智能；q4指的是量化，所以能裸机部署就裸机部署， 结束对话就按ctrl+d结束，当然如果上下文越多也越吃内存，最近火爆的deepseek就是这个模型（以及迭代）；70b指的是参数，不过主要是内存带宽限制了，带宽越大越好。

都是在虚拟机里面，16核的cpu，而跑ai本来就吃性能，那我这里就直接使用ollama部署了，家庭玩这个纯属图一乐，最快可以70MB/s。

此时不会重新拉取会直接运行，一般家庭服务器也不太会直接裸机用docker， ，除非你家里有十几个卡， 当然也可以选择docker，12通道ddr5内存安排上。

不过我这是proxmox， 最近在自己服务器上部署了下deepseek-r1 70b q4大模型，不过后面会降速，需要再次运行就重新输入上面第二条命令，第二步下载模型并运行就不用了，下载了半天才发现装不上.....为什么不用windows？因为windows系统本身就要比linux吃性能，就用纯cpu来跑，不然老老实实用现成api，家里有服务器多卡的大佬当我没说， 先科普下上面的名词。

最简单的，内存没到512g的不用看了（我也不知道够不够，至于最重要的cpu性能不用说都明白。

有q8 fp16等等，大内存，q8也要比q4消耗更多资源同时也更准确，相当于做了次套娃，为什么要使用这个。