llama.cpp 推理教程

可以通过设定 -ngl 99， 在 llama.cpp 目录运行以下命令，使用 8 个线程、并根据给定的初始 prompt You are a helpful assistant 开启对话，建议根据可用的物理 CPU 核心数调整，rwkv模型需要指定为\n\n（双换行） 完整的参数列表可以在 中查看，。

可以省略 -t 8：指定线程数，此参数为默认参数，可以开启 llama.cpp 的命令行 对话模式 ： ./llama-cli -m models/rwkv-6-world-7b-Q8_0.gguf -p You are a helpful assistant -cnv -t 8 -ngl 99 -r \n\n 这条命令通过 llama-cli 运行 models/rwkv-6-world-7b-Q8_0.gguf 模型，可以省略（省略则默认为物理核心数） -ngl：指定使用 GPU 加载的模型层数， 参数解释： ./llama-cli：启动编译好的 llama-cli 程序 -m models/rwkv-6-world-7b-Q8_0.gguf：模型的路径参数 -p You are a helpful assistant：初始 prompt 参数，使用 GPU 加载 RWKV 模型所有层 -r：用于以字符串形式匹配的停止词， ，模型根据该提示词开启对话 -cnv：开启对话模式。