Ollama 启动 / 模型参数速查表
Ollama 本地大模型常用启动参数与 Modelfile 配置对照。
广告位(百度联盟文中广告位)
| 参数名称 | 取值范围 | 含义 | 推荐值 | 示例 |
|---|---|---|---|---|
| num_ctx | 整数,默认 2048 | 上下文窗口 token 数 | 4096 | 4096 |
| num_gpu | 整数,默认自动 | 使用的 GPU 层数 | 1 | 1 |
| num_thread | 整数,默认自动 | 计算线程数 | 8 | 8 |
| temperature | 0~2 | 采样温度 | 0.7 | 0.7 |
| top_p | 0~1 | 核采样阈值 | 0.9 | 0.9 |
| repeat_penalty | 0~2,默认 1.1 | 重复惩罚 | 1.1 | 1.1 |
| OLLAMA_HOST | 环境变量 | 监听地址 | 0.0.0.0:11434 | 0.0.0.0:11434 |
| OLLAMA_NUM_PARALLEL | 环境变量 | 并发请求数 | 2 | 2 |
Modelfile 片段
FROM llama3
SYSTEM 你是一个中文技术助手,回答简洁专业。
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
PARAMETER top_p 0.9运行并指定参数
ollama run llama3 -t 0.7 --num_ctx 4096服务监听所有网卡
OLLAMA_HOST=0.0.0.0:11434 ollama serve广告位(百度联盟信息流广告位)