K8s Lab 把当前仓库文档整理成一个可阅读的网页站点

Repository Reading Site

files-manifest.txt

ml-platform/examples/20-llm-training/06-merged-model/files-manifest.txt

Text Assetml-platform/examples/20-llm-training/06-merged-model/files-manifest.txt782 B2026年4月10日 10:41查看原始内容
这个目录模拟的是“合并后的模型”。

所谓 merged model,就是把:

- 基础模型权重
- adapter 增量权重

合并成一套完整权重后得到的模型目录。

真实项目里,常见文件会像这样:

- `config.json`
- `generation_config.json`
- `tokenizer.json`
- `tokenizer_config.json`
- `special_tokens_map.json`
- `model.safetensors`

或者多分片版本:

- `model-00001-of-00004.safetensors`
- `...`
- `model.safetensors.index.json`

合并后的优点:

- 推理阶段加载简单
- 不需要再额外挂 adapter

合并后的代价:

- 产物重新变大
- 很难一份基础模型复用多个小 adapter

所以企业里常见两种路线:

- 线上直接加载 base model + adapter
- 先离线 merge,再部署 merged model