K8s Lab 把当前仓库文档整理成一个可阅读的网页站点

Repository Reading Site

tokenizer_config.json

ml-platform/examples/20-llm-training/03-base-model/tokenizer_config.json

Text Assetml-platform/examples/20-llm-training/03-base-model/tokenizer_config.json183 B2026年4月10日 10:41查看原始内容
{
  "tokenizer_class": "Qwen2TokenizerFast",
  "model_max_length": 32768,
  "padding_side": "left",
  "truncation_side": "right",
  "add_bos_token": false,
  "add_eos_token": false
}