关于大模型的 tokenizer(如 BPE)与「上下文窗口」,下列说法正确的是?

大模型应用基础

  1. A.一个汉字或一个英文单词恒等于一个 token,所以窗口大小就是最大字数
  2. B.上下文窗口只限制用户输入长度,模型输出长度不受限
  3. C.token 是子词单位、数量取决于词表;上下文窗口指输入加输出的 token 总上限
  4. D.tokenizer 在推理时可以随意更换,不影响模型效果