上下文窗口:大模型的"工作台"
模型一次能"看在眼里"的内容是有上限的,这个上限叫上下文窗口。对话太长时,最早的内容会被挤出窗外"失忆"——就像工作台只有这么大,摊太多东西就得先收走一些。
模型一次能"看在眼里"的内容是有上限的,这个上限叫上下文窗口。对话太长时,最早的内容会被挤出窗外"失忆"——就像工作台只有这么大,摊太多东西就得先收走一些。
模型不按"字"也不按"词"读文本,而是按 token(词块)切分:一个汉字约 1~2 个 token,一个英文单词约 1 个。API 的计费、长度限制,说的都是 token 而不是字数。
大模型的本质是"预测下一个最合理的词",而不是"查资料"。当它不知道答案时,依然会生成流畅自信但错误的内容——这就是"幻觉"。所以关键信息要么给它资料,要么让它联网,要么自己核实。