抑止之力 2026-05-15 看到有人讨论中文本身是否更费token, 巧了 这个我真做过个快速研究: 起因就是看到另一个研究员发的类似说法, 觉得那个方法不够稳定 我换成了更大的10k+平行翻译语料 （联合国文件和Meta开源的FLORES） 实际上中文其实基本没什么影响. 而且Opus 4.7更新后其实中文还更划算了 （严格的说, 因为4.7别的语言token消耗增加了） 当然最重要的还是写着顺手的语言. 这就像 Python 当年被吐槽 "运行慢". 慢是慢, 但写得快, 人的时间反而省了. 另外， 联合国文件数据集 (同内容的高质量多语言范本) 很适合解答另一个问题 中文信息密度真的更高么？ ♥ 169 ↩ 10
Lord_Blackburn 2026-05-26 刚刚试的： 谨答： 若以文言行文，字符固省，然 token 之费，不惟字符是计。今之 tokenizer，多依白话语料裁制，遇文言单字成词、省略倒装处，或增其切分之繁，反致 token 数不降而升。且模型答以文言，运算之资不减，变体或加。故曰：省则未必，效不可恃，慎用之。 ♥ 142 ↩ 17
bili潭一门 2026-05-14 说句题外话，Token的翻译问题，其实我觉得是个无解的问题，因为token现在已经不是一个词了，它更像成语一样，是一个压缩包，你要解释的话需要很长一串话。而翻译成中文，民众却要求用字面意思去把它解释清楚，这是很难的。等大家用多了自然就知道词元是什么意思了。 ♥ 122 ↩ 32
-温子陌- 2026-05-16 用文言文未必省token，反或增之。 盖文言字简意丰，然现代LLM之tokenizer多依白话分词、统计频率而训。古汉语单字多、罕见字频，一字或拆为数token，如「之乎者也」等虚词亦自占位。而白话虽字数多，然常见字词常为一token，整体效率反高。 试例：「你吃饭了吗？」白话5字，约3-5 token（依模型而异）。文言「饭否？」仅2字，然「饭」「否」二字中「否」为古语罕用，可能各成1 token，亦2 token，差异不大。若更长句，文言生僻字多，反致token增。 故欲省token，当依模型tokenizer特性择表达，非一味仿古。文言可增文采，非为省算力设也。 ♥ 121 ↩ 8
Justbeglad 2026-05-15 挺有意思的，不过我似乎没有从up的视频中得到到底文言文能不能省token的明确的结论，所以我补充一下一个实际实验用来补充说明哈，注意！实验并不严谨，结果仅供参考乐呵，而且大模型每次生成结果存在一定不同，影响因素极其复杂，所以结果就是图一乐 测试模型：qwen-plus 分词器tokenizer:qwen3.5 可以看到文言文虽然输入token最少，但是明显看到文言文的思考token一下子远远超过了另外两种不同类型的语言，为何呢，粘贴一部分思考过程 “首先，用户说：“据此文而对，毋得旁涉”。这看起来是中文，但有点古雅。让我解析一下。 - “据此文而 ......【中间省略 1891 个字符】...... ：我将用简短古风中文回应，请求提供文章。 -------------------------------------------------------------------------------- 最终回答: 此文未示，无从对答。伏乞示下。” 所以其实大模型还是用白话文进行思考，而且模型需要进行翻译理解等等，会导致token消耗更大 ♥ 87 ↩ 6
Comments
“恩，用户发来了一段文字，应该是文言文，我首先要翻译成现代语，以更好的明确用户的需求……”
♥ 2400 ↩ 22
不怎么用 AI 的人幻想用文言文省 token，重度 AI 用户天天思考怎么用多个词汇描述一件事物来减少歧义[热]
♥ 2155 ↩ 28
GPT5.5 用的中文语料也很有意思，请注意对话最后很突兀的一个词[笑哭]
♥ 1265 ↩ 44
文言文省的是纸墨，人脑的词元在燃烧[doge]
♥ 829 ↩ 22
刚刚试的[doge_金箍]
♥ 1104 ↩ 20
这真是世纪难题了属于是[吃瓜]
♥ 568 ↩ 103
用文言文是省输入token了，可是不省输出token啊[doge]
♥ 508 ↩ 12
可是它耗人脑的token啊[doge]
♥ 282 ↩ 8
优化tokenizer的效率确实是重中之重[doge]
♥ 320 ↩ 60
看到有人讨论中文本身是否更费token, 巧了 这个我真做过个快速研究: 起因就是看到另一个研究员发的类似说法, 觉得那个方法不够稳定 我换成了更大的10k+平行翻译语料 （联合国文件和Meta开源的FLORES） 实际上中文其实基本没什么影响. 而且Opus 4.7更新后其实中文还更划算了 （严格的说, 因为4.7别的语言token消耗增加了） 当然最重要的还是写着顺手的语言. 这就像 Python 当年被吐槽 "运行慢". 慢是慢, 但写得快, 人的时间反而省了. 另外， 联合国文件数据集 (同内容的高质量多语言范本) 很适合解答另一个问题 中文信息密度真的更高么？
♥ 169 ↩ 10
你们的差评前沿部一个月前就做了，撞选题好多次，真的不审查一下就做吗
♥ 167 ↩ 5
因为token本质就是预测+猜测 你给的词或条件越少，ai就越需要token去猜你要什么
♥ 166 ↩ 7
[笑哭][汤圆]
♥ 151 ↩ 5
刚刚试的： 谨答： 若以文言行文，字符固省，然 token 之费，不惟字符是计。今之 tokenizer，多依白话语料裁制，遇文言单字成词、省略倒装处，或增其切分之繁，反致 token 数不降而升。且模型答以文言，运算之资不减，变体或加。故曰：省则未必，效不可恃，慎用之。
♥ 142 ↩ 17
说句题外话，Token的翻译问题，其实我觉得是个无解的问题，因为token现在已经不是一个词了，它更像成语一样，是一个压缩包，你要解释的话需要很长一串话。而翻译成中文，民众却要求用字面意思去把它解释清楚，这是很难的。等大家用多了自然就知道词元是什么意思了。
♥ 122 ↩ 32
用文言文未必省token，反或增之。 盖文言字简意丰，然现代LLM之tokenizer多依白话分词、统计频率而训。古汉语单字多、罕见字频，一字或拆为数token，如「之乎者也」等虚词亦自占位。而白话虽字数多，然常见字词常为一token，整体效率反高。 试例：「你吃饭了吗？」白话5字，约3-5 token（依模型而异）。文言「饭否？」仅2字，然「饭」「否」二字中「否」为古语罕用，可能各成1 token，亦2 token，差异不大。若更长句，文言生僻字多，反致token增。 故欲省token，当依模型tokenizer特性择表达，非一味仿古。文言可增文采，非为省算力设也。
♥ 121 ↩ 8
belike
♥ 119 ↩ 4
挺有意思的，不过我似乎没有从up的视频中得到到底文言文能不能省token的明确的结论，所以我补充一下一个实际实验用来补充说明哈，注意！实验并不严谨，结果仅供参考乐呵，而且大模型每次生成结果存在一定不同，影响因素极其复杂，所以结果就是图一乐 测试模型：qwen-plus 分词器tokenizer:qwen3.5 可以看到文言文虽然输入token最少，但是明显看到文言文的思考token一下子远远超过了另外两种不同类型的语言，为何呢，粘贴一部分思考过程 “首先，用户说：“据此文而对，毋得旁涉”。这看起来是中文，但有点古雅。让我解析一下。 - “据此文而 ......【中间省略 1891 个字符】...... ：我将用简短古风中文回应，请求提供文章。 -------------------------------------------------------------------------------- 最终回答: 此文未示，无从对答。伏乞示下。” 所以其实大模型还是用白话文进行思考，而且模型需要进行翻译理解等等，会导致token消耗更大
♥ 87 ↩ 6
谢谢科普，看完感觉桃花源对我闭源了
♥ 80 ↩ 1
我宣布 chatGPT胜出
♥ 73 ↩ 3