“词元”（上）：Token应该怎么翻译?它曾是死亡的象征，也是爱情的信物。

token这个词本身就是被英语滥用了，我们不应该继承这个债务非得要找一个词跟它对齐[Neuro sama收藏集_小丑][Neuro sama收藏集_小丑]反正我支持一词多译。bear token(认证手段)token(代币)和token(词元)甚至可以出现在同一句话里，难道也要翻译成同一个词或者不翻译吗？

♥ 348 ↩ 40

我发现很多网友都对翻译有一种不切实际的完美主义幻想，非要把一个外语里的多义词完美的找到对应单词才行。而实际上不同语境下使用当下最恰当的表达，才是真正实用的翻译方式。

♥ 256 ↩ 16

只要比鲁棒性好就是好翻译。

♥ 165 ↩ 15

Token 在不同领域里，核心词义更接近处理单元的概念。 在 AI 领域，对自然语言的语句处理，实际上依赖于 token 词表，一般以字为单位进入词表，高频词也会进入词表。 比如，〝你好世界〞这个语句，有些模型直接按字元拆为〝你〞〝好〞〝世〞〝界〞4 个 token。有些模型则认为〝你好〞〝世界〞这两个词/短语高频出现，可以直接作为自然语言的处理单元，无需拆分，那么就是 2 个 token。 在实际的模型中〝好〞〝尴尬〞〝我们〞〝奥运会〞〝实事求是〞〝good〞〝100〞〝！〞⋯⋯都可能作为独立的 token 存在，关键在于词表如何定义自然语言的处理单元。 综上，把这些字、词、短语、符号、数字集成为一个检索列表，称为词表，词表内的处理单元，称为词元。

♥ 59 ↩ 2

有些东西没必要翻译吧，大家都习惯叫token了那就叫token吧

♥ 54 ↩ 26

其实在LLM领域中，词元在中文的意思反而比英语原词Token更加名副其实更加贴合

♥ 52 ↩ 30

token不是衍生物的意思吗，有时候我的终场是一个token

♥ 49 ↩ 8

衍生物（）

♥ 42 ↩ 8

衍生物，我要入场拿token了

♥ 41 ↩ 6

为什么我觉得字节听着就很明白 词元感觉就表达不出来这种意思[战舰少女R_思考]

♥ 36 ↩ 22

所有对词元指手划脚的，建议你们先把鲁棒缺省脱机等历史好译给正本清源下[笑哭]

♥ 35

翻译本质上是转述，而不是查表

♥ 31 ↩ 2

其实直接复用原有的翻译“令牌”就挺好的，英文一词多义对应中文一词多义。本身可能没“词元”这个新造词更准确，但也没有很大的偏差，毕竟不掰开揉碎的话token也相当于驱动神经网络的行令的牌子。至少不造新词+跨语言一词多义可以避免这样的误会： https://b23.tv/BV1LyDiBdEeH

♥ 18 ↩ 11

难道不是令牌，通信里都这么叫啊

♥ 16 ↩ 7

因为这个词本身就是多含义的 翻译起来肯定麻烦 举个例子 苹果熟了 牛排熟了 我跟你很熟 的三个熟字你都要翻译成英语的时候用一个词吗 肯定不行的 因为虽然是同一个字但是含义不一样 还有个更经典的例子 我妈妈的哥哥uncle 我爸爸的哥哥uncle 你翻译成中文都要翻译成叔叔吗 肯定不能啊 根据实际含义翻译吧

♥ 13

文元

♥ 12 ↩ 2

[doge]牌佬表示，这个玩意不是官方名称叫“指示物”吗

♥ 12 ↩ 2

那AI就是元神

♥ 9

偷啃。[doge]

♥ 9

训练AI的最小“词语单元”，简称“词元”，很好理解呀，而且“元”还一语双关，既表示基础单元又表示Token算力代币的单位一元。

♥ 8