为什么计算机行业会选中Token这个词?|文科教授大话Token（下）

这词从古至今都表达“代表某种权能的标志物”这个意思。 从古罗马的权利令牌，到游戏机厅的代币。 意思都是一样的。

♥ 129 ↩ 10

konami：在k语言中表示虚拟或衍生召唤物[doge]

♥ 74 ↩ 6

就 ai token 这种词很多人想要找到贴切的中文来称呼，我觉得研究研究很好。我就是不理解整天说 gap ddl 这种有啥用，我当时大学的时候我舍友给我说什么作业的 ddl 直接给我整懵逼了[笑哭]

♥ 72 ↩ 38

[吃瓜]如果十年前有这么多讨论就好了。现在经过很多学者多年的推广，官媒的定调，就这么用着吧，总比鲁棒性之类的强[吃瓜]

♥ 67 ↩ 13

为什么要纠结这个词[喜极而泣]没见你们去讨论 cookie 啥的，能用就行

♥ 56 ↩ 2

我认为从“指示和代表”的功能上来看，“指符”的意象是更准确的。而从TOKEN实际指代的东西来看，“词元”也不无道理。以下是个人的理解: 首先，关于世界如何被语言理解和描述。世间万物要被理解的话，那么就可以将其在概念上进行一次“原子化”的解构。将世界在概念层面变成一种由许多“最基本概念单元”组成的“意义空间”。我这里就把这种拆散的单元称为unit。当然到这一步，这些“unit”就还没有被显化，它们的意义还不能被人类这样的“观察者”所理解或者描述。 其次，关于我们怎么通过语言去理解和描述世界。然后观察者需要借助一套具体的语言系统（可以是中文、英语、日语这些人类语言，也可以是动物的语言、计算机的语言）。这些具体的语言是观察者通过认知而建模出来的，可被观察者自己理解的，用于对客观世界进行理解和描述的载体系统。这个系统由一系列“概念单元”组成，也就是所谓的“词元”。因为某几个“概念单元”可以组成一个词汇。 这些语言系统的“语义空间”和上述对世间万物的概念进行原子化后形成的“意义空间”，两个空间之间具有一定的“映射”，也就是具有一定的对应关系（当然这个是在当前语言系统的认知范围内），而“语义空间”中的一个概念，对应的往往是“意义空间中的一个范围，即很多个unit”。 然后，关于什么是TOKEN。从上述抽象的角度来看，当我们描述一个事物时，就是在通过“语言空间”去访问“意义空间”，即使用前者中的一些“词元”，去尽量对应后者中我们想要表达的意思。而此时被使用到的“词元”就是TOKEN。就好比描述一个东西需要两个参数x=a，y=b，这里x和y是TOKEN，而a和b就是“词元”。

♥ 34 ↩ 1

最早接触到这个词是作“衍生物”、“次级个体”的意思

♥ 31 ↩ 8

别想着啥都要硬翻，看看隔壁日语，有汉语有英语的，拿来用就完了[doge]

♥ 22 ↩ 13

虽然在英语里“词汇、token、语素、词根”这几个概念有很大出入，且难以对齐精度、统计数量。 “词元”这个词虽然不符合token在英语里的定义和概念，但在汉语里是自洽的。因为汉语不存在up在4:00处说的那种情况；汉语的语素、token、词、词根都是围绕汉字搭建的，而汉字是泾渭分明的、可数的，现代标准汉语只有8105个标准汉字。 因此“词元”的“元”对应“元概念、元单位”，非常合适。 在ai的token库实际运用里，汉语往往也的确能用更低的占比发挥更高的效率。 再者说，token翻译成词元可能让人觉得颗粒度没有对齐，但“token库”翻译成“词元库”则很适用。

♥ 15 ↩ 5

我发动原始生命态尼比鲁的效果，从手卡特召，在你场上生成一个token，采取守备表示

♥ 14 ↩ 1

可是明明有现成的“语素”啊

♥ 11 ↩ 6

我認為最適合的意譯之一是「代碼」（代表的籌碼），可惜在簡中術語中早已被用來翻譯code。

♥ 10 ↩ 3

因为做ai的人玩游戏王

♥ 9

token是take的被动式，意思就是过程中被take的东西，很好地理解了一个词啊

♥ 8 ↩ 8

其实在在AI的语境下，也是代币最合适，消耗的是代币，买的是代币，为代币付账单

♥ 7 ↩ 1

我认为的最好翻译叫“拓根”，切中了大语言模型的数学角度

♥ 6

虽然意思不完全相同，但token一词在工程软件行业至少在2010年之前就在用了，作为软件使用计费的一种计量单位。有些国内代理商翻译为游戏币。做分词处理本身也是一种计数。

♥ 6

Hatoken

♥ 5 ↩ 2

不过话说来这个词多久以前就开始用了 需要拆文本的不仅是大模型，还有几十年前就存在的编译器、解释器，只是拆法不同，在该领域一直这样叫，但居然这么多年过去居然才有译名，我并不觉得大模型是一个比编译器更重要的发明，可能只是更加贴近非计算机从业者的生活（？ 但我觉得翻译是为了让更多人能听懂的，总归有语义损失，要准确真不如直接叫 token

♥ 5

token，在桌游里被翻译成指示物指代物。

♥ 4 ↩ 2