3分钟搞清楚大模型的Token是什么

最初接触token这个词是在gpt的api计费，所以一直理解成代币。后面深入了才知道这个词表分词出来的。所以后面有人将他翻译成词元。即词表的元素 另外给up一点建议，视频结尾中断的太陡，有种戛然而止的感觉

♥ 256 ↩ 4

我认为应该叫做“串”，就是用一段机器才懂的字符串表示一个人类了解的字段。其实这也就是token本来的用法，token串

♥ 145 ↩ 3

到底是编译原理的词法分析的 token ，还是大模型的 token 或者是浏览器的 jwt token[doge][笑哭]

♥ 73 ↩ 1

我觉得更简单的理解就是，token就是大语言模型的基础语法元素，比如汉字的拼音，英语的字母。

♥ 55 ↩ 3

还是没说清楚，为什么不是一个单词对应一个token？

♥ 42 ↩ 19

事衍生物罢（确信

♥ 33 ↩ 2

原来是这个token呀，我以为是有人和我一样发明了一个词叫“脱啃”，就是脱离啃老状态并且持续锻炼不啃老的能力的意思

♥ 32 ↩ 1

玩游戏王的会对token比较熟悉[doge]但是反过来，先入为主了游戏王里的代币一类的概念之后，对大模型的token的理解反而会有点阻碍……

♥ 21

“I love cat”是个病句[笑哭]起码是the cat 或cats。

♥ 17 ↩ 6

我的理解是:计算机理解自然语言时的最基本单位,如果一个词有直接对应的token就直接输入,如果没有就用已知的token去切分去硬套，有种拿中文记录英语读音的美[doge]

♥ 17

所以如果你问大模型How many r's are there in the word "strawberry"基本都是2[吃瓜]

♥ 13 ↩ 13

token不止词吧，应该是一种可向量化的基本单元，现在不是讲万物皆可token化吗，希望up能讲一下

♥ 8 ↩ 2

Token 感觉是英语中的prefix , suffix, 或syllable 吧。拉丁语都有类似的词元结构

♥ 7 ↩ 2

up你好，最近想必不少新接触AI的萌新，可以科普一下ollama参数，上下文数量（好像就是你讲的token）、最大令牌数、温度、保留时间，分别代表什么。还有RAG设置里面嵌入大小，嵌入重叠，检索文档数量，知识库默认文件上传限制。特别是这些参数，对于用AI写小说和跑团，影响哪些？谢谢

♥ 5 ↩ 1

和某聊天ai玩剧情，我发现一开始都消耗的很少，之后进行了几个回合，token就消耗得特别多

♥ 5 ↩ 2

要彻底讲清楚感觉得从分词器的训练开始说，word piece，BPE这种

♥ 3

不错不错，看完之后脑袋更大了

♥ 3

和语言学上的‘’义项‘’的概念相类似

♥ 3

这是up做的视频吗？

♥ 3 ↩ 2