论文中常提到的tokens是什么意思-问答六九

论文中常提到的tokens是什么意思

的有关信息介绍如下：

论文中常提到的tokens是什么意思

在语料库语言学中，会计算文本的tokens和types。tokens指的是“形符”，就是文本中出现的所有词的个数；types指的是“类符”，就是文本中出现的不重样的词的个数。比如，有一个两句话的文本：I am a boy. I am a boy.那么这个文本里面有8个tokens，有4个types。两个数值可以对所建立的语料库进行描述，也可以计算二者之比，来计算语料库文本的复杂程度等等吧。这是语言学方面，尤其是语料库语言学经常出现的tokens的意思。更详细的可以看一些语料库语言学方面的文章。