删除令牌的错误语句

Question

我创建了一个令牌，我想删除特定功能。

我用这个：

toks <- tokens_remove(toks,
           remove_punct = TRUE, 
           remove_numbers = TRUE, 
           remove_symbols = TRUE)

然而这是错误的：

Error in tokens_select(x, ..., selection = "remove") : 
  unused arguments (remove_punct = TRUE, remove_numbers = TRUE, remove_symbols = TRUE)

正确的语法是怎样的？

Answer 1

使用 remove_xxx 应该在使用 tokens 创建令牌对象时使用，而不是在使用 tokens_remove 时使用。

如果您想使用 tokens_remove 删除其他项目，您可以这样做：

toks <- tokens_remove(tokens(txt, # a character, corpus, or tokens object 
                             remove_punct = TRUE, 
                             remove_numbers = TRUE, 
                             remove_symbols = TRUE
                             )
                      )

删除令牌的错误语句

Wrong statement for tokens remove

r

quanteda