StringTokenizer标记化问题

Question

String a ="the STRING TOKENIZER CLASS ALLOWS an APPLICATION to BREAK a STRING into TOKENS.  ";

StringTokenizer st = new StringTokenizer(a);
while (st.hasMoreTokens()){
  System.out.println(st.nextToken());

鉴于以上代码,输出如下,

the
STRING TOKENIZER CLASS
ALLOWS
an
APPLICATION
to
BREAK
a
STRING
into
TOKENS. 

我唯一的问题是为什么"STRING TOKENIZER CLASS"被合并成一个标记????????

当我尝试运行此代码时,

System.out.println("STRING TOKENIZER CLASS".contains(" "));

它打印出有趣的结果,

假

这听起来不合逻辑吗？我不知道出了什么问题.

我发现了原因,这个空间在某种程度上被Java认为不是有效空间.但是,我不知道从前面处理到我发布的代码是怎么回事.

伙计们,我需要强调的是,下面的代码首先在上面的代码之前运行.

if(!suspContentCollector.isEmpty()){Iterator i = suspContentCollector.iterator(); String temp =""; while(i.hasNext()){temp + = i.next().toLowerCase()+""; } StringTokenizer st = new StringTokenizer(temp);

        while (st.hasMoreTokens()){
            temp=st.nextToken();
            temp=StopWordsRemover.remove(temp);
            analyzedSentence = analyzedSentence.replace(temp,temp.toUpperCase());
        }
    }

因此,一旦它被改为大写,某些地方似乎出现了问题,我意识到只有某些空间无法识别.这可能是从文档中检索文本的原因吗？

以下代码,

字符串a ="STRING TOKENIZER CLASS允许应用程序将字符串分成TOKENS."; for(int i:a.toCharArray()){System.out.print(i +""); }

产生以下输出,

116 104 101 32 83 84 82 73 78 71 160 84 79 75 69 78 73 90 69 82 160 67 76 65 83 83 32 65 76 76 79 87 83 32 97 110 32 65 80 80 76 73 67 65 84 73 79 78 32 116 111 32 66 82 69 65 75 32 97 32 83 84 82 73 78 71 32 105 110 116 111 32 84 79 75 69 78 83 46 160 32

Answer 1

那里 - 答案就在你添加的片段中.列出的整数表示STRING一词后面的空格是ASCII字符160,而 不是字符32,它是普通空格.编辑原始字符串,将STRING TOKENIZER CLASS中的空格替换为实际空格而不是shift-spaces.

只是一个侧面评论,来自1.4.2 Javadoc:

StringTokenizer是一个遗留类,出于兼容性原因而保留,尽管在新代码中不鼓励使用它.建议任何寻求此功能的人都使用split方法String或 java.util.regex包.

Answer 2

查看字符代码,所讨论的"空间"是0xA0,这是一个不间断的空间.我的猜测是它是刻意进入的,所以'STRING TOKENIZER CLASS'被视为一个单词.

解决方案(如果你确实认为将'STRING TOKENIZER CLASS'分成三个单词)是正确的,那就是将不间断的空格作为分隔符添加到StringTokenizer类(相应的String.split()方法).例如

  new StringTokenizer(string, " \t\n\r\f\240")