在字符串中查找关键字和关键短语的算法

Question

我需要有关如何编写算法的建议或指示,该算法将在字符串中找到关键字或关键字.

该字符串包含:

• 用英文写的技术信息(GB)
• 单词大多由空格分隔
• 甲关键字不包含的空间,但它可以包含一个连字符,撇号,冒号等
• 甲关键短语可以包含空格,逗号或其他标点符号
• 如果两个或多个关键字一起出现,则可能是一个关键短语,例如"逆变器驱动"
• 该文本还包含HTML,但如有必要,可以事先删除
• 非关键字将是"and","the","we","see","look"等字样.
• 关键字不区分大小写,例如"逆变器"和"逆变器"是相同的关键字

该算法具有以下要求:

1. 在批处理场景中操作,例如每天运行一次或两次
2. 处理字符串的长度从大约200到7000个字符不等
3. 在不到1小时内处理1000个字符串
4. 将在具有中等功率的服务器上执行
5. 写在以下之一:C#,VB.NET或T-SQL甚至可能是F#,Python或Lua等.
6. 不依赖于预定义关键字或关键短语列表
7. 但可以依赖关键字排除列表,例如"和","the","go"等.
8. 理想情况下可转换为其他语言,例如,不依赖于语言特定的功能,例如元编程
9. 输出关键短语列表(频率降序),后跟关键字列表(频率降序)

如果它可以在几秒钟内处理多达8000个字符,那将是非常酷的,所以它可以实时运行,但我已经足够了!

只是寻找建议和方向:

• 这应该被视为两个独立的算法吗？
• 有没有我可以遵循的既定算法？
• 我的要求可行吗？

非常感谢.

PS将从SQL Server 2008 R2数据库中检索字符串,因此理想情况下该语言将支持此功能,否则它必须能够读取/写入STDOUT,管道,流或文件等.

Answer 1

所涉及的逻辑使得在T-SQL中编程变得复杂.选择像C#这样的语言.首先尝试制作一个简单的桌面应用程序.稍后,如果您发现将所有记录加载到此应用程序的速度太慢,您可以编写在SQL-Server上执行的C#存储过程.根据SQL-Server的安全策略,它需要具有强密钥.

现在到算法.排除单词列表通常称为停用词列表.如果您对此搜索字词进行了一些Google搜索,您可能会找到可以开始使用的停用词列表.将这些停用词添加到HashSet<T>(我将在这里使用C#)

// Assuming that each line contains one stop word.
HashSet<string> stopWords =
    new HashSet<string>(File.ReadLines("C:\stopwords.txt"), StringComparer.OrdinalIgnoreCase);

稍后您可以查看候选关键字候选词是否在停用词列表中

If (!stopWords.Contains(candidate)) {
    // We have a keyword
}

HashSets很快.他们有O(1)的访问时间,这意味着做一个查找所需要的时间不依赖于它所包含的数项.

使用Regex可以轻松查找关键字.

string text = ...; // Load text from DB
MatchCollection matches = Regex.Matches(text, "[a-z]([:']?[a-z])*",
                                        RegexOptions.IgnoreCase);
foreach (Match match in matches) {
    if (!stopWords.Contains(match.Value)) {
        ProcessKeyword(match.Value); // Do whatever you need to do here
    }
}

如果您发现az对字母的限制太多而需要重音字母,则可以将正则表达式更改为@"\p{L}([:']?\p{L})*".字符类\p{L}包含所有字母和字母修饰符.

这些短语更复杂.您可以尝试先将文本拆分为短语,然后对这些短语应用关键字搜索,而不是在整个文本中搜索关键字.这将同时为您提供短语中关键字的数量.

将文本拆分为短语涉及搜索以"."结尾的句子.要么 "？" 要么 "!" 要么 ":".您应该排除单词中出现的点和冒号.

string[] phrases = Regex.Split(text, @"[\.\?!:](\s|$)");

这会在空格或行尾之后搜索标点符号.但我必须同意这不完美.它可能错误地将缩写检测为句末.您将不得不进行实验以改进分裂机制.