用于识别文本文件中的编程语言的代码

Question

我应该编写代码,当给出一个文本文件(源代码)作为输入时,将输出哪种编程语言.这是问题的最基本定义.更多限制如下:

• 我必须用C++编写.
• 应该识别各种语言 - html,php,perl,ruby,C,C++,Java,C#......
• 误报(错误识别)的数量应该低 - 输出"未知"而不是错误结果.(它将在概率列表中,例如未知:100%,见下文)
• 输出应该是代码知道的每种语言的概率列表,因此如果它知道C,Java和Perl,则输出应该是例如:C:70%,Java:50%,Perl:30%(注意有不需要概率总和高达100%)
• 它应该具有良好的准确度/速度比(速度更受青睐)

如果能够以一种方式编写代码,即添加用于识别的新语言相当容易并且仅涉及为该特定语言添加"设置/数据",那将是非常好的.我可以使用任何可用的东西 - 启发式,神经网络,黑魔法.任何东西.我甚至被允许使用现有的解决方案,但是:解决方案必须是免费的,开源的并允许商业用途.它必须以易于集成的源代码或静态库的形式出现 - 没有DLL.但是,我更喜欢编写自己的代码或只使用其他解决方案的片段,我厌倦了整合其他代码.最后一点:也许你们中的一些人会建议FANN(快速人工神经网络库) - 这是我唯一不能使用的东西,因为这是我们使用ALREADY的东西,我们想要替换它.

现在的问题是:你将如何处理这样的任务,你会做什么？有任何建议如何实现这个或使用什么？

编辑:根据评论和答案,我必须强调一些我忘记的事情:速度是非常关键的,因为这将获得数千个文件,并且应该快速回答,所以查看一千个文件应该为所有这些文件生成答案最多几秒钟(文件的大小当然很小,每个几KB).所以试图编译每一个都是不可能的.问题是,我真的想要每种语言的概率 - 所以我宁愿知道该文件可能是C或C++,但它是bash脚本的可能性非常低.由于代码混淆,评论等我认为寻找100%准确的代码是一个坏主意,事实上并不是这个目标.

Answer 1

您有文档分类问题.我建议你读一下朴素的贝叶斯分类器和支持向量机.在文章中有链接到实现这些算法的库,其中许多都有C++接口.

Answer 2

我能想到的一个简单的解决方案是,您可以只识别不同语言中使用的关键字.每个识别出的单词将得+1.然后计算ratio = identified_words/total_words.获得最多分数的语言是胜利者.当然,有一些问题,如评论的使用等.但我认为这是一个非常简单的解决方案,应该适用于大多数情况.