神经网络在日志文件数据中的应用

Question

我一直在关注Andrew NG的课程AI课程,特别是有关神经网络的部分,我正计划在日志文件数据上实现神经网络.

我的日志文件包含此类型的数据:

<IP OF MACHINE INITIATING REQUEST><DATE OF REQUEST><TIME OF REQUEST><NAME OF RESOUCE BEING ACCESSED ON SERVER><RESPONSE CODE><TIME TAKEN FOR SERVER TO SERVE PAGE>

我知道还有其他分类算法可用于此任务,例如naïve bayes,local outlier factor但希望使用真实世界适用的问题与神经网络接触.

我已经阅读了神经网络自组织映射,这似乎更适合这类问题,因为日志文件没有任何结构,但似乎是一个更高级的主题.

我没有使用自组织映射神经网络,而是计划通过将数据分组到密钥值对中的密钥值对来创建日志文件数据中的训练数据<IP OF MACHINE INITIATING REQUEST>,每个密钥的值是[<NAME OF RESOUCE BEING ACCESSED ON SERVER>, ><TIME TAKEN FOR SERVER TO SERVE PAGE>]

从上面的日志文件数据我打算使用神经网络:

To classify similar IP behaviors based on what resources are being accessed. 
Classify behavior at specific periods / moments in time, so what IP’s are behaving similarly and specific moment in time. 

我不知道从哪里开始.我已经实现了执行整数运算的非常基本的神经网络,但现在想要根据我拥有的数据实现一个有用的网络.

基于日志数据格式这是一个很好的用例吗？

有关此任务的位置的任何指示？

我希望这个问题不太通用,我只是不确定在开始实现神经网络时要考虑哪些问题.

更新:

我想输出最适合从神经网络生成的数据.

为此,我认为基于相似性得分输出基于时间段的用户分类.

为了生成相似性得分,我可以生成每个IP地址访问资源的次数:

例如:

1.2.3.A,4,3,1
1.2.3.B,0,1,2
1.2.3.C,3,7,3

从此产生:

<HOUR OF DAY>,<IP ADDRESS X>,<IP ADDRESS Y>,<SIMMILARITY SCORE>

:

1,1.2.3.A,1.2.3.B,.3
1,1.2.3.C,1.2.3.B,.2
1,1.2.3.B,1.2.3.B,0
2,1.2.3.D,1.2.3.B,.764
2,1.2.3.E,1.2.3.B,.332
3,1.2.3.F,1.2.3.B,.631

因此,可以开始关联用户在一天中的行为方式.

适用于神经网络吗？

我意识到我在问一个寻找问题的神经网络,但这是一个合适的问题吗？

Answer 1

基于日志数据格式这是一个很好的用例吗？

您可以将其用作数据集,以将神经网络训练为predict未来值或classify标签(或类别)中的值.对于某些类型的神经网络(特别是Multi-Layer Perceptron),它取决于您在神经网络训练期间如何组织数据集.在其他情况下,您可以对样本进行分组(也称为clustering).

神经网络概念

既然你有分开的历史数据fields(或属性),你可以创建一个模型neural network来classify或predict未来可能的值.

鉴于神经网络是由训练步骤定义的数学模型,您必须定义在训练期间用于定义此模型(神经网络)的输入和输出集.鉴于此,您的定性值(文本,字符,字母等)必须转换为定量值,对于样本:

A you convert to 1
B you convert to 2
C you convert to 3
...
Z you convert to N

在此之后,您可以在样本中排列数据集,以便在输入列表中将其分开,并将每个样本的理想输出分开.对于样本,让我们假设您有一个数据集,用于定义房地产市场中的房屋及其价格.您的任务是为新的未来房屋定义价格(建议),您的培训集样本可能如下所示:

输入:

Bedrooms ; Bathrooms ; Garage ; Near Subway
1        ; 1         ; 0      ; 1
3        ; 2         ; 2      ; 1
2        ; 2         ; 1      ; 0

理想输出(分别为每个输入样本)

Price
100.000
150.000
230.000

并使用这些集来训练神经网络,为未来提供特征的房屋建议价格

你的问题

在您的情况下,IPs字段可以转换为定量值.样品:

1.2.3 convert to 1
1.2.4 convert to 2
1.2.5 convert to 3

让我们想要对SIMILARITY SCORE字段进行分类,因此,您可以使用列HOUR OF DAY,IP ADDRESS X并IP ADDRESS Y作为输入集和您刚刚使用的输出集SIMILARITY SCORE.下面的图像描绘了如何用它(一个简单的前馈神经网络).

有许多工具可以让您轻松地使用神经网络,您可以使用double值数组来定义这些集合,并为您训练对象.我一直在使用Heaton Research 的Encog Framework,它支持Java,C#,C++等.另外还有一个名为Accord Framework,但它只适用于.Net.

关于如何Feed-forward Neural Network使用Encog for Java 实现的一个非常示例:

BasicNetwork network = new BasicNetwork();

// add layers in the neural network
network.addLayer(new BasicLayer(null, true, 3));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 4));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 1));

// finalize and randomize the neural network
network.getStructure().finalizeStructure();
network.reset();

// define a random training set.
// You can define using your double arrays here
MLDataSet training = RandomTrainingFactory.generate(1000, 5, network.getInputCount(), network.getOutputCount(), -1, 1);

ResilientPropagation train = new ResilientPropagation(network, training);
double error = 0;
Integer epochs = 0;

//starting training
do 
{
    //train
    train.iteration();

    //count how many iterations the loop has
    epochs++;

    // get the error of neural network in the training set
    error = train.getError();

// condition for stop training
} while (epochs < 1000 && error > 0.01);

Obs:我没有测试这段代码.

如果您从神经网络开始,我建议您实施模型并使用UCI机器学习库中的数据集进行尝试.您可以测试实施的分类,回归和群集问题的数据集太多.