神经网络在日志文件数据中的应用

Question

我一直在关注 Andrew NG 的 coursera AI 课程，特别是关于神经网络的部分，我正计划在日志文件数据上实施神经网络。

我的日志文件包含这种类型的数据：

<IP OF MACHINE INITIATING REQUEST><DATE OF REQUEST><TIME OF REQUEST><NAME OF RESOUCE BEING ACCESSED ON SERVER><RESPONSE CODE><TIME TAKEN FOR SERVER TO SERVE PAGE>

我知道还有其他分类算法可用于此任务，例如 naïve bayes 和 local outlier factor，但我想使用真实世界的适用问题来接触神经网络。

我读过神经网络自组织映射，这似乎更适合这类问题，因为日志文件没有任何结构，但似乎是一个更高级的主题。

我不使用自组织映射神经网络，而是计划通过将数据分组到键值对中来从日志文件数据创建训练数据，其中键是 <IP OF MACHINE INITIATING REQUEST>，每个值是关键是 [<NAME OF RESOUCE BEING ACCESSED ON SERVER>, ><TIME TAKEN FOR SERVER TO SERVE PAGE>]

根据上面的日志文件数据，我的目标是使用神经网络：

To classify similar IP behaviors based on what resources are being accessed. 
Classify behavior at specific periods / moments in time, so what IP’s are behaving similarly and specific moment in time.

我不知道从哪里开始。我已经实现了执行整数运算的非常基本的神经网络，但现在想根据我拥有的数据实现一个有用的网络。

基于日志数据格式，这是一个很好的用例吗？

关于在哪里完成此任务的任何指示？

我希望这个问题不要太笼统，我只是不确定在开始实施神经网络时要考虑哪些问题。

更新：

我想输出最适合从神经网络生成的数据。

为此，我认为基于相似度分数输出基于时间段的用户分类。

为了生成相似度分数，我可以生成每个 IP 地址访问资源的次数：

例如：

1.2.3.A,4,3,1
1.2.3.B,0,1,2
1.2.3.C,3,7,3

然后从中生成：

<HOUR OF DAY>,<IP ADDRESS X>,<IP ADDRESS Y>,<SIMMILARITY SCORE>

:

1,1.2.3.A,1.2.3.B,.3
1,1.2.3.C,1.2.3.B,.2
1,1.2.3.B,1.2.3.B,0
2,1.2.3.D,1.2.3.B,.764
2,1.2.3.E,1.2.3.B,.332
3,1.2.3.F,1.2.3.B,.631

这样就可以开始关联用户一天中的行为。

适用于神经网络吗？

我知道我问的是神经网络寻找问题，但这是一个合适的问题吗？

Answer 1

Based on log data format is this a good use case ?

您可以将其用作数据集来训练神经网络以 predict 未来值或 classify 标签（或类别）中的值。对于某些类型的神经网络（特别是 Multi-Layer Perceptron），这取决于您如何组织数据集以在神经网络训练期间使用。还有其他情况您可以对示例进行分组（也称为 clustering）。

神经网络概念

由于您在 fields（或属性）中分离了历史数据，因此您可以创建 neural network 到 classify 或 predict 可能的未来值的模型。

鉴于神经网络是由训练步骤定义的数学模型，您必须定义输入和输出集以在训练期间使用以定义此模型（神经网络).鉴于此，您的定性值（文本、字符、字母等）必须转换为定量值，例如：

A you convert to 1
B you convert to 2
C you convert to 3
...
Z you convert to N

在此之后，您可以将数据集安排在样本中，以便将其分隔在输入列表和每个样本的理想输出中。例如，假设您有一个定义房地产市场中的房屋及其价格的数据集。您的任务是为新的未来房屋定义价格（建议），您的训练集样本可能是这样的：

输入：

Bedrooms ; Bathrooms ; Garage ; Near Subway
1        ; 1         ; 0      ; 1
3        ; 2         ; 2      ; 1
2        ; 2         ; 1      ; 0

理想输出（分别针对每个输入样本）

Price
100.000
150.000
230.000

并使用这些集合来训练神经网络，为未来提供特征的房屋建议价格

你的问题

在您的情况下，IPs 字段可以转换为定量值。例如：

1.2.3 convert to 1
1.2.4 convert to 2
1.2.5 convert to 3

假设您要对 SIMILARITY SCORE 字段进行分类，那么，您可以使用列 HOUR OF DAY、IP ADDRESS X 和 IP ADDRESS Y 作为输入集和输出设置你只有 SIMILARITY SCORE。下图描绘了如何引导它（一个简单的前馈神经网络）。

有许多工具可以让您轻松地使用神经网络，您可以使用 double 值的数组来定义这些集合，并且将为您训练对象。我一直在使用 Encog Framework from Heaton Research and it support Java, C#, C++ and other. There is also another one called Accord Framework 但它仅适用于 .Net。

关于如何使用 Encog 为 Java 实现 Feed-forward Neural Network 的非常示例：

BasicNetwork network = new BasicNetwork();

// add layers in the neural network
network.addLayer(new BasicLayer(null, true, 3));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 4));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 1));

// finalize and randomize the neural network
network.getStructure().finalizeStructure();
network.reset();

// define a random training set.
// You can define using your double arrays here
MLDataSet training = RandomTrainingFactory.generate(1000, 5, network.getInputCount(), network.getOutputCount(), -1, 1);

ResilientPropagation train = new ResilientPropagation(network, training);
double error = 0;
Integer epochs = 0;

//starting training
do 
{
    //train
    train.iteration();

    //count how many iterations the loop has
    epochs++;

    // get the error of neural network in the training set
    error = train.getError();

// condition for stop training
} while (epochs < 1000 && error > 0.01);

Obs：我没有测试这段代码。

如果您刚开始使用神经网络，我建议您实施您的模型并使用来自 UCI Machine Learning Repository 的数据集进行尝试。分类、回归和聚类问题的数据集太多，您可以测试您的实现。

神经网络在日志文件数据中的应用

Application of neural network for use with log file data

java

artificial-intelligence

machine-learning

neural-network

神经网络概念

你的问题