小编Yar*_*ron的帖子

函数 numpy.fft.fftfreq 的含义

几天前,我遇到了这个关于FFT使用的答案

在答案中有一段这样的代码:

w = np.fft.fft(data)
freqs = np.fft.fftfreq(len(w))
Run Code Online (Sandbox Code Playgroud)

我在 numpy 文档(这里)中阅读了函数fftfreq,我发现它返回一个包含以下内容的数组:

f = [0, 1, ...,   n/2-1,     -n/2, ..., -1] / (d*n)   if n is even
f = [0, 1, ..., (n-1)/2, -(n-1)/2, ..., -1] / (d*n)   if n is odd
Run Code Online (Sandbox Code Playgroud)

在我的情况下,d var 等于 1 和n是偶数。

所以我的问题是:fftfreq 的真正目的是什么

我想知道它是否是一种三角窗函数。

python numpy fft frequency audio-analysis

3
推荐指数
2
解决办法
4308
查看次数

Java代码中的Cyclomatic Complexity为11(允许的最大值为10)

我有以下java代码违反checkstyle说" Cyclomatic Complexity是11(允许的最大值是10)"

 public boolean validate(final BindingResult bindingResult) {
        boolean validate = true;
        for (String channel : getConfiguredChannels()) {
            switch (channel) {
            case "SMS":
                // do nothing
                break;
            case "Email":
                // do nothing
                break;
            case "Facebook":
                // do nothing
                break;
            case "Voice":
                final SpelExpressionParser parser = new SpelExpressionParser();
                if (parser
                        .parseExpression(
                                "!voiceMessageForm.audioForms.?[audioId == '' || audioId == null].isEmpty()")
                        .getValue(this, Boolean.class)) {
                    bindingResult.rejectValue("voiceMessageForm.audioForms",
                            "message.voice.provide.all.audios");
                    validate = false;
                }
                boolean voiceContentErrorSet = false;
                    boolean voiceDescriptionErrorSet = false;
                    for (AudioForm audioForm : (List<AudioForm>) …
Run Code Online (Sandbox Code Playgroud)

java

2
推荐指数
1
解决办法
1万
查看次数

Logstash - grok 重命名字段名称

以下是事件消息的示例:

{
"timestamp":"2016-03-29T22:35:44.770750-0400",
"flow_id":45385792,
"in_iface":"eth1",
"event_type":"alert",
"src_ip":"3.3.3.8",
"src_port":21,
"dest_ip":"2.2.2.2",
"dest_port":52934,
"proto":"TCP",
"alert":{
    "action":"allowed",
    "gid":1,
    "signature_id":4027,
    "rev":0,
    "signature":"FTP Successful Login",
    "category":"",
    "severity":3
    },
"payload":"MjU3ICIvaG9tZS9uZXd1c2VyIg0K",
"payload_printable":"257 newuser",
"stream":0,
"packet":"AFBWo0NoAFBWoxZWCABFAABJKDpAAEAGCGcDAwMIAgICAgAVzsbd4MhqOBOjfoAYAOMYcwAAAQEIChHN4EQHnwugMjU3ICIvaG9tZS9uZXd1c2VyIg0K"
}


input 
    beats 
        port => 5044
        codec => json
        type => "SuricataIDPS"
Run Code Online (Sandbox Code Playgroud)

我的 Logstash 配置文件如下:

output 
    elasticsearch 
        hosts => ["localhost:9200"]
        sniffing => true
        manage_template => false
        index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
        #document_type => "%{[@metadata][type]}"
Run Code Online (Sandbox Code Playgroud)

我希望能够重命名该字段alert.signature,

我该怎么做?...似乎它不识别该字段...

感谢您的帮助!

埃夫拉特

logstash-grok

2
推荐指数
1
解决办法
2999
查看次数

如何将包含许多字段的大型 csv 加载到 Spark

新年快乐!!!

我知道以前有人问过/回答过这种类似的问题,但是,我的不同:

我有 100+ 个字段和 100MB+ 的大尺寸 csv,我想将它加载到 Spark (1.6) 进行分析,csv 的标题看起来像附加的示例(只有一行数据)

非常感谢。

更新 1(美国东部时间 2016.12.31.1:26pm):

我使用以下方法并能够加载数据(具有有限列的示例数据),但是,我需要将标题(来自 csv)自动分配为 DataFrame 中的字段名称,但是,DataFrame 看起来像:

在此处输入图片说明 谁能告诉我怎么做?请注意,任何手动方式都是我想要避免的。

>>> import csv
>>> rdd = sc.textFile('file:///root/Downloads/data/flight201601short.csv') 
>>> rdd = rdd.mapPartitions(lambda x: csv.reader(x))
>>> rdd.take(5) 
>>> df = rdd.toDF() 
>>> df.show(5) 
Run Code Online (Sandbox Code Playgroud)

csv apache-spark pyspark

2
推荐指数
1
解决办法
7663
查看次数

Spark SQL 错误

我尝试使用 Spark-sql 但出现以下错误:

错误:加载类文件“package.class”时检测到缺少或无效的依赖项。无法访问包 org.apache.spark 中的术语注释,因为它(或其依赖项)丢失。检查您的构建定义是否缺少或冲突的依赖项。(重新运行-Ylog-classpath以查看有问题的类路径。)如果“package.class”是针对不兼容的 org.apache.spark 版本编译的,则完全重建可能会有所帮助。警告:未找到类 org.apache.spark.annotation.InterfaceStability - 继续使用存根。错误:加载类文件“SparkSession.class”时检测到缺少或无效的依赖项。无法访问包 org.apache.spark 中的术语注释,因为它(或其依赖项)丢失。检查您的构建定义是否缺少或冲突的依赖项。(重新运行-Ylog-classpath以查看有问题的类路径。)如果“SparkSession.class”是针对不兼容的 org.apache.spark 版本进行编译的,则完全重建可能会有所帮助。

我的配置:

  • 斯卡拉 2.11.8
  • Spark-core_2.11-2.1.0
  • Spark-sql_2.11-2.1.0

  • 注意:我使用 SparkSession。

apache-spark apache-spark-sql

2
推荐指数
1
解决办法
8052
查看次数

Spark数据框中的别名

如何在子查询中的多个列的情况下定义别名.从下面的例子中我想在d的输出中定义avg(high)的别名

例如:

val d = c.select("date","high").groupBy("date").avg("high")
Run Code Online (Sandbox Code Playgroud)

apache-spark apache-spark-sql

2
推荐指数
1
解决办法
3606
查看次数

cmd屏幕不能设置为指定的行数和列数

每次我打开命令提示符时,它都会闪烁以下消息,然后立即关闭。

屏幕不能设置为指定的行数和列数

  • 问题是什么?
  • 我该如何解决?

cmd

2
推荐指数
1
解决办法
3540
查看次数

在 Pyspark 中用随机数填充 na

我正在使用 Pyspark DataFrame。

我想用 14 到 46 范围内的随机值更新Age列中的NA 值。

我该怎么做?

random dataframe pyspark

1
推荐指数
1
解决办法
3740
查看次数

如何在bash命令行中调用变量?

我正在尝试创建这个小程序来帮助我,只用一个命令,在Ubuntu的终端中编译和运行一个C程序.

为了让它变得更加漂亮,我在bash文件中添加了一个参数,这样我就可以将它用于我想要的任何C程序.所以它应该是这样的:

  • 创建一个变量来存储文件的名称
  • 使用该变量编译程序(到相同的文件名)
  • 使用相同的名称来运行该文件.

这是代码:

# usr/bin/bash
filename=$1
cc -o $filename "$filename.c"
./$filename.out
Run Code Online (Sandbox Code Playgroud)

几乎一切都在运行,我仍然唯一的问题是在最后一行:

./$filename.out
Run Code Online (Sandbox Code Playgroud)

它似乎没有在执行最终程序的命令中使用变量的名称.

我是bash的菜鸟(假设我几个月没用过它).

linux variables bash

0
推荐指数
1
解决办法
63
查看次数