小编Kra*_*tos的帖子

我想使用量角器测试Angularjs项目,我正在寻找测试记录器(如Selenium IDE),无需编写测试用例.有没有可用的工具？

我有一个包含字符串列的数据框,我打算使用它作为k-means的输入使用spark和scala.我正在使用以下方法转换数据框的字符串类型列:

 val toDouble = udf[Double, String]( _.toDouble) 
 val analysisData  = dataframe_mysql.withColumn("Event", toDouble(dataframe_mysql("event"))).withColumn("Execution", toDouble(dataframe_mysql("execution"))).withColumn("Info", toDouble(dataframe_mysql("info")))              
 val assembler = new VectorAssembler()
    .setInputCols(Array("execution", "event", "info"))
    .setOutputCol("features")
val output = assembler.transform(analysisData)
println(output.select("features", "execution").first())

当我打印analyzeData模式时,转换是正确的.但我得到一个例外:VectorAssembler不支持StringType类型 ,这意味着我的值仍然是字符串!如何转换值而不仅仅是模式类型？

谢谢

我需要将两列Dataframe转换为按其中一列分组的列表.我在熊猫中成功完成了它:

expertsDF = expertsDF.groupby('session', as_index=False).agg(lambda x: x.tolist())

但是现在我想在pySpark中做同样的事情如下:

expertsDF = df.groupBy('session').agg(lambda x: x.collect())

我收到错误:

all exprs should be Column

我已经尝试了几个命令,但我根本无法做到正确.并且spark dokumentation不包含类似的东西.

它的示例输入是数据帧:

session     name
1           a
1           b
2           v
2           c

输出:

session    name
1          [a, b....]
2          [v, c....] 

我有一个 pyspark 2.0.0 脚本，定义了以下会话：

spark = SparkSession \
    .builder \
    .appName("Python Spark") \
    .master("local[*]")\
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

我训练了一个随机森林模型，我想保存它。因此我调用以下方法：

model_rf.save( spark, "/home/Desktop")

但它会抛出以下编译错误：

TypeError: sc should be a SparkContext, got type <class 'pyspark.sql.session.SparkSession'>

当我定义 Spark 上下文时，如下所示：

from pyspark import SparkContext
sc =SparkContext()
model_rf.save( sc, "/home/Desktop")

我收到错误：

Cannot run multiple SparkContexts at once; existing SparkContext(app=Python Spark, master=local[*]) created by getOrCreate at <ipython-input-1-c5f83810f880>:24 

我有两个 Spark 数据帧，我将加入并在之后进行选择。我想选择其中一个数据框的特定列。但在另一个中存在相同的列名。因此，我收到了歧义列的异常。

我试过这个：

d1.as("d1").join(d2.as("d2"), $"d1.id" === $"d2.id", "left").select($"d1.columnName")

和这个：

d1.join(d2, d1("id") === d2("id"), "left").select($"d1.columnName")

但它不起作用。

我试图允许从3个指定的IP地址连接到一个桶.当我这样添加它们时:

{
    "Version": "2008-10-17",
    "Id": "S3PolicyId1",
    "Statement": [
        {
            "Sid": "IPDeny",
            "Effect": "Deny",
            "Principal": {
                "AWS": "*"
            },
            "Action": "s3:*",
            "Resource": "arn:aws:s3:::bucket/*",
            "Condition": {
                "NotIpAddress": {
                    "aws:SourceIp": "ip1",
                    "aws:SourceIp": "ip2",
                    "aws:SourceIp": "ip3"
                }
            }
        }
    ]
}

一旦保存,将保留三个中的一行,因此我只能有一个IP集.任何想法我怎么能这样做而不需要长时间添加新的声明和解决方法？

我正在尝试在Scala代码中禁用Spark日志。我已尝试了所有可能找到的内容，但日志仍然出现。

这是我所做的：

我编辑了log4j.properties文件并更改了以下行：

从log4j.rootCategory = WARNING, console 到 log4j.rootCategory = ERROR, console

我还使用了spark上下文将级别设置为error或off：

sc.setLogLevel("OFF")

或出错：

sc.setLogLevel("ERROR")

我还导入了log4j.Level和log4jLogger

并做了：

var rootLogger = Logger.getRootLogger()
rootLogger.setLevel(Level.FATAL)

最后一次尝试：

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)
Logger.getLogger("spark").setLevel(Level.OFF)

但是我仍在日志中获取信息和警告。

有任何想法吗？我的Spark版本是2.0.0

我正在使用karma在AngularJS中编写单元测试,我想测试以下控制器是否正在调用该服务.我不能使用spyOn,因为它是一个承诺,而不是一个功能.我不想测试服务本身,但我无法弄清楚我该怎么做.

    $scope.deleteItem= function(itemId){
    service.deleteItem(itemId)
    .then(function(){
      $scope.info("Deleted");
      $scope.getData();
    }, function(data){
      $scope.critical('error');
    });
};