小编Jar*_*ims的帖子

powershell 选择对象属性和扩展属性

尝试执行选择对象,但我似乎无法从键值列表属性返回属性和值。我希望从此参数属性返回 RunStart、Message 和“tableName”3 个属性。

我对此感到太多了:

|Select-Object -Property Parameters,RunStart,Message

Parameters                                    RunStart              Message
----------                                    --------              -------
{[tableName, AHROR012], [schemaName, dbo]...} 11/14/2019 5:39:06 PM Operation on target failed
Run Code Online (Sandbox Code Playgroud)

但当我这样做时,我没有收到 RunStart 或消息:

|Select-Object -ExpandProperty Parameters -Property tableName,RunStart,Message

Key                 Value
---                 -----
tableName           AHROR012
Run Code Online (Sandbox Code Playgroud)

我该怎么做才能得到:

Parameters.tableName                         RunStart              Message
----------                                    --------              -------
AHROR012                                      11/14/2019 5:39:06 PM Operation on target failed
Run Code Online (Sandbox Code Playgroud)

谢谢!!!

powershell select-object

9
推荐指数
1
解决办法
2万
查看次数

Spark Flume Streaming scala foreachpartition

我正在尝试通过 Spark 流处理来自 Flume-avro 接收器的事件,并以使用 foreachRDD 的设计模式的方式执行此操作,但出于某种原因,代码不执行,其中显示“不起作用”。partion.size() 返回 1,但它甚至没有迭代 1 个分区。ps我是一个scala菜鸟。

  events.foreachRDD { rdd =>
if (rdd.take(1).size == 1) {
  System.out.println("**********************************WE GOT AN RDD")
  System.out.println("*******************************NUM PARTITIONS =" + rdd.partitions.size)
  val array = rdd.collect()
  array.foreach { x => 
    System.out.println("**************WORKS********************" + new String(x.event.getBody().array(),"UTF-8"))
  }
  rdd.foreachPartition { partitionItr =>
    //System.out.println("**********************************WE NEVER GET HERE " + partitionItr.size)
    //create db connection from pool
    //val connection = ConnectionPool.getConnection()
    partitionItr.foreach { item =>
      //write to db
      System.out.println("****************DOES NOT WORK******************" + new String(item.event.getBody().array(),"UTF-8"))
      //return connection to …
Run Code Online (Sandbox Code Playgroud)

scala flume apache-spark spark-streaming

5
推荐指数
0
解决办法
472
查看次数