小编max*_*axk的帖子

我有一个 tfrecord 文件，想将它导入到 Pandas 数据框或 numpy 数组中。

我找到了读取 tfrecords 的工具，但它们只能在 tensorflow 会话中工作，这不是我的用例......

感谢我能得到的任何帮助！

有没有办法删除只包含空值的spark dataFrame的列？(我正在使用scala和Spark 1.6.2)

目前我这样做:

var validCols: List[String] = List()
for (col <- df_filtered.columns){
  val count = df_filtered
    .select(col)
    .distinct
    .count
  println(col, count)
  if (count >= 2){
    validCols ++= List(col)
  }
}

构建包含至少两个不同值的列列表,然后在select()中使用它.

谢谢 !