小编Mah*_*afy的帖子

我想写这样的代码 -

for (Map.Entry<Long, Integer> e : map.entrySet()){
    map.remove(k);
    map.put(x, value);
}

但我得到了java.util.ConcurrentModificationException 我也尝试使用,Iterator但我也一样Exception

当使用BigQuery Connector从BigQuery读取数据时,我发现它首先将所有数据复制到Google云端存储.然后将这些数据并行读入Spark,但是在读取大表时,复制数据阶段需要很长时间.那么有更有效的方法将数据从BigQuery读入Spark吗？

另一个问题:从BigQuery读取由2个阶段组成(复制到GCS,从GCS并行读取).复制阶段受Spark群集大小影响还是需要固定时间？

我有以下方法:

public <U, V> boolean isEqual(List<U> a, List<V> b) {
    // check if U == V
}

我要检查,如果U和V是同一类.

我试图Dataset用Java 创建一个,所以我编写了以下代码:

public Dataset createDataset(){
  List<Person> list = new ArrayList<>();
  list.add(new Person("name", 10, 10.0));
  Dataset<Person> dateset = sqlContext.createDataset(list, Encoders.bean(Person.class));
  return dataset;
}

Person class是一个内部类.

但是Spark引发了以下异常:

org.apache.spark.sql.AnalysisException: Unable to generate an encoder for inner class `....` without access to the scope that this class was defined in. Try moving this class out of its parent class.;

at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder$$anonfun$2.applyOrElse(ExpressionEncoder.scala:264)
at org.apache.spark.sql.catalyst.encoders.ExpressionEncoder$$anonfun$2.applyOrElse(ExpressionEncoder.scala:260)
at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$3.apply(TreeNode.scala:243)
at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$3.apply(TreeNode.scala:243)
at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:53)
at org.apache.spark.sql.catalyst.trees.TreeNode.transformDown(TreeNode.scala:242)

怎么做得好？

我的问题是非常相似，这一个，我想用频道自定义名称来获得渠道ID。

上述问题的答案是：

GET https://www.googleapis.com/youtube/v3/search?part=id%2Csnippet&q=annacavalli&type=channel&key={YOUR_API_KEY}

不适用于小频道，例如。当我用这个频道运行它时：https : //www.youtube.com/AnnaShearerfashionfettish它什么都不返回。

我想使用Spark读取HBase中的表.我添加了以下依赖项:

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

如hbase 网站所述,但依赖无法解决!!

我也尝试了不同的版本(1.2.0,1.1.2),但它没有用.

我正在尝试编写以下方法:

scala>   def isEqual[U, V](expected: RDD[U], result: RDD[V]) = {
 |         val expectedIndexValue: RDD[(Long, U)] = expected.zipWithIndex().map{ case (row, idx) => (idx, row) }
 |         val resultIndexValue: RDD[(Long, V)] = result.zipWithIndex().map{ case (row, idx) => (idx, row) }
 |         val combined = expectedIndexValue.join(resultIndexValue)
 |       }

但是我收到以下错误:

<console>:52: error: value join is not a member of org.apache.spark.rdd.RDD[(Long, U)]
         val combined = expectedIndexValue.join(resultIndexValue)