小编nee*_*aji的帖子

带有spark-cassandra连接器的saveToCassandra会抛出java.lang.ClassCastException

当试图将数据保存到Cassandra(在Scala中)时,我得到以下异常:

java.lang.ClassCastException:com.datastax.driver.core.DefaultResultSetFuture无法强制转换为com.google.common.util.concurrent.ListenableFuture

请注意,我不是每次都会收到此错误,但它会偶尔随机出现,这会使其在生产中更加危险.

我正在使用YARN并且我使用了com.google.**来避免Guava符号冲突.

这是代码片段:

rdd.saveToCassandra(keyspace,"movie_attributes", SomeColumns("movie_id","movie_title","genre"))
Run Code Online (Sandbox Code Playgroud)

任何帮助将非常感激.

更新 根据请求从pom文件添加详细信息:

<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector_2.10</artifactId>
    <version>1.5.0</version>
</dependency>
<dependency>
    <groupId>com.datastax.spark</groupId>
    <artifactId>spark-cassandra-connector-java_2.10</artifactId>
    <version>1.5.0</version>
</dependency>

**Shading guava**

<relocation> <!-- Conflicts between Cassandra Java driver and YARN -->
    <pattern>com.google</pattern>
    <shadedPattern>oryx.com.google</shadedPattern>
    <includes>
         <include>com.google.common.**</include>
    </includes>
 </relocation>
Run Code Online (Sandbox Code Playgroud)

Spark版本:1.5.2 Cassandra版本:2.2.3

scala apache-spark spark-cassandra-connector

7
推荐指数
1
解决办法
886
查看次数

如何使用辅助用户操作来改进Spark ALS的建议?

有没有办法在使用Spark Mllib ALS时使用从用户点击流派生的次要用户操作来改进建议?

我已经完成了这里提到的显式和隐式反馈示例:https://spark.apache.org/docs/latest/mllib-collaborative-filtering.html对train()和trainImplicit()使用相同的评级RDD方法.

这是否意味着我需要在每个次要用户操作的RDD(用户,项目,操作)的同一模型对象上调用trainImplicit()?或者训练多个模型,根据每个动作检索推荐,然后线性组合它们?

对于其他背景,问题的关键是Spark ALS是否可以模拟像Mahout的火花项目相似性工作这样的辅助操作.任何指针都会有所帮助.

mahout-recommender apache-spark apache-spark-mllib

5
推荐指数
1
解决办法
1071
查看次数

Pocketsphinx 之前的降噪降低了识别精度

我正在努力提高在嘈杂环境中口袋狮身人面像的识别准确性。但是,用户可能会在可变环境中使用该应用程序。因此,噪音训练不是我想做的事情。

我的问题是,在将语音信号输入到口袋狮身人面像之前,降噪是否一定会降低识别精度?

如果是,降噪后需要保留哪些语音特征?目前我观察到,如果我使用降噪,WER 从~40%(自由形式语言)上升到~60%。

补充一点,降噪后语音听起来确实更好。

Pocketsphinx argfile:

-lm   lm_giga_64k_vp_3gram.DMP
-dict lm_giga_64k_vp.sphinx.dic 
-hmm  voxforge_en_sphinx.cd_cont_5000
Run Code Online (Sandbox Code Playgroud)

这里的想法是证明启用降噪后语音识别准确性的提高,并且直观地说,除非降噪算法完全弄乱了信号的频谱内容,否则理想情况下应该会发生这种情况。

任何帮助,将不胜感激。

speech-recognition noise noise-reduction pocketsphinx-android

3
推荐指数
1
解决办法
4186
查看次数