小编kat*_*nai的帖子

我是 Spark 编程和使用 IntelliJ IDE 开发 Spark 应用程序的新手。我想要实现的是在继续在 IntelliJ 中调试的同时到达 Spark Web UI。但是，在尝试访问 SparkContext 提供的 URL 时出现“无法访问此站点”错误。

是否可以在 IntelliJ 中同时监视 Spark Web UI 和调试？

提前致谢。

更新

我已经尝试过http://localhost:4040和http://localhost:8088。此外，通过命令行界面启动 spark-shell 时，我可以从http://localhost:4040访问 Spark Web UI 。

我正在尝试从 S3 导入 JSON 数据，并在进行一些查询后，再次将输出作为 JSON 格式导出到 S3。但是，我在 EMR 集群上的 hive 步骤中收到“org.apache.hadoop.hive.serde2.SerDeException：java.io.IOException：未在预期位置找到启动令牌”错误。为了了解问题所在，我简化了 Hive 脚本和 JSON 数据，但它一直给出相同的错误。我怎么解决这个问题？

集群配置：

版本：emr-5.3.1

蜂巢版本：2.1.1

Hadoop 发行版：Amazon 2.7.3

服务角色：EMR_DefaultRole

主实例类型：m4.large

简化后的 JSON 数据内容：

[{"MyID":"FOO123","MyField":"FOO"},{"MyID":"BAR123","MyField":"BAR"}]

蜂巢脚本：

DROP TABLE IF EXISTS SOURCE;
DROP TABLE IF EXISTS DESTINATION;

CREATE EXTERNAL TABLE SOURCE(MyID STRING, MyField STRING)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION 's3://myPath/subPath/';

CREATE EXTERNAL TABLE DESTINATION(MyID STRING, MyField STRING)                                    
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION 's3://anotherPath/subPath/';

INSERT OVERWRITE TABLE DESTINATION SELECT MyID, MyField FROM SOURCE;

这是堆栈跟踪：

Vertex failed, vertexName=Map …

我有一个json对象,我想反序列化到它的.Net类型而不用它.

我想我在doc中的某处读到你可以将一个属性传递给json,告诉反序列化器它可以尝试强制转换的.Net对象类型.

我找不到我读到的地方.

我想避免使用

var myNewObject = JsonConvert.DeserializeObject<MyClass>(json);

得到这样的东西

MyClass myNewObject = JsonConvert.DeserializeObject(json);

我从HttpRequest获取了我的json对象,并希望从这个嵌套对象中实例化相应的类.目前,对已知项目的反序列化工作正常,但需要更灵活的东西,而无需从解析方法管理所有已知的Object.

我知道关于这个话题有很多问题.但是,我无法理解使用抽象类而不是虚拟类的确切需要.如果我没有弄错,抽象类也隐式地是一个虚拟类,它们之间的唯一区别是必须在子类中重写抽象方法.那么,为什么虚拟课不足够？在哪些情况下我们确实需要抽象类而不是虚拟类？