我使用连接到 EMR 集群的 EMR Notebook。内核是 Spark,语言是 Scala。我需要一些位于 S3 存储桶中的罐子。我怎样才能添加罐子?
在'spark-shell'的情况下很容易:
spark-shell --jars "s3://some/path/file.jar, s3://some/path/faile2.jar"
同样在 Scala 控制台中我可以做
:require s3://some/path/file.jar
有两个系统通过 TCP 进行通信。第一个使用小端,第二个使用大端。系统之间的ICD包含很多结构体(字段)。为每个字段进行字节交换看起来不是最好的解决方案。
是否有任何通用的解决方案/实践来处理具有不同字节顺序的系统之间的通信?