我有一个包含 1 个主节点 9 个节点的 Spark 集群。我正在独立模式下运行。我无法从集群中的任何节点访问 Web 浏览器(我通过 ssh 连接到节点——这是一个 grid5000 集群)。\n我想知道,是否有可能访问 Spark Web UI这个案例?我尝试将集群中的日志复制到本地计算机上的 SPARK_PATH/work 中(留下集群中运行的作业是在本地计算机上运行的印象)。这个想法是在阅读文档中的这一部分后产生的:
\n\n如果应用程序在其生命周期内记录了事件,则独立 master\xe2\x80\x99s Web UI 将在应用程序完成后自动重新呈现 application\xe2\x80\x99s UI。
\n\n但这没有用。我在用户界面中可以看到的是:
\n\n\n\n\n应用程序: 0 正在运行, 0 已完成\n 驱动程序: 0 正在运行, 0 已完成\n 状态: 活动
\n
谢谢你!
\n我正在使用Google Cloud Storage上传图像。我现在正在从云控制台进行测试。上传图片后,如果选中“公开共享”复选框以获取公共链接,则会(显然)获得一个公共可访问的URL,即:https : //storage.googleapis.com/bucket_name/pictureName。
然后,如果我取消选中“公开共享”复选框,则会发出请求
Request URL:https://clients6.google.com/storage/v1_internal/b/bucketName/o/pictureName.jpg/acl/allUsers?key=AIzaSyCI-yuie5UVOi0DjtiCwWBwQ1djkiuo1g
Request Method:DELETE
Run Code Online (Sandbox Code Playgroud)
该请求进行得很好,但是公共URL仍可公开访问。我以为它可以使用一段时间,但是一小时后仍然可用。那么,删除公共URL的正确方法是什么?公开后如何限制对已存储文件的访问?
尝试将cron作业路由到特定版本的模块时,我遇到了问题.模块batcher包含cron.xml文件.在文件里面我有:
<cron>
<url>/_user/tags/deleteOld?page=0&pageSize=50</url>
<description>deletes user's old tags</description>
<schedule>every saturday 21:00</schedule>
<timezone>Europe/Helsinki</timezone>
<target>v4-dot-batcher</target>
</cron>
Run Code Online (Sandbox Code Playgroud)
这工作正常,并且cron作业正确地路由到batcher模块版本v4.现在,如果我尝试将此cron作业重定向到另一个名为mules的模块:
<cron>
<url>/_user/tags/deleteOld?page=0&pageSize=50</url>
<description>deletes user's old tags</description>
<schedule>every saturday 21:00</schedule>
<timezone>Europe/Helsinki</timezone>
<target>v4-dot-mules</target>
</cron>
Run Code Online (Sandbox Code Playgroud)
这不再起作用,因为请求总是发送到模块的默认版本(称为测试)而不是v4.
是因为cron.xml在batcher模块中还是与dispatch.xml有关?我没有在mules模块的dispatch.xml中设置与路由"/ _user/tags/deleteOld"相关的任何内容.
查看日志,protoPayload包含:
protoPayload: {
@type: "type.googleapis.com/google.appengine.logging.v1.RequestLog"
versionId: "test"
startTime: "2017-05-29T16:45:00.628537Z"
endTime: "2017-05-29T16:45:00.642901Z"
latency: "0.014364s"
megaCycles: "11"
method: "GET"
resource: "/_user/tags/deleteOld?page=0&pageSize=50"
httpVersion: "HTTP/1.1"
status: 404
responseSize: "234"
userAgent: "AppEngine-Google; (+http://code.google.com/appengine)"
urlMapEntry: "unused"
host: "v4-dot-mules.testapp.appspot.com"
taskQueueName: "__cron"
finished: true
}
Run Code Online (Sandbox Code Playgroud)
骡子v4的配置如下:
runtime: java7
threadsafe: true
instance_class: F4
inbound_services:
- warmup
handlers:
- url: '/.*' …Run Code Online (Sandbox Code Playgroud) 更新到 Catalina 后,mvn clean install从终端运行时出现以下错误:
The goal you specified requires a project to execute but there is no POM in this directory (/private/var/folders/xs/lgy9yxv501xcvnqr_zhg85wr0000gn/T/hsperfdata_user1). Please verify you invoked Maven from the correct directory.
Run Code Online (Sandbox Code Playgroud)
当前目录包含一个 pom.xml 和一个有效的项目
user1@xyz project1 % pwd
/Users/user1/Documents/project/project1
user1@xyz project1 % ls
README.md pom.xml project1-service
Run Code Online (Sandbox Code Playgroud)
我也试过mvn clean install -f pom.xml 了。这将出错:
The project (/Users/user1/Documents/project/project1/pom.xml) has 1 error
[ERROR] Non-readable POM /Users/user1/Documents/project/project1/pom.xml: /Users/user1/Documents/project/project1/pom.xml (Operation not permitted)
Run Code Online (Sandbox Code Playgroud)
这在 InteliJ 的终端上工作得很好。知道发生了什么吗?