小编tob*_*obe的帖子

我们正在开发脚本并尝试支持类似的东西brew install runscripts.

它是用golang编写的,并且有一些必需的依赖项go get.现在我不知道编写公式来设置GOPATH并运行go get.我们的项目可以编译成二进制文件,但我们需要run --init安装它.

任何人都可以帮助举例说明一个自制的项目公式吗？

我正在使用ubuntu来设置独立的火花.但是当我使用预先构建的火花时,它未能找到slf4j包.

./spark-1.4.1-bin-without-hadoop/sbin/start-master.sh

Spark Command: /usr/lib/jvm/java-7-oracle//bin/java -cp /root/spark-1.4.1-bin-without-hadoop/sbin/../conf/:/root/spark-1.4.1-bin-without-hadoop/lib/spark-assembly-1.4.1-hadoop2.2.0.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip localhost --port 7077 --webui-port 8080
========================================
Exception in thread "main" java.lang.NoClassDefFoundError: org/slf4j/Logger
        at java.lang.Class.getDeclaredMethods0(Native Method)
        at java.lang.Class.privateGetDeclaredMethods(Class.java:2615)
        at java.lang.Class.getMethod0(Class.java:2856)
        at java.lang.Class.getMethod(Class.java:1668)
        at sun.launcher.LauncherHelper.getMainMethod(LauncherHelper.java:494)
        at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:486)
Caused by: java.lang.ClassNotFoundException: org.slf4j.Logger
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        ... 6 more

对不起,我不应该使用spark-1.4.1-bin-without-hadoop,当我下载spark-1.4.1-bin-hadoop2.6时它会起作用.这可能是我使用的问题,而不是Spark.

现在我们使用TensorFlow来训练和导出模型.我们可以像这样使用这个模型来实现推理服务tensorflow/serving.

我有一个关于tf.Session对象是否是线程安全的问题.如果是,我们可以在启动后初始化对象并使用单例对象来处理并发请求.

我们已经设置了分布式spark集群(版本1.5.0)并尝试运行spark-perf.但是我们遇到了这个错误,并且不知道如何修复它.

15/10/05 20:14:37 ERROR SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[appclient-registration-retry-thread,5,main]
java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@43ff6bf rejected from java.util.concurrent.ThreadPoolExecutor@36077c7[Running, pool size = 1, active threads = 1, queued tasks = 0, completed tasks = 0]
        at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2048)
        at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:821)
        at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1372)
        at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:110)
        at org.apache.spark.deploy.client.AppClient$ClientEndpoint$$anonfun$tryRegisterAllMasters$1.apply(AppClient.scala:96)
        at org.apache.spark.deploy.client.AppClient$ClientEndpoint$$anonfun$tryRegisterAllMasters$1.apply(AppClient.scala:95)
        at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
        at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)
        at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
        at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:108)
        at scala.collection.TraversableLike$class.map(TraversableLike.scala:244)
        at scala.collection.mutable.ArrayOps$ofRef.map(ArrayOps.scala:108)
        at org.apache.spark.deploy.client.AppClient$ClientEndpoint.tryRegisterAllMasters(AppClient.scala:95)
        at org.apache.spark.deploy.client.AppClient$ClientEndpoint.org$apache$spark$deploy$client$AppClient$ClientEndpoint$$registerWithMaster(AppClient.scala:121)
        at org.apache.spark.deploy.client.AppClient$ClientEndpoint$$anon$2$$anonfun$run$1.apply$mcV$sp(AppClient.scala:132)
        at org.apache.spark.util.Utils$.tryOrExit(Utils.scala:1119)
        at org.apache.spark.deploy.client.AppClient$ClientEndpoint$$anon$2.run(AppClient.scala:124)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
        at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:304)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$301(ScheduledThreadPoolExecutor.java:178)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
        at java.lang.Thread.run(Thread.java:745) …

我正在尝试使用 docker 轻松设置 HBase。我已经编写了Dockerfile并成功运行了 standalone-hbase。

一切都像容器内的魅力一样。我也可以实现 Java 客户端以从 RegionServer 获取数据。但是当我将客户端移到容器外时，它不起作用。

RegionServer 似乎为 RPC 请求打开了随机端口，但在运行 docker 容器后我们无法公开它们。我不知道如何解决它，有什么建议吗？

最近AWS发布了lambda处理服务.它可以在几毫秒内触发,现在只支持NodeJS.

我很好奇他们如何实现资源隔离.如果他们使用类似的东西docker,可能需要几秒钟才能启动容器.如果他们直接运行NodeJS代码,他们如何支持不同版本的NodeJS？如果你想支持其他编程语言,那将是一个大问题.

NoVNC是一个很棒的Web终端,可以与VNC服务器连接.我们正在尝试在HTML页面中使用它.但noVNC的窗口似乎是不可改变的.

我们尝试了iframe,但它并不灵活.

那么我们如何在HTML页面中嵌入noVNC呢？

我在dockerhub 找到了官方的哨兵图像.但是文档不完整,我无法一步一步地设置环境.

我们必须首先设置数据库容器,但它们都没有告诉我们如何设置它.具体来说,我不知道哨兵将使用的用户名和密码是什么.

当我运行sentry容器时,我也收到以下错误:

sudo docker run --name some-sentry --link some-mysql:mysql -d sentry
e888fcf2976a9ce90f80b28bb4c822c07f7e0235e3980e2a33ea7ddeb0ff18ce

sudo docker logs some-sentry
Traceback (most recent call last):
  File "/usr/local/bin/sentry", line 9, in <module>
    load_entry_point('sentry==6.4.4', 'console_scripts', 'sentry')()
  File "/usr/local/lib/python2.7/site-packages/sentry/utils/runner.py", line 310, in main
    initializer=initialize_app,
  File "/usr/local/lib/python2.7/site-packages/logan/runner.py", line 167, in run_app
    configure_app(config_path=config_path, **kwargs)
  File "/usr/local/lib/python2.7/site-packages/logan/runner.py", line 89, in configure_app
    raise ValueError("Configuration file does not exist at %r" % (config_path,))
ValueError: Configuration file does not exist at '/.sentry/sentry.conf.py'

现在我们使用 gRPC 在 Python 和 C++ 中实现服务。我们想对它们进行基准测试并获得它们之间的性能。

目前我们正在编写具有多线程和多进程的 Python 客户端。但是我们无法读取 CPU、内存、网络流量或磁盘 IO 的瓶颈。我不确定它是否与 Python 相关GIL。

在不重新编写工具的情况下进行基准测试的正确方法是什么？要获得 99% 或 99.9% 的延迟，我们还有很多工作要做。社区是否有任何工具或项目，您的经验是什么？

我们尝试过使用tf.nn.embedding_lookup它并且有效.但它需要密集的输入数据,现在我们需要tf.nn.embedding_lookup_sparse稀疏输入.

我写了以下代码,但得到了一些错误.

import tensorflow as tf
import numpy as np

example1 = tf.SparseTensor(indices=[[4], [7]], values=[1, 1], shape=[10])
example2 = tf.SparseTensor(indices=[[3], [6], [9]], values=[1, 1, 1], shape=[10])

vocabulary_size = 10
embedding_size = 1
var = np.array([0.0, 1.0, 4.0, 9.0, 16.0, 25.0, 36.0, 49.0, 64.0, 81.0])
#embeddings = tf.Variable(tf.ones([vocabulary_size, embedding_size]))
embeddings = tf.Variable(var)

embed = tf.nn.embedding_lookup_sparse(embeddings, example2, None)

with tf.Session() as sess:
    sess.run(tf.initialize_all_variables())

    print(sess.run(embed))

错误日志如下所示.

现在我不知道如何正确修复和使用此方法.任何评论都可以表示赞赏.

潜入后safe_embedding_lookup_sparse的单元测试,我更困惑,为什么我如果给稀疏的权重,尤其是为什么我们得到的东西像得到这个结果embedding_weights[0][3],其中3在代码中没有出现以上.

现在我们用来Kubernetes实现 PaaS 服务，用户可以通过 ssh 进入容器。由于容器运行在 Kubernetes 网络内部，因此用户可以访问kube-apiserver.

我们想要限制用户 pod 的出站。Kubernetes Network Policy现在似乎仅适用于入站流量。

可以这样做吗？iptables我们应该在计算节点中设置规则吗？

以下表达式的含义是什么？

${VERSION:2:1} =~ [U-Z]