小编Mar*_*kNS的帖子

Pandas数据帧值相等测试

另一个熊猫问题!

我正在编写一些单元测试来测试两个数据帧的相等性,但是,测试似乎没有看到数据帧的值,只有结构:

dates = pd.date_range('20130101', periods=6)

df1 = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
df2 = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))

print df1
print df2
self.assertItemsEqual(df1, df2)

Run Code Online (Sandbox Code Playgroud)

- >真

在声明相等之前,我是否需要将数据帧转换为另一个数据结构？

python pandas

Mar*_*kNS

2019 03-09

27
推荐指数

2
解决办法

1万
查看次数

Appengine java - Jersey/Jackson JaxbAnnotationIntrospector NoClassDefFoundError

我正在重新询问现在只读谷歌组App Engine for Java的一个未回答的问题,因为我有完全相同的问题.(原创)

我使用jersey,jaxb和jackson组建了一个简单的json REST服务.它的工作原理几乎正常,但是在第一次到服务器的请求总是异常结束:java.lang.NoClassDefFoundError:组织/ Codehaus的/杰克逊/ XC/JaxbAnnotationIntrospector

由于某种原因,gae/jersey无法在初始请求中找到此课程.但是,在此工作之后的所有后续请求都很好,然后该类似乎已被加载.

有关其他信息:

我将json发送到服务器 - 在chrome的检查员中我可以看到:

Content-Type:application/json;charset=UTF-8
Request Payload {"stuff":["a","b"],"number":"10"}

Run Code Online (Sandbox Code Playgroud)

Lua弱参考

我知道Lua中的弱表功能,但我希望对单个变量有一个弱引用.

我已经看到这个提议建议API如下:

-- creation
ref = weakref(obj)
-- dereference
obj = ref()

Run Code Online (Sandbox Code Playgroud)

这看起来很理想.然而,这似乎并未出现在其他地方的文件中; 只有弱表.

是否有类似于Python 对对象功能的弱引用？

lua lua-table

Mar*_*kNS

2015 03-18

9
推荐指数

2
解决办法

939
查看次数

多行字符串到 helm 模板中的变量？

是否可以将多行字符串分配给 helm 模板中的变量？

我有一个变量如下：

{{- $fullDescription := "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" -}}

Run Code Online (Sandbox Code Playgroud)

但我更愿意将它保留在我的代码库中

{{- $fullDescription :|- "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
                          xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
                          xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" -}}

Run Code Online (Sandbox Code Playgroud)

.. 但这不是有效的 yaml。

这能做到吗？

yaml kubernetes-helm

Mar*_*kNS

2019 03-19

8
推荐指数

2
解决办法

1万
查看次数

具有非根路径的 gRPC 端点

也许（希望如此）我错过了一些非常简单的东西，但我似乎无法弄清楚。

我有一组我想放在 nghttpx 代理后面的 gRPC 服务。为此，我需要能够使用非根 url 上的通道配置我的客户端。例如。

channel = grpc.insecure_channel('localhost:50051/myapp')
stub = MyAppStub(channel)

Run Code Online (Sandbox Code Playgroud)

这并没有立即通过代理工作（它只是挂起），所以我在子上下文中使用服务器进行了测试。

server = grpc.server(executor)
service_pb2.add_MyAppServicer_to_server(
    MyAppService(), server)
server.add_insecure_port('{}:{}/myapp'.format(hostname, port))
server.start()

Run Code Online (Sandbox Code Playgroud)

我得到以下

E1103 21:00:13.880474000 140735277326336 server_chttp2.c:159] 
{"created":"@1478203213.880457000","description":"OS Error",
"errno":8,"file":"src/core/lib/iomgr/resolve_address_posix.c",
"file_line":115,"os_error":"nodename nor servname provided, or not known",
"syscall":"getaddrinfo","target_address":"[::]:50051/myapp"}

Run Code Online (Sandbox Code Playgroud)

所以问题是 - 是否可以在非根 url 上创建 gRPC 通道？

grpc

Mar*_*kNS

lucky-day

7
推荐指数

1
解决办法

2960
查看次数

骨干视图+谷歌可视化API

我正在尝试将google可视化图表集成到我的backbone.js应用程序中.目前,我在ChartView类的render函数中同时具有google.load(可视化)和setOnLoadCallback(drawVisualization)调用.谷歌可视化库似乎正在加载正确,但回调永远不会执行.

下面是一个显示问题的例子,如果有人可以帮助我会非常感激!

<!doctype html>
<html>
<head>
    <title>App</title>
    <meta charset="utf-8">
</head>
<body>
<div id="content"></div>

<script src="lib/jquery-1.7.2.min.js"></script>
<script src="lib/underscore.js"></script>
<script src="lib/backbone.js"></script>
<script src="http://www.google.com/jsapi"></script>

<script>

    ChartView = Backbone.View.extend({

        render:function () {
            $(this.el).html('<p>gviz line chart:</p>' +
                    '<div id="gviz" style="width:600px; height:300px;"></div>');
            google.load('visualization', '1', {packages:'linechart'});
            google.setOnLoadCallback(this.drawVisualization);
            return this;
        },

        //This never gets called
        drawVisualization:function () {
            console.log("In draw visualization");
            var data = this.createDataTable('date');
            var chart = new google.visualization.LineChart(this.$('#gviz'));
            chart.draw(data, null, null);
        },

        createDataTable:function (dateType) {
            console.log("Creating datatable");
            var data = new google.visualization.DataTable();
            data.addColumn(dateType, 'Date');
            data.addColumn('number', 'Column …

Run Code Online (Sandbox Code Playgroud)

javascript google-visualization backbone.js

Mar*_*kNS

lucky-day

6
推荐指数

1
解决办法

3491
查看次数

在规范化大型PySpark数据帧时,CodeGen增长超过64 KB

我有一个包含1300万行和800列的PySpark数据帧.我需要对这些数据进行规范化,因此一直使用此代码,该代码适用于较小的开发数据集.

def z_score_w(col, w):
    avg_ = avg(col).over(w)
    stddev_ = stddev_pop(col).over(w)
    return (col - avg_) / stddev_

w = Window().partitionBy().rowsBetween(-sys.maxsize, sys.maxsize)    
norm_exprs = [z_score_w(signalsDF[x], w).alias(x) for x in signalsDF.columns]

normDF = signalsDF.select(norm_exprs)

Run Code Online (Sandbox Code Playgroud)

但是,在使用完整数据集时,我遇到了codegen的异常:

        at org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator$.org$apache$spark$sql$catalyst$expressions$codegen$CodeGenerator$$doCompile(CodeGenerator.scala:893
)
        at org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator$$anon$1.load(CodeGenerator.scala:950)
        at org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator$$anon$1.load(CodeGenerator.scala:947)
        at org.spark_project.guava.cache.LocalCache$LoadingValueReference.loadFuture(LocalCache.java:3599)
        at org.spark_project.guava.cache.LocalCache$Segment.loadSync(LocalCache.java:2379)
        ... 44 more
Caused by: org.codehaus.janino.JaninoRuntimeException: Code of method "(Lorg/apache/spark/sql/catalyst/expressions/GeneratedClass;[Ljava/lang/Object;)V" of class "org.apache.
spark.sql.catalyst.expressions.GeneratedClass$SpecificMutableProjection" grows beyond 64 KB
        at org.codehaus.janino.CodeContext.makeSpace(CodeContext.java:941)
        at org.codehaus.janino.CodeContext.write(CodeContext.java:836)
        at org.codehaus.janino.UnitCompiler.writeOpcode(UnitCompiler.java:10251)
        at org.codehaus.janino.UnitCompiler.pushConstant(UnitCompiler.java:8933)
        at org.codehaus.janino.UnitCompiler.compileGet2(UnitCompiler.java:4346)
        at org.codehaus.janino.UnitCompiler.access$7100(UnitCompiler.java:185)
        at org.codehaus.janino.UnitCompiler$10.visitBooleanLiteral(UnitCompiler.java:3267)

Run Code Online (Sandbox Code Playgroud)

周围有一些Spark JIRA问题看似相似,但这些问题都标记为已解决.还有这个SO问题 …

window-functions apache-spark apache-spark-sql pyspark pyspark-sql

Mar*_*kNS

2019 01-16

5
推荐指数

1
解决办法

1825
查看次数

.kube/config 中没有访问令牌

在 GKE 中升级我的集群后，仪表板将不再接受证书身份验证。

没问题，我的同事说 .kube/config 中有可用的令牌

  user:
    auth-provider:
      config:
        access-token: REDACTED
        cmd-args: config config-helper --format=json
        cmd-path: /home/user/workspace/google-cloud-sdk/bin/gcloud
        expiry: 2018-01-09T08:59:18Z
        expiry-key: '{.credential.token_expiry}'
        token-key: '{.credential.access_token}'
      name: gcp

Run Code Online (Sandbox Code Playgroud)

除了在我的情况下没有...

  user:
    auth-provider:
      config:
        cmd-args: config config-helper --format=json
        cmd-path: /home/user/Dev/google-cloud-sdk/bin/gcloud
        expiry-key: '{.credential.token_expiry}'
        token-key: '{.credential.access_token}'
      name: gcp

Run Code Online (Sandbox Code Playgroud)

我尝试使用 gcloud 重新进行身份验证、与同事比较 gcloud 设置、更新 gcloud、重新安装 gcloud、检查 Cloud Platform 中的权限。几乎所有我能想到的东西，仍然不会生成访问令牌。

有人可以帮忙吗？！

 $ gcloud container clusters get-credentials cluster-3 --zone xxx --project xxx                            
Fetching cluster endpoint and auth data.
kubeconfig entry generated for cluster-3.

$ gcloud config list                                                                                                    
[core]
account = …

Run Code Online (Sandbox Code Playgroud)

gcloud kubernetes google-kubernetes-engine kubernetes-security

Mar*_*kNS

lucky-day

5
推荐指数

1
解决办法

4138
查看次数

转换为Protobuf / C ++浮点数时，Python浮点数何时会失去精度？

我对最小化从Python序列化的protobuf消息的大小感兴趣。

Protobuf具有浮点数（4个字节）和双精度点（8个字节）。Python的float类型实际上是C的double类型，至少在CPython中如此。

我的问题是：给定一个Python实例float，是否存在一种“快速”的方法来检查将值分配给protobuf float（或实际上是C ++浮点数）是否会失去精度？

python protocol-buffers

Mar*_*kNS

lucky-day

5
推荐指数

1
解决办法

710
查看次数

MSI - 错误：无法创建 AppData 缓存文件夹

我试图理解为什么以前运行良好的 MSI 文件开始失败。

安装程序应该写入%APPDATA%（位于网络共享上），但是将安装脚本的缓存写入 Microsoft 安装程序目录时似乎失败了%APPDATA%。

日志显示错误：Folder is not accessible: \\filesrv\home\mnuttall\AppData\Roaming\Microsoft\Installer\。但是，安装期间的当前用户肯定有权在此位置创建文件和目录，例如使用。Windows资源管理器。

MSI (s) (78:B8) [14:04:53:783]: Doing action: InstallFinalize
MSI (s) (78:B8) [14:04:53:783]: Note: 1: 2205 2:  3: ActionText 
Action 14:04:53: InstallFinalize. 
Action start 14:04:53: InstallFinalize.
MSI (s) (78:B8) [14:04:53:786]: Running Script: C:\Windows\Installer\MSI80CB.tmp
MSI (s) (78:B8) [14:04:53:786]: PROPERTY CHANGE: Adding UpdateStarted property. Its value is '1'.
MSI (s) (78:B8) [14:04:53:793]: Note: 1: 2265 2:  3: -2147287035 
MSI (s) (78:B8) [14:04:53:793]: Machine policy value 'DisableRollback' is …

Run Code Online (Sandbox Code Playgroud)

windows-installer

Mar*_*kNS

lucky-day

5
推荐指数

1
解决办法

1342
查看次数