小编For*_*ick的帖子

Cloud Dataflow:读取整个文本文件,而不是逐行

我正在寻找一种读取整个文件的方法,以便将每个文件完全读取为单个字符串。我想在gs://my_bucket/*/*.json上传递JSON文本文件模式,使用ParDo,然后完全处理每个文件。

最好的方法是什么?

java google-cloud-dataflow

6
推荐指数
1
解决办法
993
查看次数

npm 404 未找到,众所周知的包

尝试使用 npm 安装 7zip-bin 包,出现此错误:

npm ERR! code E404
npm ERR! 404 Not Found: 7zip-bin@5.0.3

npm ERR! A complete log of this run can be found in:
npm ERR!     /Users/user/.npm/_logs/2020-02-11T22_06_51_357Z-debug.log
Run Code Online (Sandbox Code Playgroud)

在日志文件中,我看到以下输出:

0 info it worked if it ends with ok
1 verbose cli [ '/usr/local/bin/node',
1 verbose cli   '/usr/local/bin/npm',
1 verbose cli   'install',
1 verbose cli   '-g',
1 verbose cli   '7zip-bin@5.0.3' ]
2 info using npm@6.4.1
3 info using node@v8.15.0
4 verbose npm-session 57413e14b663097a
5 silly install loadCurrentTree
6 silly …
Run Code Online (Sandbox Code Playgroud)

npm npm-install

6
推荐指数
1
解决办法
2959
查看次数

Bigtable / HBase:富列系列与单个JSON对象

我想在Google Cloud Bigtable(几个PetaBytes)上存储大量数据以用于服务目的。我计划使用主键来访问数据,有时通过键前缀查询来访问。

没有计划进行数据更新。仅追加到现有表。

我的问题是:由于我不使用任何列来对查询进行过滤/查询/排序(无论如何在Bigtable中是不可能的),将数据存储在单独的列中而不是每行存储一个JSON文档是否有好处?

谢谢!

json hbase bigdata nosql google-cloud-bigtable

5
推荐指数
1
解决办法
1165
查看次数

分析 JVM:已提交内存、已使用内存和空闲内存

我正在使用 JProfiler 分析部署到 Jetty 服务器的 Java 应用程序。

过了一会儿,我得到了这个内存遥测: 在此处输入图片说明

右侧是此 Java 进程在 Windows 任务管理器上的总内存。

  1. 我看到 JProfiler 中承诺内存的周期性增加,尽管大多数时候,大部分内存是空闲的(绿色)。为什么提交的内存会这样增加?
  2. 在拍摄上图的时间点,JProfiler 中的 Committed Memory 显示为 3.17GB,但 Windows 任务管理器显示更高 - 4.2457 GB。这不是他们俩显示的相同记忆吗?这种差异的原因可能是什么?

java profiling jvm memory-leaks jprofiler

5
推荐指数
1
解决办法
2619
查看次数

BigQuery SQL 查询中的动态列名称

我有一个 BigQuery 表,其中每一行都是一个国家/地区的用户的访问。架构是这样的:

UserID   |   Place   |   StartDate   |   EndDate   | etc ...
---------------------------------------------------------------
134      |  Paris    |   234687432   |   23648949  | etc ...
153      |  Bangkok  |   289374897   |   2348709   | etc ...
134      |  Paris    |   9287324892  |   3435438   | etc ...
Run Code Online (Sandbox Code Playgroud)

“地点”列的值最多可以有数十个选项,但我事先并不知道它们。

我想查询该表,以便在结果表中将列命名为“地点”列的所有可能性,并且值是每个用户在该地点的访问总数。最终结果应该是这样的:

UserID | Paris | Bangkok | Rome | London | Rivendell | Alderaan 
----------------------------------------------------------------
134    |  2    |  0      |  0   |  0     |  0        |  0 
153    |  0    |  1      |  0 …
Run Code Online (Sandbox Code Playgroud)

sql google-bigquery

4
推荐指数
1
解决办法
7764
查看次数

从重写的Java类方法中抛出异常

我想扩展Java的HashMap<K, V>类.我重写该put(...)方法,我想在某些情况下抛出异常.

由于基类的put方法不会抛出异常,因此出现编译错误.

什么是最好的解决方案?

谢谢!

java oop polymorphism overriding exception

3
推荐指数
1
解决办法
267
查看次数

真实模拟地板上的球体旋转

我正在尝试模拟一个在地板上滚动的球体。对于模拟,我使用的是 Flash AS3 的旧版 Papervision3D 库,但这实际上并不重要,这是一个纯粹的几何问题。

假设我有一个 Sphere3D 对象,我可以为其设置rotationX、rotationY 和rotationZ 属性,如何计算该球体在地板上滚动的每个轴的旋转?

例如,我们假设球体处于静止状态。现在它向右滚动 1 米。如果我从顶部看这个球体 - 我想将它绕 Z 轴旋转 90 度。然后球体应该沿着地板“向下”滚动,所以我想围绕 X 轴旋转它,但这个问题是,与此同时,当我沿着 Z 轴旋转球体时,X 轴会自行旋转。

我该如何解决这个问题?

谢谢

3d geometry physics

1
推荐指数
1
解决办法
1085
查看次数

Golang yaml.v2 将数组编组为序列

鉴于以下 YAML:

array.test: ["val1", "val2", "val3"]
Run Code Online (Sandbox Code Playgroud)

我使用 gopkg.in/yaml.v2 将其解组为map[string]interface{}. 然后我得到一个键,其值是一个包含 3 个值的数组。

然后,当我再次将其编组到 YAML 时,生成的 YAML 如下所示:

array.test:
- val1
- val2
- val3
Run Code Online (Sandbox Code Playgroud)

该数组实际上被编组为序列而不是数组。

这是完整的 GoLang 代码:

func main(){
    data := `array.test: ["val1", "val2", "val3"]`
    conf := make(map[string]interface{})
    yaml.Unmarshal([]byte(data), conf)

    data2, _ := yaml.Marshal(conf)
    fmt.Printf("%s\n", string(data2))
}
Run Code Online (Sandbox Code Playgroud)

我怎样才能克服这个问题?

yaml marshalling go unmarshalling

0
推荐指数
1
解决办法
2万
查看次数

异步http请求处理

我试图以这种方式异步处理Go中的HTTP请求:

  1. 我将处理函数传递给HTTP服务器
  2. 在处理程序中,我将HttpRequest/HttpResponse对象存储在切片或地图中
  3. 从处理程序函数返回时 - 响应不会返回给客户端,但连接仍保持打开状态
  4. 当从另一个源接收"some"异步输入时,我从内存中获取相关的HttpRequest/HttpResponse对象,写入响应并关闭连接.

我的目标与Java中的Jetty-Continuation非常相似.

如何在GoLang中实现这样的行为?

asynchronous http go

-3
推荐指数
1
解决办法
448
查看次数