小编sha*_*nuo的帖子

所有bq工作的摘要

有没有办法在给定的时间范围内使用bq命令行工具列出所有作业ID?我需要做的是遍历所有Id并查找是否有任何错误.

我使用Web界面来了解作业ID,然后使用命令:

bq show -j --format=prettyjson job_id
Run Code Online (Sandbox Code Playgroud)

稍后我会手动复制粘贴输出的"错误"部分.这需要花费大量时间来报告给定日期的工作摘要.

google-bigquery

4
推荐指数
1
解决办法
3088
查看次数

更改 docker run 命令中的 ulimit 值

我尝试安装这个图像...

# docker run -d -p 5601:5601 -p 5000:5000  -p 9200:9200 --ulimit 65536  kenwdelong/elk-docker:latest
Run Code Online (Sandbox Code Playgroud)

并得到这个错误:

invalid argument "65536" for --ulimit: invalid ulimit argument: 65536
See 'docker run --help'.
Run Code Online (Sandbox Code Playgroud)

如果删除 ulimit 选项,则会在容器日志中收到以下错误。

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
Run Code Online (Sandbox Code Playgroud)

根据谷歌,docker-compose.yml 文件可以有像这样的 ulimit 子句......

version: '2'
services:
  elastic:
      image: elasticsearch
      environment:
          - ES_JAVA_OPTS=-Xmx2g -Xms2g
      ulimits:
          nofile:
              soft: 65536
              hard: 65536
Run Code Online (Sandbox Code Playgroud)

我不想使用 docker-compose,但需要在运行命令中使用该功能。

docker docker-compose

4
推荐指数
1
解决办法
5518
查看次数

张量对象没有属性keras_shape

在使用以下方法构建模型时:

model = Model(inputs=[input_text], outputs=pred)
Run Code Online (Sandbox Code Playgroud)

出现错误:

AttributeError:“ Tensor”对象没有属性“ _keras_shape”

我尝试过的完整笔记本可以在这里找到... https://github.com/shantanuo/pandas_examples/blob/master/tensorflow/tf_learn.ipynb

和相同的纯文本代码在这里... https://gist.github.com/shantanuo/4e35baba144ee658e4dd4d1f87e19f3a

我想知道为什么即使我使用此博客中显示的完全相同的代码,也会出现错误:

https://towardsdatascience.com/transfer-learning-using-elmo-embedding-c4a7e415103c

预期的输出-像这样:

模型摘要为:_________________________________________________________________图层(类型)输出形状参数#
=================================== ================================= input_2(InputLayer)(无,1)0
_________________________________________________________________ lambda_2(Lambda)(无,1024)0
_________________________________________________________________ density_3(Dense)(无,256)262400
_________________________________________________________________ density_4(Dense)(None,1)257

我试图升级tensorflow和keras,但收到相同的错误:

!pip install --upgrade tensorflow
Run Code Online (Sandbox Code Playgroud)

keras tensorflow

4
推荐指数
2
解决办法
2842
查看次数

OpenAI GPT-3 API:为什么我只能部分完成?为何完成被切断?

我尝试了以下代码,但只得到了部分结果,例如

[{"light_id": 0, "color
Run Code Online (Sandbox Code Playgroud)

我期待本页建议的完整 JSON:

https://medium.com/@richardhayes777/using-chatgpt-to-control-hue-lights-37729959d94f

import json
import os
import time
from json import JSONDecodeError
from typing import List

import openai
openai.api_key =  "xxx"

HEADER = """
I have a hue scale from 0 to 65535. 
red is 0.0
orange is 7281
yellow is 14563
purple is 50971
pink is 54612
green is 23665
blue is 43690

Saturation is from 0 to 254
Brightness is from 0 to 254

Two JSONs should be returned in a list. Each …
Run Code Online (Sandbox Code Playgroud)

python openai-api gpt-3

4
推荐指数
1
解决办法
4362
查看次数

以awk计算

#!/bin/sh
find ${*-.} -type f -print | xargs file | 
awk '{
$1=NULL;
t[$0]++;
}
end {
for (i in t) printf("%d\t%s\n", t[i], i);
}' | sort -nr
Run Code Online (Sandbox Code Playgroud)

第一个"查找"行有效.但awk部分不起作用.我希望文件类型的数量按降序排序.

awk

3
推荐指数
1
解决办法
708
查看次数

substring返回分隔符后的所有值

如何在第一个分隔符后获取所有值?在下面的例子中,我期待'xyz @ yahoo.com,pqr @ company.com'

(02:40) mysql>select substring_index('abc@hotmail.com,xyz@yahoo.com,pqr@company.com', ',',  1) as first;
+-----------------+
| first           |
+-----------------+
| abc@hotmail.com |
+-----------------+
1 row in set (0.00 sec)

(02:41) mysql>select substring_index('abc@hotmail.com,xyz@yahoo.com,pqr@company.com', ',',  -1) as last;
+-----------------+
| last            |
+-----------------+
| pqr@company.com |
+-----------------+
1 row in set (0.00 sec)
Run Code Online (Sandbox Code Playgroud)

mysql

3
推荐指数
1
解决办法
3019
查看次数

在CURL中扩展变量

以下curl语句在我的shell脚本中正常工作.

curl -Ld'username=user&password=password&source=oksoft&dmobile='$mnumber'&message=Slave is working OK' http://167.123.129.195/smsclient//api.php
Run Code Online (Sandbox Code Playgroud)

手机号码按预期扩展.但是当我使用变量作为message参数时,我得到$ myvar输出而不是扩展变量.

curl -Ld'username=user&password=password&source=oksoft&dmobile='$mnumber'&message="$myvar"' http://167.123.129.195/smsclient//api.php
Run Code Online (Sandbox Code Playgroud)

如何将该变量用于消息?

shell curl

3
推荐指数
1
解决办法
7382
查看次数

将数据传输到redis

当我将回显管道传递给redis客户端时,我收到错误.

[root@server ~]$ echo "abc43345" | redis-cli set my_passwd2
(error) ERR wrong number of arguments for 'set' command
Run Code Online (Sandbox Code Playgroud)

但是以下工作正如预期的那样.

[root@server ~]$ redis-cli set my_passwd2 `echo "abc43345"`
OK
Run Code Online (Sandbox Code Playgroud)

有没有办法让第一个例子有效?

pipe redis

3
推荐指数
1
解决办法
2599
查看次数

托管BigQuery实例

有什么办法可以在公司服务器上托管大查询软件吗?该公司不希望数据在除自己的数据中心之外的任何其他地方.

什么是BigQuery替代品?(云以及托管)

hadoop bigdata google-bigquery

3
推荐指数
1
解决办法
1281
查看次数

redis加载和可伸缩性问题

我能够在大约15分钟内插入1000万个值.我很高兴速度.我有两个问题:

1)如果我有30倍的数据,我会有任何问题吗?(约3亿)如果需要,我可以选择增加RAM.

2)我已经使用默认的redis安装来进行此测试.是否建议配置更改?以下是日志输出......

[3112] 20 Oct 09:53:50.074 * 10000 changes in 60 seconds. Saving...
[3112] 20 Oct 09:53:50.101 * Background saving started by pid 3389
[3389] 20 Oct 09:53:51.258 * DB saved on disk
[3389] 20 Oct 09:53:51.260 * RDB: 1 MB of memory used by copy-on-write
[3112] 20 Oct 09:53:51.301 * Background saving terminated with success
[3112] 20 Oct 09:54:52.101 * 10000 changes in 60 seconds. Saving...
[3112] 20 Oct 09:54:52.127 * Background saving started by pid 3394
[3394] …
Run Code Online (Sandbox Code Playgroud)

redis

3
推荐指数
1
解决办法
6725
查看次数