小编And*_*son的帖子

Airflow - 禁用心跳日志

对于每次心跳,我的日志都充满了无用的消息。

[2019-11-27 21:32:47,890] {{logging_mixin.py:112}} INFO - [2019-11-27 21:32:47,889] {local_task_job.py:124} WARNING - Time since last heartbeat(0.02 s) < heartrate(5.0 s), sleeping for 4.983326 s
[2019-11-27 21:32:52,921] {{logging_mixin.py:112}} INFO - [2019-11-27 21:32:52,921] {local_task_job.py:124} WARNING - Time since last heartbeat(0.02 s) < heartrate(5.0 s), sleeping for 4.984673 s
[2019-11-27 21:32:57,949] {{logging_mixin.py:112}} INFO - [2019-11-27 21:32:57,949] {local_task_job.py:124} WARNING - Time since last heartbeat(0.01 s) < heartrate(5.0 s), sleeping for 4.985953 s
[2019-11-27 21:33:02,980] {{logging_mixin.py:112}} INFO - [2019-11-27 21:33:02,980] {local_task_job.py:124} WARNING - Time since last …
Run Code Online (Sandbox Code Playgroud)

python airflow

8
推荐指数
1
解决办法
1702
查看次数

"CROSS APPLY"和"OUTER APPLY"的行为不一致

我在甲骨文-12C相似,具有典型的论坛的模式accounts,posts,comments.我正在编写一个查询来获取...

  1. 一个用户
  2. 所有用户的帖子
  3. 对这些职位的评论
  4. 和每个评论的作者.

查询如下所示:

select "accounts".*, "p".*, "c".*, "author".*
from "accounts"
cross apply (
    select * from "posts"
    where "posts"."author_id" = "accounts"."id"
) "p"
cross apply (
    select * from "comments"
    where "comments"."post_id" = "p"."id"
) "c"
left join "accounts" "author" on "author"."id" = "c"."author_id"
where "accounts"."id" = 1
Run Code Online (Sandbox Code Playgroud)

此查询按预期工作.我正在使用CROSS APPLY而不是典型的JOIN,因为我将在稍后添加OFFSETFETCH分页.但是,问题是CROSS APPLY省略了没有评论的帖子,这是我不想要的.我想在结果中保留帖子,即使他们没有评论.

所以我尝试CROSS APPLY改为OUTER APPLY.

select "accounts".*, …
Run Code Online (Sandbox Code Playgroud)

sql oracle join oracle12c

7
推荐指数
2
解决办法
534
查看次数

获取 Chrome 以打开 Google Cloud Storage 链接

我希望能够在 Chrome 中打开一个选项卡并输入类似的内容gs://bucket-name/path/to/file并让它在 GCP Web Console 中打开相应的页面https://console.cloud.google.com/storage/browser/bucket-name/path/to/file。我看到Chrome 中有外部协议处理程序,但我不想打开外部应用程序。我只是想让它根据 URI 打开另一个页面。我也不想为了这个简单的目的搭建我自己的任何服务器。也许一个 Chrome 扩展可以在我将它输入到地址栏中后在 URI 上做一些简单的 JS?

google-chrome url-scheme google-chrome-extension

6
推荐指数
1
解决办法
423
查看次数

在观星者中显示赤池标准

我创建了两个线性模型lm,希望与stargazer包装中的表格进行比较。在大多数情况下,我喜欢得到的结果。但是Akaike信息准则并未显示。该文档说我可以传递"aic"keep.stat参数包括它。但这不在那里。没有错误讯息。

stargazer(model1, model2, type="text", report="vc", header=FALSE,
          title="Linear Models Predicting Forest Land",
          keep.stat=c("aic", "rsq", "n"), omit.table.layout="n")

Linear Models Predicting Forest Land
==========================================
                      Dependent variable: 
                      --------------------
                             forest       
                         (1)        (2)   
------------------------------------------
log.MS.MIL.XPND.GD.ZS  -11.948    -12.557 

log.TX.VAL.AGRI.ZS.UN   2.310      2.299  

log.NY.GDP.MKTP.CD                 0.505  

Constant                40.857    28.365  

------------------------------------------
Observations             183        183   
R2                      0.142      0.146  
==========================================
Run Code Online (Sandbox Code Playgroud)

我看不出它为什么不能包含它的任何原因。AIC在这些模型上调用全局函数可以正常工作。

> AIC(model1)
[1] 1586.17
> AIC(model2)
[1] 1587.208
Run Code Online (Sandbox Code Playgroud)

r linear-regression stargazer

5
推荐指数
1
解决办法
1348
查看次数

Tensorflow - 解释 tf.estimator.ProfilerHook“_Send”操作

我有一个在 Google AI 平台上训练的深度 CNN/RNN。我使用tf.distribute.MirroredStrategy. 我最近将运行时版本从 1.13 升级到 1.15,我的训练速度比以前慢了 2 倍多。我读到tf.estimator.ProfilerHook可以用来识别性能瓶颈。因此,我收集了分析信息并将其呈现在chrome://tracing. 我懂了

分析截图

训练步骤在这些操作上花费整整 1 秒_Send。这是什么?我找不到有关该操作的任何文档,也找不到它为什么出现在我的图表中。这是什么意思?

tensorflow google-cloud-ml gcp-ai-platform-training

5
推荐指数
0
解决办法
141
查看次数

无法在MacOS上的`/ dev/fd`上调用`ioutil.ReadDir`

我试着运行以下Go代码:

package main

import (
    "fmt"
    "io/ioutil"
)

func main() {
    items, err := ioutil.ReadDir("/dev/fd")
    if err != nil {
        panic(err)
    }
    fmt.Println(items)
}
Run Code Online (Sandbox Code Playgroud)

我刚收到这个错误:

panic: lstat /dev/fd/4: bad file descriptor

goroutine 1 [running]:
main.main()
    /Users/andy/Desktop/demo.go:11 +0xe8
exit status 2
Run Code Online (Sandbox Code Playgroud)

/dev/fd文件夹的绝对存在,并且有一个/dev/fd/4里面就有我ls了.

$ ls -Al /dev/fd
total 9
crw--w----  1 andy  tty     16,   4 Jan 25 00:16 0
crw--w----  1 andy  tty     16,   4 Jan 25 00:16 1
crw--w----  1 andy  tty     16,   4 Jan …
Run Code Online (Sandbox Code Playgroud)

macos go

4
推荐指数
1
解决办法
396
查看次数

GCP - 无法验证自己的身份以调用 Google Cloud 功能

我有一个名为 的云函数rad_format_text_v0。我 (andy@onehot.io) 有权调用它,如下所示:

$ gcloud beta functions get-iam-policy rad_format_text_v0
bindings:
- members:
  - allAuthenticatedUsers
  - user:andy@onehot.io
  role: roles/cloudfunctions.invoker
etag: BwWOSfjYxp0=
version: 1
Run Code Online (Sandbox Code Playgroud)

gcloud functions call我可以使用...调用它

$ gcloud auth list
           Credentialed Accounts
ACTIVE             ACCOUNT
*                  andy@onehot.io

$ gcloud functions call rad_format_text_v0 --data "$(< test.json)"
executionId: 2wm7nrgc0vjo
result: |
  ["REDACTED successful result"]
Run Code Online (Sandbox Code Playgroud)

但是,当我尝试另一个 HTTP 客户端(例如)时curl,即使我传递了身份验证令牌,它也会失败...

$ curl -i -X POST "https://us-central1-onehot-autocoder.cloudfunctions.net/rad_format_text_v0" -H "Content-Type:application/json" -H "Authorization: bearer $(gcloud auth application-default print-access-token)" --data @test.json
HTTP/1.1 401 Unauthorized
WWW-Authenticate: …
Run Code Online (Sandbox Code Playgroud)

google-cloud-platform google-cloud-functions google-iam

4
推荐指数
1
解决办法
4196
查看次数

Kubernetes 作业失败,没有日志,没有终止原因,没有事件

我在一夜之间在 Kubernetes 中运行了一项工作。当我早上检查它时,它失败了。通常,我会检查 pod 日志或事件以确定原因。但是,该 pod 已被删除,并且没有任何事件。

kubectl describe job topics-etl --namespace dnc
Run Code Online (Sandbox Code Playgroud)

这是describe输出:

Name:           topics-etl
Namespace:      dnc
Selector:       controller-uid=391cb7e5-b5a0-11e9-a905-0697dd320292
Labels:         controller-uid=391cb7e5-b5a0-11e9-a905-0697dd320292
                job-name=topics-etl
Annotations:    kubectl.kubernetes.io/last-applied-configuration:
                  {"apiVersion":"batch/v1","kind":"Job","metadata":{"annotations":{},"name":"topics-etl","namespace":"dnc"},"spec":{"template":{"spec":{"con...
Parallelism:    1
Completions:    1
Start Time:     Fri, 02 Aug 2019 22:38:56 -0500
Pods Statuses:  0 Running / 0 Succeeded / 1 Failed
Pod Template:
  Labels:  controller-uid=391cb7e5-b5a0-11e9-a905-0697dd320292
           job-name=topics-etl
  Containers:
   docsund-etl:
    Image:      acarl005/docsund-topics-api:0.1.4
    Port:       <none>
    Host Port:  <none>
    Command:
      ./create-topic-data
    Requests:
      cpu:     1
      memory:  1Gi
    Environment:
      AWS_ACCESS_KEY_ID:      <set to the key 'access_key_id' in secret …
Run Code Online (Sandbox Code Playgroud)

kubernetes

3
推荐指数
1
解决办法
1662
查看次数

即使带有 CORS 标头,HTML Canvas 也会受到污染

我正在尝试获取图像的数据 URL。该图像来自跨源远程服务器,维基百科。我使用这个 JavaScript 来尝试这样做:

# get the image
const img = document.createElement('img')
img.src = 'https://upload.wikimedia.org/wikipedia/commons/thumb/2/26/Strychnine.svg/360px-Strychnine.svg.png'
# don't send credentials with this request
img.crossOrigin = 'anonymous'
# now copy to a <canvas /> to get data URL
const canvas = document.createElement('canvas')
canvas.width = img.width
canvas.height = img.height
const ctx  = canvas.getContext('2d')
ctx.drawImage(img, 0, 0)
canvas.toDataURL('image/jpg')
Run Code Online (Sandbox Code Playgroud)

但我收到此错误:Uncaught DOMException: Failed to execute 'toDataURL' on 'HTMLCanvasElement': Tainted canvases may not be exported.

我读到这是一个 CORS 问题。如果服务器没有设置Access-Control-Allow-Origin标题,浏览器会阻止您从图像中获取图像数据。但奇怪的是。我检查了响应和头设置。所以我不明白为什么这不起作用。这是我从终端发出请求时的输出(标头与 Chrome …

javascript canvas image cors

1
推荐指数
1
解决办法
1359
查看次数

为什么std :: borrow :: Cow在使用正则表达式映射字符串时显然需要?

我正在结构中实现代码解析器Parser.我正在公开一个pub方法lines来迭代删除注释的代码行.我想回来一个Box<Iterator>

extern crate regex; // 1.0.5

use regex::Regex;

pub struct Parser {
    code: String,
}

static comment: Regex = Regex::new(r"//.*$").unwrap();

impl Parser {
    pub fn new(code: String) -> Parser {
        Parser { code }
    }

    pub fn lines(&self) -> Box<Iterator<Item = &str>> {
        let lines = self
            .code
            .split("\n")
            .map(|line| comment.replace_all(line, ""));
        Box::new(lines)
    }
}
Run Code Online (Sandbox Code Playgroud)

但是,编译器给出了以下错误:

error[E0271]: type mismatch resolving `<[closure@src/lib.rs:20:18: 20:54] as std::ops::FnOnce<(&str,)>>::Output == &str`
  --> src/lib.rs:21:9
   |
21 |         Box::new(lines)
   |         ^^^^^^^^^^^^^^^ …
Run Code Online (Sandbox Code Playgroud)

rust

0
推荐指数
1
解决办法
287
查看次数