小编Osc*_*ley的帖子

在 Airflow 中,如何使用上下文将参数传递给 on_success_callback 函数处理程序?

在 Airflow 中,如何使用上下文将参数传递给 on_success_callback 函数处理程序?

这是我的测试代码:

import airflow
from airflow import DAG
from airflow.operators import MSTeamsWebhookOperator
from airflow.operators.bash_operator import BashOperator
from airflow.operators.dummy_operator import DummyOperator
from datetime import datetime
from transaction_analytics import helpers
from airflow.utils.helpers import chain

# Parameters & variables
schedule_interval        = "0 20 * * *"

def _task_success_callback(context):
    dagid         = context["task_instance"].dag_id
    duration      = context["task_instance"].duration
    executiondate = context["execution_date"]
    logurl        = context["task_instance"].log_url.replace("localhost", "agbqhsbldd017v.agb.rbxd.ds")# workaround until we config airflow
    pp1           = context["params"].param1 
    #pp1          = "{{ params.param1 }}"
    ms_teams_op = MSTeamsWebhookOperator(
        task_id="success_notification",
        http_conn_id="msteams_airflow", …
Run Code Online (Sandbox Code Playgroud)

python airflow

2
推荐指数
1
解决办法
2万
查看次数

C#比较相似的字符串

我有一些带有一些文件名(LIST1)的泛型和另一个带有完整名称列表的大型通用(LIST2).我需要将LIST1中的名称与LIST2中的类似名称相匹配.例如

LIST1
- **MAIZE_SLIP_QUANTITY_3_9.1.aif**

LIST 2
1- TUTORIAL_FAILURE_CLINCH_4.1.aif
2- **MAIZE_SLIP_QUANTITY_3_5.1.aif**
3- **MAIZE_SLIP_QUANTITY_3_9.2.aif**
4- TUTORIAL_FAILURE_CLINCH_5.1.aif
5- TUTORIAL_FAILURE_CLINCH_6.1.aif
6- TUTORIAL_FAILURE_CLINCH_7.1.aif
7- TUTORIAL_FAILURE_CLINCH_8.1.aif
8- TUTORIAL_FAILURE_CLINCH_9.1.aif
9- TUTORIAL_FAILURE_PUSH_4.1.aif
Run Code Online (Sandbox Code Playgroud)

我已经阅读了Levenshtein距离并在框架(SignumFramework Utilities)中使用了它的实现. 它在第2行和第3行返回距离= 1.但在我的情况下,第3行比第2行更好.

还有另一种方法可以比较相似的字符串吗?更灵活的东西?

c# string compare similarity

1
推荐指数
1
解决办法
7810
查看次数

在opengl中创建对象的正确方法?

我真的很喜欢opengl,现在我正在学习基础知识.我有一个高级别的问题.如果我想创建一个对象,请说一个列是所有选项?

  1. 从任何外部程序(如3DStudio)导入3D网格并将其加载到opengl中
  2. 使用glVertex3f创建6个多边形
  3. 电话过剩?(我见过glutSolidCube,但没有像glutSolidColumn)

我的问题是:

A)还有其他方法吗?

B)如果你不使用3DStudio网格,在opengl中创建普通对象/动画对象的正确方法是什么?

C)在2)中创建列是否正确?(如果是的话,我将尝试使用x,y,z变量对其进行参数化,以获得给定高度的给定地砖的列)

//Column
//Wall
glBegin(GL_POLYGON); 
    glVertex3f(150.0f, 250.0f,50);   // x1, y1 - top-left corner    
    glVertex3f(50.0f, 250.0f,50);   // x2, y1 - top-right corner
    glVertex3f(50.0f, 50.0f,50);        // x2, y2 - bottom-right corner
    glVertex3f(150.0f, 50.0f,50);    // x1, y2 - bottom-left corner

glEnd( );

//Wall
glBegin(GL_POLYGON); 
    glVertex3f(50.0f,  250.0f,0);   // x1, y1 - top-left corner 
    glVertex3f(150.0f, 250.0f,0);  // x2, y1 - top-right corner
    glVertex3f(150.0f, 50.0f,0);   // x2, y2 - bottom-right corner
    glVertex3f(50.0f,  50.0f,0);    // x1, y2 - …
Run Code Online (Sandbox Code Playgroud)

opengl glut vertex

1
推荐指数
1
解决办法
4973
查看次数

使用“scp”传输后数据失真

最近我从一台服务器传输一组数据到hpcc(高性能计算)命令是这样的:

scp /folder1/*.fastq.gz xxx@hpcc:/home/
scp /folder2/*.fastq.gz xxx@hpcc:/home/
scp /folder3/*.fastq.gz xxx@hpcc:/home/
Run Code Online (Sandbox Code Playgroud)

我打开多个终端同时传输数据。我总共有大约 50 个这样的 fastq.gz 文件,每个文件大约 10GB。我只是想知道数据(特别是这么大的数据)在以上述方式传输时是否有可能被扭曲?

因为服务器上的数据是完好的;而一些数据被复制到hpcc后被扭曲了。

谢谢谢谢

scp corruption hpcc

1
推荐指数
1
解决办法
5932
查看次数

在不使用适用于 .NET 的 AWS 开发工具包的情况下从 Powershell 将文件上传到 S3 的替代方法?

我需要从 PowerShell 脚本上传文件(总共 100GB,有几个 10GB 的文件)到 S3:http : //docs.aws.amazon.com/powershell/latest/reference/Index.html(亚马逊简单存储服务)

我已经使用了适用于 .NET 的 AWS 开发工具包,并且非常适合少量文件。我只是在之前的代码中创建了存储桶并尝试使用 Write-S3Object 上传所有文件

Write-S3Object -Region $S3_Region -AccessKey $S3_AccessKey -SecretKey $S3_SecretKey -ServerSideEncryption "AES256" -Folder $sourceFolder -BucketName $S3_Bucket -Recurse -KeyPrefix "/" 
Run Code Online (Sandbox Code Playgroud)

但是我在稳定性方面有几个问题。它经常因两种类型的错误而失败。(有4683个文件要上传)

  • 突然没有错误,它只是上传了部分文件

将 2664 个对象从 'R:\temp\files' 上传到存储桶 'bucket.test' ,键前缀为 '/'

  • 它失败但有异常:

将 35 个对象从 'R:\temp\files' 上传到存储桶 'bucket.test',键前缀为 '/' System.InvalidOperationException:指定的上传不存在。上传 ID 可能无效,或者上传可能已中止或完成。---> Amazon.S3.AmazonS3Exception:指定的上传不存在。上传 ID 可能无效,或者上传可能已中止或完成。---> Amazon.Runtime.Internal.HttpErrorResponseException:远程服务器返回错误:(404) 未找到。---> System.Net.WebException:远程服务器返回错误:(404) 未找到。

所以我的问题是:

  • 难道我做错了什么?
  • 有什么解决方法或修复我的问题吗?
  • 在不使用适用于 .NET 的 AWS 开发工具包的情况下,还有其他上传方式吗?

powershell file-upload amazon-s3 amazon-web-services

1
推荐指数
1
解决办法
5721
查看次数

使用 -OutFile 参数时如何获取 Invoke-WebRequest/Invoke-RestMethod 上的 HTTP 状态?

我有一个安静的 API 的请求(注意,它同时发生在Invoke-WebRequestInvoke-RestMethod):

$resp1 = Invoke-WebRequest -OutFile $clusterConfigZipFile -Uri $apiFolder -Body $fileContent -Method 'POST' -Credential $adminCredentials -ContentType "application/x-www-form-urlencoded" -ErrorAction SilentlyContinue -Verbose
Run Code Online (Sandbox Code Playgroud)

我知道它可以正常工作,因为:

  • 它会下载一个正确的 zip 文件。
  • 如果我使用 Fiddler,我可以看到响应标头(HTTP 200) 抓捕提琴手

我的问题是代码在$resp1. 我已经读到,当您使用-OutFile.

无论如何要捕获响应或至少响应代码PowerShell?

rest powershell powershell-3.0

1
推荐指数
1
解决办法
1333
查看次数

为什么C#中的对象比较奇怪?

当我比较输入的两个变量object并且两者都包含相同的值时,使用==运算符的比较结果产生false.

object Var1 = "X";
object Var2 = "X";

// This produces false result
bool Match = Var1 == Var2;
Run Code Online (Sandbox Code Playgroud)

为什么会这样?

编辑:上面是实际工作的代码!

我基于我的真实代码,它看起来像这样,不起作用:

ChoiceValue = Choice.GetValue(FieldTemplate.ValueDataType);
if (ChoiceValue == Field.Value) RadioButton.IsChecked = true;
Run Code Online (Sandbox Code Playgroud)

ChoiceValueobject和也是Field.Value属性类型object.

显然在不同情况下的工作方式不同.

c# comparison string-comparison

0
推荐指数
2
解决办法
241
查看次数