在 Airflow 中,如何使用上下文将参数传递给 on_success_callback 函数处理程序?
这是我的测试代码:
import airflow
from airflow import DAG
from airflow.operators import MSTeamsWebhookOperator
from airflow.operators.bash_operator import BashOperator
from airflow.operators.dummy_operator import DummyOperator
from datetime import datetime
from transaction_analytics import helpers
from airflow.utils.helpers import chain
# Parameters & variables
schedule_interval = "0 20 * * *"
def _task_success_callback(context):
dagid = context["task_instance"].dag_id
duration = context["task_instance"].duration
executiondate = context["execution_date"]
logurl = context["task_instance"].log_url.replace("localhost", "agbqhsbldd017v.agb.rbxd.ds")# workaround until we config airflow
pp1 = context["params"].param1
#pp1 = "{{ params.param1 }}"
ms_teams_op = MSTeamsWebhookOperator(
task_id="success_notification",
http_conn_id="msteams_airflow", …Run Code Online (Sandbox Code Playgroud) 我有一些带有一些文件名(LIST1)的泛型和另一个带有完整名称列表的大型通用(LIST2).我需要将LIST1中的名称与LIST2中的类似名称相匹配.例如
LIST1
- **MAIZE_SLIP_QUANTITY_3_9.1.aif**
LIST 2
1- TUTORIAL_FAILURE_CLINCH_4.1.aif
2- **MAIZE_SLIP_QUANTITY_3_5.1.aif**
3- **MAIZE_SLIP_QUANTITY_3_9.2.aif**
4- TUTORIAL_FAILURE_CLINCH_5.1.aif
5- TUTORIAL_FAILURE_CLINCH_6.1.aif
6- TUTORIAL_FAILURE_CLINCH_7.1.aif
7- TUTORIAL_FAILURE_CLINCH_8.1.aif
8- TUTORIAL_FAILURE_CLINCH_9.1.aif
9- TUTORIAL_FAILURE_PUSH_4.1.aif
Run Code Online (Sandbox Code Playgroud)
我已经阅读了Levenshtein距离并在框架(SignumFramework Utilities)中使用了它的实现. 它在第2行和第3行返回距离= 1.但在我的情况下,第3行比第2行更好.
还有另一种方法可以比较相似的字符串吗?更灵活的东西?
我真的很喜欢opengl,现在我正在学习基础知识.我有一个高级别的问题.如果我想创建一个对象,请说一个列是所有选项?
我的问题是:
A)还有其他方法吗?
B)如果你不使用3DStudio网格,在opengl中创建普通对象/动画对象的正确方法是什么?
C)在2)中创建列是否正确?(如果是的话,我将尝试使用x,y,z变量对其进行参数化,以获得给定高度的给定地砖的列)
//Column
//Wall
glBegin(GL_POLYGON);
glVertex3f(150.0f, 250.0f,50); // x1, y1 - top-left corner
glVertex3f(50.0f, 250.0f,50); // x2, y1 - top-right corner
glVertex3f(50.0f, 50.0f,50); // x2, y2 - bottom-right corner
glVertex3f(150.0f, 50.0f,50); // x1, y2 - bottom-left corner
glEnd( );
//Wall
glBegin(GL_POLYGON);
glVertex3f(50.0f, 250.0f,0); // x1, y1 - top-left corner
glVertex3f(150.0f, 250.0f,0); // x2, y1 - top-right corner
glVertex3f(150.0f, 50.0f,0); // x2, y2 - bottom-right corner
glVertex3f(50.0f, 50.0f,0); // x1, y2 - …Run Code Online (Sandbox Code Playgroud) 最近我从一台服务器传输一组数据到hpcc(高性能计算)命令是这样的:
scp /folder1/*.fastq.gz xxx@hpcc:/home/
scp /folder2/*.fastq.gz xxx@hpcc:/home/
scp /folder3/*.fastq.gz xxx@hpcc:/home/
Run Code Online (Sandbox Code Playgroud)
我打开多个终端同时传输数据。我总共有大约 50 个这样的 fastq.gz 文件,每个文件大约 10GB。我只是想知道数据(特别是这么大的数据)在以上述方式传输时是否有可能被扭曲?
因为服务器上的数据是完好的;而一些数据被复制到hpcc后被扭曲了。
谢谢谢谢
我需要从 PowerShell 脚本上传文件(总共 100GB,有几个 10GB 的文件)到 S3:http : //docs.aws.amazon.com/powershell/latest/reference/Index.html(亚马逊简单存储服务)
我已经使用了适用于 .NET 的 AWS 开发工具包,并且非常适合少量文件。我只是在之前的代码中创建了存储桶并尝试使用 Write-S3Object 上传所有文件
Write-S3Object -Region $S3_Region -AccessKey $S3_AccessKey -SecretKey $S3_SecretKey -ServerSideEncryption "AES256" -Folder $sourceFolder -BucketName $S3_Bucket -Recurse -KeyPrefix "/"
Run Code Online (Sandbox Code Playgroud)
但是我在稳定性方面有几个问题。它经常因两种类型的错误而失败。(有4683个文件要上传)
将 2664 个对象从 'R:\temp\files' 上传到存储桶 'bucket.test' ,键前缀为 '/'
将 35 个对象从 'R:\temp\files' 上传到存储桶 'bucket.test',键前缀为 '/' System.InvalidOperationException:指定的上传不存在。上传 ID 可能无效,或者上传可能已中止或完成。---> Amazon.S3.AmazonS3Exception:指定的上传不存在。上传 ID 可能无效,或者上传可能已中止或完成。---> Amazon.Runtime.Internal.HttpErrorResponseException:远程服务器返回错误:(404) 未找到。---> System.Net.WebException:远程服务器返回错误:(404) 未找到。
所以我的问题是:
我有一个安静的 API 的请求(注意,它同时发生在Invoke-WebRequest和Invoke-RestMethod):
$resp1 = Invoke-WebRequest -OutFile $clusterConfigZipFile -Uri $apiFolder -Body $fileContent -Method 'POST' -Credential $adminCredentials -ContentType "application/x-www-form-urlencoded" -ErrorAction SilentlyContinue -Verbose
Run Code Online (Sandbox Code Playgroud)
我知道它可以正常工作,因为:
我的问题是代码在$resp1. 我已经读到,当您使用-OutFile.
无论如何要捕获响应或至少响应代码PowerShell?
当我比较输入的两个变量object并且两者都包含相同的值时,使用==运算符的比较结果产生false.
object Var1 = "X";
object Var2 = "X";
// This produces false result
bool Match = Var1 == Var2;
Run Code Online (Sandbox Code Playgroud)
为什么会这样?
编辑:上面是实际工作的代码!
我基于我的真实代码,它看起来像这样,不起作用:
ChoiceValue = Choice.GetValue(FieldTemplate.ValueDataType);
if (ChoiceValue == Field.Value) RadioButton.IsChecked = true;
Run Code Online (Sandbox Code Playgroud)
ChoiceValue是object和也是Field.Value属性类型object.
显然在不同情况下的工作方式不同.
c# ×2
powershell ×2
airflow ×1
amazon-s3 ×1
compare ×1
comparison ×1
corruption ×1
file-upload ×1
glut ×1
hpcc ×1
opengl ×1
python ×1
rest ×1
scp ×1
similarity ×1
string ×1
vertex ×1