小编BMW*_*BMW的帖子

删除csv文件中的空行

我有一个包含400万行的文件,每行都以char $结尾,但是我在拼接网站时错误地在行分隔符后添加了一行,所以现在它看起来像这样:

fist name, last name, phone, address, postal code, city, region,$

$

fist name, last name, phone, address, postal code, city, region,$

$
Run Code Online (Sandbox Code Playgroud)

新行'$'当然只显示我使用:set list,但我正在尝试将此文件用于mysql中的批量插入,现在我遇到了问题.

我想将文件更改为:

fist name, last name, phone, address, postal code, city, region,$

fist name, last name, phone, address, postal code, city, region,$
Run Code Online (Sandbox Code Playgroud)

我怎样才能做到这一点?用sed或awk甚至vi?抬头看看我发现的并不是真的适用于这种情况.

请不要考虑上面显示的额外空行.

提前致谢

linux vi bash awk sed

5
推荐指数
1
解决办法
1万
查看次数

查找 PEiD 数据库

在哪里可以获得最新版本的 PEiD 数据库?我知道 github 上有一个版本(https://raw.githubusercontent.com/guelfoweb/peframe/5beta/peframe/signatures/userdb.txt),但它已经有一年多的历史了,大约有 4000 个签名。

database malware malware-detection

5
推荐指数
1
解决办法
3050
查看次数

将 S3 安装到数据块

我正在尝试了解如何mount运作。我有一个名为 的 S3 存储桶myB,其中有一个名为 的文件夹test。我使用了安装

var AwsBucketName = "myB"
val MountName = "myB"
Run Code Online (Sandbox Code Playgroud)

我的问题是:它是否在 S3 和 databricks 之间创建链接myB,并且 databricks 是否会访问所有文件(包括文件test夹下的文件)?(或者如果我使用 var 进行挂载,AwsBucketName = "myB/test"它是否只将 databricks 链接到该文件夹test​​,而不链接到该文件夹​​之外的任何其他文件?)

如果是这样,我该如何说列出test文件夹中的文件、读取该文件或在 scala 中对 csv 文件进行 count() ?我做了一个display(dbutils.fs.ls("/mnt/myB")),它只显示测试文件夹,但不显示其中的文件。这里很新。非常感谢您的帮助!

scala amazon-s3 amazon-web-services databricks

5
推荐指数
1
解决办法
1万
查看次数

Ansible:如何在临时命令中使用清单变量

我想在主机文件上运行临时命令,在该主机文件中,我为每个主机定义了一个变量,在执行临时命令时如何使用该变量。

例如:

ansible -i /home/bob/hosts_file -m shell -a "$VAR/project run"
Run Code Online (Sandbox Code Playgroud)

我$VAR在“ hosts_file”中为每个主机定义了,清单文件中每个主机的$ VAR是不同的。在执行时,如何在临时命令中使用该变量替换每个主机。

ansible

5
推荐指数
2
解决办法
3265
查看次数

Terraform:从命令行提供列表输入值?

有没有办法从命令行提供列表值?地图有变量合并功能,但似乎不适用于列表。我希望有这样的东西,但没有运气...谢谢

terraform apply -var "listvar=abc1" -var "listvar=abc2"
Run Code Online (Sandbox Code Playgroud)

或可能

terraform apply -var "listvar=[abc1, abc2]"
Run Code Online (Sandbox Code Playgroud)

terraform

5
推荐指数
1
解决办法
1647
查看次数

terraform 将列表变量获取到资源

variable "iam_action" {
  type    = "list"
  default = ["ec2.amazonaws.com","ecs.amazonaws.com"]
}

resource "aws_iam_role" "s3_role" {
  name               = "abcd"
  assume_role_policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Principal": {
        "Service": [ "${var.iam_action}"
        ]
      },
      "Effect": "Allow,
      "Sid": ""
    }
  ]
}
EOF
}
Run Code Online (Sandbox Code Playgroud)

错误:

At column 1, line 1: output of an HIL expression must be a string, or a single list (argument 2 is TypeList) in:
Run Code Online (Sandbox Code Playgroud)

我尝试了 join 函数,但我需要输出为列表["a","b","c"]join 函数给出类似的输出["a,b,c"]

amazon-web-services terraform

5
推荐指数
1
解决办法
4972
查看次数

拆分 terraform tfstate 文件

我们从一个 tfstate 文件开始,随着时间的推移它增长了很多。

现在,计划真的很慢,我现在想分成几个 tfstate 文件(一个用于我们的开发环境,一个用于通用共享基础设施,一个用于每个生产环境)。

就像在https://charity.wtf/2016/03/30/terraform-vpc-and-why-you-want-a-tfstate-file-per-env/和Terraform Multiple State Files Best Practice Examples 中的描述一样。

是否有任何现有工具(内置或非内置)可以帮助解决此问题?terraform state mv有点像,但在 tfstates 之间?

terraform

5
推荐指数
2
解决办法
4553
查看次数

如何正确沙箱 AWS lambda 调用

我需要在沙盒环境中运行两个进程:

  1. 支持具有访问内部数据但运行不受信任代码的功能的 REST 调用。
  2. 支持异步事件调用,这些调用也访问内部数据,但运行不受信任的代码。

我期望通过提供相同的库访问,这些 lambda 函数或多或少是相同的。我不打算限制 lambda 函数内对操作系统的访问,因为 lambda 函数无论如何都是沙盒的。然而,在此期间,我发现虽然 lambda 函数保持温暖,但它使容器实例保持活动状态,因此执行写入的任何文件都可以在下一次执行中访问。如果文件中的数据包含上次运行中正在处理的帐户的机密信息,则这很糟糕。

那么,我该如何设置,以便在一次执行中创建的任何文件在另一次执行中都无法访问,或者在 lambda 退出后自动删除?

请注意,我只考虑文件,但我想可能会发生其他令人讨厌的事情,例如一个进程可以设置一个守护进程,该守护进程在 lambda 退出后仍保持活动状态。

如果我的观点是错误的,并且我在互联网上收集的信息是错误的,请随时将其删除。

sandbox node.js aws-lambda

5
推荐指数
0
解决办法
1123
查看次数

移动到不同模块的资源定义是否会使 'terraform apply' 删除和重新创建这些资源?

我创建了一些带有 main.tf 的虚拟机,terraform 生成了一个 cluster.tfstate 文件。

现在因为重构,我把VM资源定义移到一个模块中,并在main.tf中引用这个模块。当我运行时terraform apply --state=./cluster.tfstate,terraform 会破坏并重新创建这些虚拟机吗?

我希望它不会。我的理解正确吗?

terraform

5
推荐指数
1
解决办法
846
查看次数

如何使用 terraform 向 S3 存储桶添加生命周期规则?

我正在使用 Terraform 在 S3 中创建一个存储桶,我想向其中添加“文件夹”和生命周期规则。

我可以创建存储桶(使用“aws_s3_bucket”资源)。

我可以创建存储桶并在相同的“aws_s3_bucket”资源中定义我的生命周期规则,即。在创建时。

我可以使用“aws_s3_bucket_object”资源将“文件夹”添加到存储桶(我知道它们不是真正的文件夹,但它们被呈现给客户端系统,就好像它们是...... :-) ),即。桶创建后。

都好...

但是我希望能够在创建存储桶后添加生命周期规则,但是我收到一条错误消息,告诉我存储桶已经存在。(实际上,我希望能够在需要时随后添加文件夹和相应的生命周期规则。)

现在,我可以向 AWS GUI 中的现有存储桶添加生命周期规则,所以我知道这是一件合理的事情。

但是有没有办法用 Terraform 做到这一点?

我错过了什么吗?

resource "aws_s3_bucket" "bucket" {
    bucket      = "${replace(var.tags["Name"],"/_/","-")}"
    region      = "${var.aws_region}"

    #tags                = "${merge(var.tags, map("Name", "${var.tags["Name"]}"))}"
    tags                = "${merge(var.tags, map("Name", "${replace(var.tags["Name"],"/_/","-")}"))}"
}


resource "aws_s3_bucket" "bucket_quarterly" {
    bucket      = "${aws_s3_bucket.bucket.id}"
    #region      = "${var.aws_region}"

    lifecycle_rule {
        id      = "quarterly_retention"
        prefix  = "quarterly/"
        enabled = true

        expiration {
            days = 92
        }
    }

}


resource "aws_s3_bucket" "bucket_permanent" {
    bucket      = "${aws_s3_bucket.bucket.id}"
    #region      = "${var.aws_region}" …
Run Code Online (Sandbox Code Playgroud)

amazon-s3 amazon-web-services terraform

5
推荐指数
2
解决办法
9752
查看次数