小编mon*_*mon的帖子

Oracle 11G - 插入索引的性能影响

客观的

验证插入没有 PK/index 的记录加上 create thme 是否比使用 PK/Index 插入快。

注意
这里的重点不是索引需要更多时间(很明显),而是总成本(不带索引的插入+创建索引)高于(带索引的插入)。因为我被教导在没有索引的情况下插入并稍后创建索引,因为它应该更快。

环境

戴尔 Latitude 核心 i7 2.8GHz 8G 内存和 SSD 硬盘
Oracle 11G R2 64 位上的 Windows 7 64 位

背景

我被教导在没有 PK/索引的情况下插入记录并在插入后创建它们会比使用 PK/索引插入更快。

然而,使用 PK/Index 插入 100 万条记录实际上比稍后创建 PK/Index 更快,大约 4.5 秒 vs 6 秒,下面的实验。通过将记录增加到 300 万(999000 -> 2999000),结果是一样的。

状况

  • 表 DDL 如下。一个用于数据和索引的大文件表空间。
    (测试了一个单独的索引表空间,结果相同,整体性能较差)
  • 每次运行前冲洗缓冲液/线轴。
  • 每次运行实验 3 次,并确保结果相似。

要刷新的 SQL:

ALTER SYSTEM CHECKPOINT;
ALTER SYSTEM FLUSH SHARED_POOL;
ALTER SYSTEM FLUSH BUFFER_CACHE;
Run Code Online (Sandbox Code Playgroud)

“稍后插入 PK/Index + PK/Index 创建”比“插入 PK/Index”是否真的是真的?

我是否在实验中犯了错误或遗漏了某些条件? …

oracle indexing insert database-performance oracle11gr2

5
推荐指数
1
解决办法
8643
查看次数

修复 Octave urlread 导致 Peer 证书无法使用给定 CA 证书进行身份验证的问题

如何修复 Octave(假设 libcurl 与八度绑定)urlread 导致Peer 证书无法使用给定 CA 证书进行身份验证的修复(非解决方法)?

在 windows 中从 forge读取pkg install 后,看起来 Octave 维护者意识到 Octave 4.0 的问题,但似乎没有可用的修复程序。

问题

看起来 Windows 上 Octave 的 urlread 不适用于 HTTPS,因为诸如https://octave.sourceforge.io之类的服务器证书无法使用 urlread(似乎称为 curl)所指的可信证书进行身份验证。

例如,share\octave\4.2.0\m\pkg\private\get_forge_pkg.m 第 64 行在尝试运行pkg install -forge来安装软件包时会导致问题。

## Try get the list of all packages.
[html, succ] = urlread ("http://packages.octave.org/list_packages.php");    
if (! succ)
  error ("get_forge_pkg: could not read URL, please verify internet connection");
endif
Run Code Online (Sandbox Code Playgroud)

从命令窗口运行 urlread 显示以下错误。

>> [html, status, msg] …
Run Code Online (Sandbox Code Playgroud)

https octave libcurl ssl-certificate urlread

5
推荐指数
1
解决办法
2066
查看次数

Terraform S3 存储桶创建导致未授权

问题

创建 S3 存储桶需要什么 AWS 权限,这会导致 ec2/DescribeAccountAttributes 和 s3/CreateBucket 上出现 HTTP/1.1 403 Forbidden。或者如何获取AWS方面的更多信息以进一步排除故障。

将EC2和S3上的所有权限添加到用户帐户中,但没有解决问题。

笔记

如果我拥有帐户所有者的所有权限(使用不同的帐户),则不会发生这种情况。

问题

尝试创建 S3 存储桶。

resource "aws_s3_bucket" "s3_bucket_tfstate" {
  bucket = "${var.s3_bucket_tfstate}"
  acl    = "private"
}    
Run Code Online (Sandbox Code Playgroud)

然而,它会导致 403 并带有下面的 TF_LOG=DEBUG。

2017/12/06 18:55:35 [DEBUG] [aws-sdk-go] DEBUG: Request ec2/DescribeAccountAttributes Details:
---[ REQUEST POST-SIGN ]-----------------------------
POST / HTTP/1.1
Host: ec2.ap-southeast-2.amazonaws.com
User-Agent: aws-sdk-go/1.12.35 (go1.9; darwin; amd64) APN/1.0 HashiCorp/1.0 Terraform/0.11.0-beta1
Content-Length: 87
Authorization: AWS4-HMAC-SHA256 Credential=<credential>/20171206/ap-southeast-2/ec2/aws4_request, SignedHeaders=content-length;content-type;host;x-amz-date, Signature=****
Content-Type: application/x-www-form-urlencoded; charset=utf-8
X-Amz-Date: 20171206T075535Z
Accept-Encoding: gzip

Action=DescribeAccountAttributes&AttributeName.1=supported-platforms&Version=2016-11-15
-----------------------------------------------------
2017/12/06 18:55:35 [DEBUG] [aws-sdk-go] …
Run Code Online (Sandbox Code Playgroud)

permissions amazon-s3 terraform

5
推荐指数
1
解决办法
5542
查看次数

Kubernetes - CPU 限制小于可用 CPU 的指示

客观的

阐明当限制设置远低于可用 CPU 时 K8S 容器 cpu 使用率的行为,并确认如何设置限制的理解是否正确。

背景

我有一个2CPU的节点,因此2000m可以是上限。每个命名空间都设置了 LimitRange,将容器的 CPU 限制为 500m。

kind: LimitRange
metadata:
  name: core-resource-limits
    spec:
      limits:
      - default:
          cpu: 500m
          memory: 2Gi
        defaultRequest:
          cpu: 100m
        type: Container
Run Code Online (Sandbox Code Playgroud)

指示

即使有 2 个 CPU 可用(没有其他进程/容器等待)并且容器可运行,它也只能使用 0.5 个 CPU,而 1.5 个 CPU 将未被使用。它是否正确?

如何设置限制范围

我相信我可以设置限制,例如可用2个CPU的75-80%,以更好地利用CPU资源。因为如果有多个容器试图占用比请求更多的 CPU,K8S 将根据文档(一些来自 OpenShift,但相信与 K8S 相同)根据每个容器的请求值在容器之间分配 CPU。它是否正确?

kind: LimitRange
metadata:
  name: core-resource-limits
    spec:
      limits:
      - default:
          cpu: 1500m
          memory: 2Gi
        defaultRequest:
          cpu: 100m
        type: Container
Run Code Online (Sandbox Code Playgroud)

CPU 请求

CPU 请求代表容器可能消耗的最小 CPU 量,但如果不存在 CPU 争用,则它可以使用节点上的所有可用 …

resources openshift docker kubernetes

5
推荐指数
1
解决办法
3673
查看次数

5
推荐指数
1
解决办法
7561
查看次数

如何从 Scala 中的 DataFrame 在 Spark 中创建分布式稀疏矩阵

问题

请帮助找到从 DataFrame 中的(用户、特征、值)记录创建分布式矩阵的方法,其中特征及其值存储在列中。

以下是数据摘录,但用户数量和功能较多,并且并非所有功能都经过用户测试。因此,许多特征值都是空的并且被归为 0。

例如,血液测试可能以血糖水平胆固醇水平等为特征。如果这些级别不可接受,则将值设置为 1。但并非所有功能都会针对用户(或患者)进行测试。

+----+-------+-----+
|user|feature|value|
+----+-------+-----+
|  14|      0|    1|
|  14|    222|    1|
|  14|    200|    1|
|  22|      0|    1|
|  22|     32|    1|
|  22|    147|    1|
|  22|    279|    1|
|  22|    330|    1|
|  22|    363|    1|
|  22|    162|    1|
|  22|    811|    1|
|  22|    290|    1|
|  22|    335|    1|
|  22|    681|    1|
|  22|    786|    1|
|  22|    789|    1|
| …
Run Code Online (Sandbox Code Playgroud)

scala sparse-matrix apache-spark apache-spark-mllib

5
推荐指数
1
解决办法
3562
查看次数

ConflictException: Stage 已经存在于 aws_api_gateway_deployment 和 stage_name

问题

首次使用阶段名称创建 API 网关部署,并创建阶段以配置 X-RAY 或 CloudWatch 日志记录时,会导致“阶段已存在”。

resource "aws_api_gateway_deployment" "this" {
  rest_api_id = aws_api_gateway_rest_api.mysfit.id
  stage_name  = "${var.ENV}"
  variables = {
    deployed_at = timestamp()
  }
  lifecycle {
    create_before_destroy = true
  }
}

resource "aws_api_gateway_stage" "this" {
  stage_name    = var.ENV
  rest_api_id   = aws_api_gateway_rest_api.mysfit.id
  deployment_id = aws_api_gateway_deployment.this.id

  dynamic "access_log_settings" {
    for_each = var.enable_apigw_stage_cloudwatch_access_log ? [1] : []
    content {
      destination_arn = module.cloudwatch.cloudwatch_loggroup_arn
      format          = file("${path.module}/apigw_access_log_format.json")
    }
  }

  xray_tracing_enabled = var.xray_tracing_enabled

  tags = {
    Project     = var.PROJECT
    Environment = var.ENV
  }
}
Run Code Online (Sandbox Code Playgroud)

解决方法是省略 …

amazon-web-services terraform-provider-aws amazon-api-gateway

5
推荐指数
2
解决办法
4068
查看次数

Python runtime.txt 指定Python运行时版本

问题

runtime.txt是指定要使用的 python 版本的官方 Python 方式吗?我想这不是 Python 开箱即用的支持,我相信 Python 运行时的版本取决于每个系统的二进制包管理(apt、brew、yum),除非明确从https://www.python.org下载/下载/ .

但是,如果有已知的Python版本切换机制,请告知。

背景

有几篇文章,大部分来自Heiroku 相关的,关于runtime.txt,以具体说明要运行哪个版本的Python。

python

5
推荐指数
0
解决办法
5667
查看次数

为什么 softmax 分类器梯度除以批量大小 (CS231n)?

问题

在 CS231使用反向传播计算解析梯度中,它首先实现了 Softmax 分类器,将 (softmax + log loss) 的梯度除以批量大小(在训练中前向成本计算和反向传播的循环中使用的数据数量) )。

请帮助我理解为什么需要除以批量大小。

在此输入图像描述

获得梯度的链式法则应该如下。我应该在哪里合并该部门?

在此输入图像描述

在此输入图像描述

在此输入图像描述

代码

N = 100 # number of points per class
D = 2 # dimensionality
K = 3 # number of classes
X = np.zeros((N*K,D)) # data matrix (each row = single example)
y = np.zeros(N*K, dtype='uint8') # class labels

#Train a Linear Classifier

# initialize parameters randomly
W = 0.01 * np.random.randn(D,K)
b = np.zeros((1,K))

# some hyperparameters
step_size = 1e-0
reg = …
Run Code Online (Sandbox Code Playgroud)

python machine-learning gradient-descent softmax

5
推荐指数
1
解决办法
1897
查看次数

terraform/gcp - 如何使用 TF 启用 iam.googleapis.com

请帮助了解如何使用 Terraform 启用 GCP IAM API。

\n

环境

\n
$ terraform --version\nTerraform v1.0.4\non linux_amd64\n+ provider registry.terraform.io/hashicorp/google v4.6.0\n+ provider registry.terraform.io/hashicorp/time v0.7.2\n
Run Code Online (Sandbox Code Playgroud)\n

资源

\n
resource "google_project_service" "iam" {\n  project = data.google_project.project.project_id\n  service = "iam.googleapis.com"\n  timeouts {\n    create = "20m"\n    update = "20m"\n  }\n  disable_dependent_services = false\n  disable_on_destroy         = false\n}\n
Run Code Online (Sandbox Code Playgroud)\n

错误

\n

运行terraform apply但它不断重复错误消息。

\n
Error: Error creating service account: googleapi: Error 403: Identity and Access Management (IAM) API has not been used in project 450605631931 before or it …
Run Code Online (Sandbox Code Playgroud)

terraform terraform-provider-gcp

5
推荐指数
1
解决办法
1373
查看次数