小编Gre*_*way的帖子

我有天青PowerShell的1.0.3通过画廊装(每说明这里在安装Azure中的PowerShell从图库一节).我想更新到最新版本,但我不清楚我需要运行的命令.我尝试了以下内容,但决定询问而不是可能破坏我的安装:

PS C:\Windows\system32> Install-Module AzureRM

You are installing the module(s) from an untrusted repository. If you trust this repository, change its
InstallationPolicy value by running the Set-PSRepository cmdlet.
Are you sure you want to install software from 'https://www.powershellgallery.com/api/v2/'?
[Y] Yes  [A] Yes to All  [N] No  [L] No to All  [S] Suspend  [?] Help (default is "N"): y
WARNING: Version '1.0.3' of module 'AzureRM' is already installed at 'C:\Program
Files\WindowsPowerShell\Modules\AzureRM\1.0.3'. To delete version '1.0.3' and install version '1.1.0', …

我有一个350MB的表,相当宽,有两个varchar(2000)列.通过SSIS数据流,通过OLEDB"快速加载"目标加载到Azure SQL DW需要60分钟.我将该数据流上的目标更改为Azure Blob目标(来自SSIS Azure功能部件包),并且在1.5分钟内完成相同的数据流(并且新平面文件中的Polybase大约需要2分钟).

对于另一个来源,我有一个现有的1GB平面文件.SSIS数据流入Azure SQL DW中的OLEDB目标需要90分钟.将文件复制到blob存储,Polybase加载需要5分钟.

SSIS是SSIS 2014,它在与Azure SQL DW相同的Azure VM上运行.我知道批量加载比Polybase慢得多,因为批量加载漏斗通过控制节点,但Polybase在所有计算节点上并行化.但那些批量负载数字非常慢.

为了通过批量加载尽快加载到Azure SQL DW阶段表,SSIS数据流和目标的最佳设置是什么？特别是我对以下设置的最佳值感兴趣,除了我没有考虑的任何其他设置:

• 舞台表几何= HEAP(我相信是最快的)
• 数据流设置:
  • DefaultBufferMaxRows =？
  • DefaultBufferSize =？
• OLEDB目标设置
  • 数据访问模式=表或视图 - 快速加载
  • 保持Identity =未选中
  • 保持空= =？
  • 表锁=？
  • 检查约束=？
  • 每批行=？
  • 最大插入提交大小=？

如果我运行 CREATE EXTERNAL TABLE cetasTable AS SELECT 命令，然后运行：

EXPLAIN
select * from cetasTable

我在分布式查询计划中看到：

<operation_cost cost="4231.099968" accumulative_cost="4231.099968" average_rowsize="2056" output_rows="428735" />

它似乎知道正确的行数，但是，如果我查看该表上没有创建统计信息，因为此查询返回零行：

select * from sys.stats where object_id = object_id('cetasTable')

如果 Blob 存储中已有文件并且运行 CREATE EXTERNAL TABLE cetTable 命令，则运行：

EXPLAIN
select * from cetTable 

分布式查询计划显示 SQL DW 认为外部表中只有 1000 行：

  <operation_cost cost="4.512" accumulative_cost="4.512" average_rowsize="940" output_rows="1000" />

当然，我可以创建统计信息以确保 SQL DW 在创建分布式查询计划时知道正确的行数。但是有人可以解释它如何在某些时候知道正确的行数以及正确的行数存储在哪里吗？

Redshift 的文档 ( http://docs.aws.amazon.com/redshift/latest/dg/r_SVV_TABLE_INFO.html ) 指出列 skew_sortkey1 的定义是 - 最大非排序键列的大小与大小的比率排序键的第一列（如果定义了排序键）。使用此值来评估排序键的有效性。

这意味着什么？如果这个值很大，这意味着什么？还是小？

谢谢！

因为Azure SQL DW当前没有复制表(更新:它现在可以),在BroadcastMove期间到底发生了什么？是否创建了每个计算节点的一个临时表并使用广播结果进行填充？然后运行60个查询(每个分发一个查询)以加入广播的临时表？

我主要只是检查广播并不意味着创建了60个临时表.

我尝试了官方 NextJS MDX-Blog 示例。 https://github.com/mdx-js/mdx/tree/master/examples/next

但我无法弄清楚如何设置 NextJS 配置以通过 webpack 加载图像？

import img from "./image.jpg"

## Hallo Blogwelt

![My own Image]({img})

我的表包含单个卖家的一堆重复的销售信息，我基本上创建了一个列和一个度量，用于标记用户他们拥有的视图是否包含重复的销售信息。

这是我的表格的一个非常简单的示例

SalesManager  SalesPersonnel   Acccount   Product  Revenue
SalesManager1 SalesPersonnel1 Acccount_A Product_A 100000
SalesManager1 SalesPersonnel1 Acccount_B Product_C 100000
SalesManager1 SalesPersonnel3 Acccount_A Product_A 100000
SalesManager2 SalesPersonnel3 Acccount_B Product_C 100000
SalesManager1 SalesPersonnel2 Acccount_B Product_C 100000
SalesManager1 SalesPersonnel2 Acccount_B Product_C 100000
SalesManager4 SalesPersonnel4 Acccount_B Product_A 100000
SalesManager4 SalesPersonnel4 Acccount_A Product_D 100000
SalesManager4 SalesPersonnel5 Acccount_A Product_B 100000
SalesManager4 SalesPersonnel5 Acccount_A Product_A 100000

然后我创建了一个专栏

=Acccount&Product&Revenue

这是一个极其简化的示例，在我的真实工作簿中，我必须合并 30 多个列。

和一个措施

= if(CALCULATE(DISTINCTCOUNT([ConsldforDupeCheck]))=COUNTROWS(Table),"","*PossibleDoubleCountError*"

这一直工作得很好，除了我发现组合了一堆列的计算列导致文件大小加倍......

我能想到的唯一解决方案是如果我可以将计算列移动到度量中，但我想不出在多个列上使用distinctcount的方法。

这可能吗？

我想在C#中执行SQL Analysis查询.我已使用以下代码成功连接到Analysis数据库:

Server DM_Server = new Server();
Database AS_Database = new Database();
DM_Server.Connect(//SQL Analysis Server Connection String);
AS_Database = DM_Server.Databases[//Database name];

我有一个SQL查询

SELECT FLATTENED PredictAssociation()
From
[Mining Structure Name]
NATURAL PREDICTION JOIN
(SELECT (SELECT 1 AS [UserId]) AS [Vm]) AS t 

假设我有一个用于开发的 mydev.database.windows.net Azure SQL Server 和 Azure SQL DW 数据库。我有一个用于 prod 的 myprod.database.windows.net。如果我想将产品恢复到开发（跨服务器），这可能吗？从我在文档中看到的（参见 -TargetServerName 开关文档）来看，这是不可能的。

除了编写所有对象的脚本然后使用 Polybase CREATE EXTERNAL TABLE AS SELECT 命令将所有表导出到 blob 然后使用 Polybase 导入这些表之外，是否有推荐的解决方法？

使用 Azure SQL 数据库（不是 DW）进行跨服务器还原的推荐方法是导出到 bacpac 文件然后还原，但我认为这不是 Azure SQL DW 的一个选项，对吗？

我可能会开始在同一个 Azure SQL Server 上创建 prod 和 dev（只要客户想要在同一个 Azure 订阅中同时创建）。我希望服务器是分开的，但易于恢复很重要。

我在azure data lake store中有一个文件.我正在使用polybase将数据从数据湖存储移动到数据仓库.我按照这里提到的所有步骤进行了操作.

假设我创建了外部表作为External_Emp,它有3列:ID,Name,Dept.

当我运行以下查询时:

select * from External_Emp;

然后,它向我显示所有正确的记录.但是当我选择特定的列/列时,它会在一行中显示列名.例如,如果我运行以下查询:

select Name from External_Emp;

然后输出是:

Name
-----
Name
1
2
3

而输出应该是:

Name
------
1
2
3

同样,当我运行查询时:

select ID, Name from External_Emp;

然后它显示以下输出:

ID | Name
---------
ID | Name
1  | abc
2  | xyz
3  | pqr

而输出应该是:

ID | Name
--------
1  | abc
2  | pqr
3  | xyz

为什么在单独的行中显示列名？那是一个错误吗？

我多次检查azure数据湖中csv文件中的数据.它没有重复的列名.谢谢.

我正在使用这种方法来加密文件并将它们存储在Azure块blob中.我想将加密的blob复制到另一个blob存储帐户并在此过程中对其进行解密.我知道可以执行"复制blob"操作,该操作完全在Azure内部运行,并且不会通过我的本地计算机在传输过程中下载blob内容.我相信这是通过这种CloudBlockBlob.StartCopy方法实现的.但是,是否可以使用加密文件执行此操作并将其解密到传输到其他存储帐户？

在上面的链接之后,我的代码如下所示.blob.OpenRead有效,但blob2.StartCopy不起作用.

BlobEncryptionPolicy policy = new BlobEncryptionPolicy(null, cloudResolver);
BlobRequestOptions options = new BlobRequestOptions() { EncryptionPolicy = policy };
CloudBlockBlob blob = container.GetBlockBlobReference("MyFile.txt");
//var blobStream = blob.OpenRead(null, options); //this works

CloudBlockBlob blob2 = container2.GetBlockBlobReference("MyFile2.txt");
blob2.StartCopy(blob, null, null, options, null); //this fails with: The remote server returned an error: (404) Not Found.