是否可以使用 ARM json 模板为 SQL Azure DB 打开透明数据加密?如果是这样,如何?
我目前正在运行一个聚合查询,汇总给定日期的销售量(比如)。
select convert(date, datetimesold), sum(amountsold) from tblSold
group by convert(date, datetimesold)
Run Code Online (Sandbox Code Playgroud)
其中 datetimesold 是日期时间值。
在convert(date,...)摆脱了时间价值,所以group by通过整整一天能集团。
这已经不是很有效了,因为它需要对每行的转换进行表扫描 - 更好的方法是添加一个仅包含日期值的“datesold”列,索引,并在每次插入时包含此值。但这会失去该列的精度,这很重要,因为......
datetimesold是 UTC 日期时间。所以我的问题是:假设我想按天分组,但在美国东部时间。在按以下方式在组中进行转换之前,我必须在 datetimesold 中添加一个以小时为单位的偏移量 - group by convert(date, dateadd(hours, -5, datetimesold))- 但即便如此,由于夏令时,这并不总是准确的 - EDT -4 小时,EST -5 小时。
在 SQL 中我是否有任何有效的选择来执行此操作?我可以在这里使用任何时区感知功能吗?
编辑:为了进一步澄清,我在 Azure SQL 数据库上进行操作。
我的应用偶尔会抛出一个未处理的异常:
System.InvalidOperationException is unhandled by user code Message=配置的执行策略“SqlAzureExecutionStrategy”不支持用户发起的事务。有关其他信息,请参阅 http://go.microsoft.com/fwlink/?LinkId=309381。
我正在使用实体框架,其中我选择包含包含的表以获取由外键链接的第二个表。
根据异常链接,我正在使用“用户发起的交易”。Entity Framework Include 语句是否被视为“用户发起的事务”?
我正在使用默认策略:
SetExecutionStrategy("System.Data.SqlClient", () => new SqlAzureExecutionStrategy());
Run Code Online (Sandbox Code Playgroud)
此代码引发异常:
requestType = _requestTypes.GetList().FirstOrDefault(x => x.Id == requestTypeId);
Run Code Online (Sandbox Code Playgroud)
这是 getlist 的定义:
public IEnumerable<RequestType> GetList()
{
var retList = DbContext
.RequestTypes
.Where(x => !x.Deleted)
.Include(t => t.RequestTypeWorkStreams)
.AsNoTracking()
.ToList();
return retList;
}
Run Code Online (Sandbox Code Playgroud) 在我的应用程序中,用户可以创建具有三种列类型(文本、数字和日期)的自定义表。它们最多可以有 20 列。我使用nvarchar(430)for text、decimal(38,6)numeric 和datetime以及 Identity Id 列基于他们的模式创建了一个 SQL 表。
许多这些表可能由不同的用户创建,并且数据可能会因用户上传新的 CSV 文件而频繁更新。为了在用户数据上传过程中获得最佳性能,我们将表格截断以去除现有数据,然后进行批量 BULK INSERT。
用户可以根据他们建立的过滤器进行选择,过滤器可以包括任意数量的列。我的问题是,在此选择过程中,某些包含大量行的表的性能会很差。为了解决这个问题,我考虑添加索引,但由于我们不知道 WHERE 条件中将包含哪些列,因此我们必须对每一列进行索引。
例如,在本地 SQL 服务器上,一个只有超过一百万行且其中 6 个列的 WHERE 条件的表在第一次运行时将花费大约 8 秒,然后在随后的运行中不到一秒。在每一列上都有索引,第一次运行查询时,它将在不到一秒的时间内运行。当我们在 SQL Azure 数据库上进行测试时,这个性能问题被放大了,其中第一次运行相同的查询将花费一分钟,并且在后续运行中没有改善,但使用索引需要 1 秒。
那么,当用户创建列时,在每列上添加索引是一个合适的解决方案,还是有更好的解决方案?
我有一个限制为 60 个并发连接的 Azure 数据库。我的问题是我有几个爬虫填充这个数据库,以便我们的网站使用实体框架使用。
多个爬虫用尽所有连接和错误不需要很长时间。我已尝试在连接字符串中设置最大池大小值,但这似乎并未对实际数据库连接强制执行任何限制。
我可以将其包装DbContext在一个单例中,但随后我会将整个爬虫限制为单个连接。
有没有其他方法可以实现这一目标?
c# asp.net-mvc entity-framework connection-string azure-sql-database
我是 Azure 和 Polybase 的新手,我正在尝试将 CSV 文件读入 SQL 外部表。
我注意到,无法跳过第一行,即我阅读的某些论坛上的标题。
我希望相反,你能帮帮我吗?
我使用的代码如下。
提前致谢
CREATE EXTERNAL TABLE dbo.Test2External (
[Guid] [varchar](36) NULL,
[Year] [smallint] NULL,
[SysNum] [bigint] NULL,
[Crc_1] [decimal](15, 2) NULL,
[Crc_2] [decimal](15, 2) NULL,
[Crc_3] [decimal](15, 2) NULL,
[Crc_4] [decimal](15, 2) NULL,
[CreDate] [date] NULL,
[CreTime] [datetime] NULL,
[UpdDate] [date] NULL,
...
WITH (
LOCATION='/20160823/1145/FIN/',
DATA_SOURCE=AzureStorage,
FILE_FORMAT=TextFile
);
-- Run a query on the external table
SELECT count(*) FROM dbo.Test2External;
Run Code Online (Sandbox Code Playgroud) sql-server blob azure azure-storage-blobs azure-sql-database
我想执行将 Azure SQL 数据库作为 DACPAC 导出到 Blob 存储的计划任务。我想知道我能做到这一点。网络工作?PowerShell 脚本?
在传统的网络服务器中,你会有一个 SQL 连接池和到数据库的持久连接。
但我正在考虑将整个应用程序创建为 Azure Functions。这些函数会在每次调用 SQL 服务器时创建一个新连接吗?
我正在尝试在 Visual Studio 2015 上使用以下语法通过 polybase 创建外部表。它给了我以下错误。有人可以帮忙解决这个问题吗
CREATE EXTERNAL TABLE dbo.DimDate2External (
DateId INT NOT NULL,
CalendarQuarter TINYINT NOT NULL,
FiscalQuarter TINYINT NOT NULL
)
WITH (
LOCATION='/textfiles/DimDate2.txt',
DATA_SOURCE=AzureStorage,
FILE_FORMAT=TextFile
);
CREATE EXTERNAL DATA SOURCE AzureStorage
WITH (
TYPE = HADOOP,
LOCATION = 'wasbs://<blob_container_name>@<azure_storage_account_name>.??blob.core.windows.ne??t',
CREDENTIAL = AzureStorageCredential
);
CREATE EXTERNAL FILE FORMAT TextFile WITH ( FORMAT_TYPE = DelimitedText, FORMAT_OPTIONS (FIELD_TERMINATOR = ',') );
Run Code Online (Sandbox Code Playgroud)
由于内部错误,外部表访问失败:
'调用 HdfsBridge_IsDirExist 时引发 Java 异常。Java 异常消息:com.microsoft.azure.storage.StorageException:服务器无法对请求进行身份验证。确保 Authorization 标头的值包括签名的格式正确。:错误 [com.microsoft.azure.storage.StorageException:服务器无法对请求进行身份验证。确保 Authorization 标头的值正确形成,包括签名。] 访问外部文件时发生。
我有一个包含不同语言列的表。我想在这张表上建立多个全文索引,每种语言一个。在 MsSQL (Azure) 中甚至有可能吗?我有以下代码:
IF NOT EXISTS (SELECT 1 FROM sys.fulltext_catalogs WHERE NAME = 'BlaBlaFullTextCatalog')
CREATE FULLTEXT CATALOG BlaBlaFullTextCatalog AS DEFAULT;
CREATE FULLTEXT INDEX ON [IDX_c7296e1d-8cea-40f7-9204-8f017b1e14a8_tmp] ([OBJ_FreeText_de-DE] LANGUAGE 1043) KEY INDEX [PK_bbca2bbb-a84e-4bd2-b908-92c5329652a5] ON [BlaBlaFullTextCatalog]
WITH CHANGE_TRACKING = AUTO;
CREATE FULLTEXT INDEX ON [IDX_c7296e1d-8cea-40f7-9204-8f017b1e14a8_tmp] ([OBJ_FreeText_nl-NL] LANGUAGE 1043) KEY INDEX [PK_bbca2bbb-a84e-4bd2-b908-92c5329652a5] ON [BlaBlaFullTextCatalog]
WITH CHANGE_TRACKING = AUTO;
ALTER FULLTEXT INDEX ON [IDX_c7296e1d-8cea-40f7-9204-8f017b1e14a8_tmp] ENABLE;
ALTER FULLTEXT INDEX ON [IDX_c7296e1d-8cea-40f7-9204-8f017b1e14a8_tmp] START FULL POPULATION;
Run Code Online (Sandbox Code Playgroud)
但它抛出以下错误:
表或索引视图“IDX_c7296e1d-8cea-40f7-9204-8f017b1e14a8_tmp”的全文索引已经创建。
azure ×4
sql-server ×4
c# ×2
sql ×2
asp.net-mvc ×1
azure-sqldw ×1
blob ×1
dacpac ×1
date ×1
indexing ×1
polybase ×1
t-sql ×1