标签: azure-sql-database

使用Sql Azure计划的任务?

我想知道是否有办法在SQL Azure中使用预定任务?感谢每一位帮助.

关键是,我想每天运行一个简单的单行语句,并希望阻止设置辅助角色.

scheduled-tasks azure azure-sql-database

6
推荐指数
1
解决办法
5842
查看次数

尝试从tsql连接到sql-azure时,从服务器读取失败

我正在尝试从Ubuntu 12.04连接到SQL-Azure.

我用openssl和libiconf编译了freeTds-0.91

tsql -H XXXXXXXX.database.windows.net -U Username -D DatabaseName -p 1433 -P Password
Run Code Online (Sandbox Code Playgroud)

我尝试使用上面的语句连接,我收到此错误:

locale is "en_ZA.UTF-8"
locale charset is "UTF-8"
using default charset "UTF-8"
Default database being set to DatabaseName
Error 20004 (severity 9):
    Read from the server failed
    OS error 104, "Connection reset by peer"
Error 20002 (severity 9):
    Adaptive Server connection failed
There was a problem connecting to the server
Run Code Online (Sandbox Code Playgroud)

我的tsql -C输出:

Compile-time settings (established with the "configure" script)
                        Version: freetds v0.91
         freetds.conf directory: /usr/local/etc
 MS …
Run Code Online (Sandbox Code Playgroud)

freetds azure-sql-database

6
推荐指数
1
解决办法
2万
查看次数

损坏的Azure SQL存储过程只能通过drop recreate修复

请原谅我这是否重复.我能找到的最接近的是随机超时运行存储过程 - 删除重新创建修复,但我不确定有关重新编译存储过程的答案.

我有一个Azure SQL数据库,最新版本,具有来自Azure Web应用程序前端的大量流量.我有一个夜间远程作业,运行批处理来重建Azure SQL数据库上的索引,因为这似乎有助于控制数据库大小和性能.

通常,重建索引大约需要20分钟.昨晚它在2小时后超时.该批处理中的错误处理程序未记录任何错误.

重建索引启动后不久,一个特定的存储过程开始为每个调用它的客户端计时.使用相同表的其他存储过程没有任何问题.当我发现问题时,我可以通过改变存储过程立即返回来缓解所有超时和暂停进程.当我再次更改存储过程以使其正常运行时,问题立即重新出现.我的理解是,改变存储过程迫使它重新编译但是没有修复它.

最终,我完全放弃并使用原始代码重新创建了该过程,问题得到了解决.

这个程序及其使用的模式已经完全稳定了好几个月.程序本身很简单:

CREATE Procedure [dbo].[uspActivityGet] (@databaseid uniqueidentifier) AS
begin
    SET NOCOUNT ON;
    --There may be writing activities to the table asynchronously, do not use nolock on tblActivity - the ActivityBlob might be null in a dirty read.
    select top 100 a.Id, h.HandsetNumber, a.ActivityBlob, a.ActivityReceived
    from dbo.tblDatabases d with(nolock) join dbo.tblHandsets h with(nolock) on d.DatabaseId = h.DatabaseId join dbo.tblActivity a on h.Id = a.HandsetId
    where d.DatabaseId = @databaseid and a.ActivitySent …
Run Code Online (Sandbox Code Playgroud)

sql-server stored-procedures azure-sql-database

6
推荐指数
1
解决办法
219
查看次数

从Azure ML中的pyodbc连接到Azure SQL数据库的驱动程序的名称是什么?

我正在尝试使用Azure ML中的"执行python脚本"模块创建一个" 读取器 "替代方法来从Azure SQL数据库中读取数据.在这样做时,我正在尝试使用pyodbc库连接到Azure Sql.这是我的代码:

def azureml_main(dataframe1 = None, dataframe2 = None):
    import pyodbc   
    import pandas as pd

    conn = pyodbc.connect('DRIVER={SQL Server}; SERVER=server.database.windows.net; DATABASE=db_name; UID=user; PWD=Password')
    SQLCommand = ('''select * from table1 ''')
    data_frame = pd.read_sql(SQLCommand, conn)
    return data_frame,
Run Code Online (Sandbox Code Playgroud)

还试图使用不同的驱动程序名称:{SQL Server Native Client 11.0}

这是我得到的错误:

Error: ('IM002', '[IM002] [Microsoft][ODBC Driver Manager] Data source name not found and no default driver specified (0) (SQLDriverConnect)')
Run Code Online (Sandbox Code Playgroud)

有谁知道我应该使用哪个驱动程序?

只是为了确保,我尝试了"{SQL Server}","{SQL Server Native Client 11.0}"和"{SQL Server Native Client 10.0}"并得到了同样的错误

我也尝试了不同的格式:

conn = …
Run Code Online (Sandbox Code Playgroud)

python pyodbc azure-machine-learning-studio azure-sql-database cortana-intelligence

6
推荐指数
1
解决办法
1718
查看次数

从存储到SQL的Azure数据工厂复制活动:挂起70000行

我有一个数据工厂,其管道复制活动如下:

{
  "type": "Copy",
  "name": "Copy from storage to SQL",
  "inputs": [
    {
      "name": "storageDatasetName"
    }
  ],
  "outputs": [
    {
      "name": "sqlOutputDatasetName"
    }
  ],
  "typeProperties": {
    "source": {
      "type": "BlobSource"
    },
    "sink": {
      "type": "SqlSink"
    }
  },
  "policy": {
    "concurrency": 1,
    "retry": 3
  },
  "scheduler": {
    "frequency": "Month",
    "interval": 1
  }
}
Run Code Online (Sandbox Code Playgroud)

输入数据大小约为90MB,大约150万行,分为约.Azure存储中的20 x 4.5MB块blob文件.以下是数据示例(CSV):

A81001,1,1,1,2,600,3.0,0.47236654,141.70996,0.70854986 A81001,4,11,0,25,588,243.0,5.904582,138.87576,57.392536 A81001,7,4,1,32,1342,278.0,7.5578647,316.95795, 65.65895

接收器是S2类型的Azure SQL Server,其额定值为50 DTU.我创建了一个简单的表,其中包含合理的数据类型,没有键,索引或任何花哨的东西,只有列:

CREATE TABLE [dbo].[Prescriptions](
    [Practice] [char](6) NOT NULL,
    [BnfChapter] [tinyint] NOT NULL,
    [BnfSection] [tinyint] NOT NULL,
    [BnfParagraph] [tinyint] …
Run Code Online (Sandbox Code Playgroud)

performance azure azure-storage-blobs azure-data-factory azure-sql-database

6
推荐指数
1
解决办法
1702
查看次数

无法添加Azure数据库防火墙规则以允许构建服务器运行测试

我们使用Visual Studio Online托管的构建服务器来自动化构建过程.作为其中的一部分,我正在考虑将单元和集成测试添加到此过程中.

这些测试需要访问我们的SQL Azure数据库(其中两个,在同一台服务器上),而这又要求通过数据库服务器的防火墙进行访问.

我有一个PowerShell脚本,用于New-AzureRmSqlServerFirewallRule向数据库服务器添加IP地址,这些防火墙规则成功显示在Azure门户中.

具体来说,该脚本添加防火墙规则:

  • 构建服务器上的所有IPv4地址*(由返回Get-NetIPAddress)
  • 构建服务器的外部IP地址(由https://api.ipify.org返回)

结合使用,似乎会自动添加预定义的AllowAllAzureIPs和AllowAllWindowsAzureIps规则.

但是,测试随后失败,例外情况如下:

System.Data.SqlClient.SqlException:System.Data.SqlClient.SqlException:建立与SQL Server的连接时发生与网络相关或特定于实例的错误.服务器未找到或无法访问.验证实例名称是否正确,以及SQL Server是否配置为允许远程连接.(提供者:命名管道提供程序,错误:40 - 无法打开与SQL Server的连接)

我不确定为什么构建服务器无法访问数据库服务器 - 可能是测试进程的主机使用了不同的IP地址吗?

更新
正如已经指出的,异常消息提到"命名管道提供程序",它建议数据库连接使用命名管道而不是IP/TCP连接.为了测试这个,我改变了当地的app.config包含未知/随机/ IP无法进入并在本地运行测试(否则他们成功运行在本地):我正好收到了同样的异常消息提到"命名管道提供商".或许在一定程度上的ReliableSqlConnection类解析为一个命名管道,但我的观点是,我可以通过改变一个未知的或无法访问的IP地址在我的数据库连接字符串导致这同一个例外.

此外,数据库连接字符串开始tcp:,根据此博客文章,明确告诉连接使用TCP/IP而不是命名管道.

我还修改了防火墙规则以允许所有IP地址(0.0.0.0到255.255.255.255)但仍然抛出相同的异常.这表明SQL Azure防火墙规则不是"阻塞"的原因.

因此,我的怀疑转向网络访问被阻止(尽管可能存在白名单以允许构建服务器到达代码存储库).我在构建过程的开始添加了一个非常简单的PowerShell脚本:

Test-Connection "172.217.18.100" #resolves to www.google.com
Run Code Online (Sandbox Code Playgroud)

这导致了

测试与计算机'172.217.18.100'的连接失败:由于缺少资源而出错

构建服务器是禁用ping/ICMP还是阻止所有传出流量?

*该脚本仅考虑IPv4地址,因为我没有成功将IPv6地址传递给New-AzureRmSqlServerFirewallRule.

continuous-integration azure azure-powershell azure-sql-database azure-devops

6
推荐指数
1
解决办法
549
查看次数

如何优化SQL Server列存储对齐方式

我的IOT指标(时间序列数据)有一个Clustered Columnstore Index Table.它包含超过10亿行,结构如下:

CREATE TABLE [dbo].[Data](
[DeviceId] [bigint] NOT NULL,
[MetricId] [smallint] NOT NULL,
[TimeStamp] [datetime2](2) NOT NULL,
[Value] [real] NOT NULL
)

CREATE CLUSTERED INDEX [PK_Data] ON [dbo].[Data] ([TimeStamp],[DeviceId],[MetricId]) --WITH (DROP_EXISTING = ON)
CREATE CLUSTERED COLUMNSTORE INDEX [PK_Data] ON [dbo].[Data] WITH (DROP_EXISTING = ON, MAXDOP = 1, DATA_COMPRESSION = COLUMNSTORE_ARCHIVE)
Run Code Online (Sandbox Code Playgroud)

从2008年到现在,有大约10,000个不同的DeviceId值和TimeStamps.针对此表的典型查询如下所示:

SET STATISTICS TIME, IO ON
SELECT
    [DeviceId]
    ,[MetricId]
    ,DATEADD(hh, DATEDIFF(day, '2005-01-01', [TimeStamp]), '2005-01-01') As [Date]
    ,MIN([Value]) as [Min]
    ,MAX([Value]) as [Max]
    ,AVG([Value]) as [Avg]
    ,SUM([Value]) as [Sum] …
Run Code Online (Sandbox Code Playgroud)

sql-server time-series columnstore azure-sql-database

6
推荐指数
1
解决办法
547
查看次数

EF Core:迭代查询结果时数据库中发生异常

我从Azure中托管的Web应用程序收到此错误。它可以正常运行几天,然后突然停止工作。

连接是否有问题?哪个对象引用没有实例?

YYYY-MM-DD hh:mm:ss [Error] An exception occurred in the database while iterating the results of a query.
System.NullReferenceException: Object reference not set to an instance of an object.    at Microsoft.EntityFrameworkCore.Query.Internal.AsyncQueryingEnumerable.AsyncEnumerator.<BufferAllAsync>d__12.MoveNext()
--- End of stack trace from previous location where exception was thrown ---    at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)    at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)    at System.Runtime.CompilerServices.TaskAwaiter.GetResult()    at Microsoft.EntityFrameworkCore.Query.RelationalQueryContext.<RegisterValueBufferCursorAsync>d__14.MoveNext()
--- End of stack trace from previous location where exception was thrown ---    at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task)    at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task)    at System.Runtime.CompilerServices.TaskAwaiter.GetResult()    at Microsoft.EntityFrameworkCore.Query.Internal.AsyncQueryingEnumerable.AsyncEnumerator.<BufferlessMoveNext>d__9.MoveNext()
--- End of …
Run Code Online (Sandbox Code Playgroud)

asp.net-web-api azure-web-sites entity-framework-core azure-sql-database

6
推荐指数
1
解决办法
3496
查看次数

Azure SQL Server弹性池 - 自动将数据库添加到池中

目前我们有一个Azure SQL Server,每次创建新的Web应用程序时,我们都使用EF Core Code First来生成数据库.但是,在创建数据库之后,我们手动转到Azure门户并将新创建的数据库添加到Azure SQL Server内的弹性池中.有可能以某种方式自动化进程,以便通过门户网站或使用EF或其他任何方式生成每个新创建的数据库,它将自动添加到池中吗?

azure azure-elastic-scale azure-sql-database azure-sql-server

6
推荐指数
1
解决办法
1432
查看次数

Parameterised OFFSET FETCH NEXT query (EF Core) has 10x slower performance

I'm running the following query through (generated by Entity Framework Core) Microsoft SQL Server Management Studio against a SQL Azure database table with ~46,000 rows which takes ~5seconds

DECLARE @__TypedProperty_0 as int = 20
DECLARE @__TypedProperty_1 as int = 20

SELECT [dto].[Id], [dto].[Forename], [dto].[Surname], [dto].[AzureId], [dto].[Email]
 FROM [Associates] AS [dto]
 ORDER BY [dto].[Forename], [dto].[Id]
 OFFSET @__TypedProperty_0 ROWS FETCH NEXT @__TypedProperty_1 ROWS ONLY
Run Code Online (Sandbox Code Playgroud)

This results in the following execution plan:

参数化查询执行计划

The same query, in-lining the parameters like below runs in 500ms …

sql entity-framework-core azure-sql-database

6
推荐指数
1
解决办法
417
查看次数