我想知道是否有办法在SQL Azure中使用预定任务?感谢每一位帮助.
关键是,我想每天运行一个简单的单行语句,并希望阻止设置辅助角色.
我正在尝试从Ubuntu 12.04连接到SQL-Azure.
我用openssl和libiconf编译了freeTds-0.91
tsql -H XXXXXXXX.database.windows.net -U Username -D DatabaseName -p 1433 -P Password
Run Code Online (Sandbox Code Playgroud)
我尝试使用上面的语句连接,我收到此错误:
locale is "en_ZA.UTF-8"
locale charset is "UTF-8"
using default charset "UTF-8"
Default database being set to DatabaseName
Error 20004 (severity 9):
Read from the server failed
OS error 104, "Connection reset by peer"
Error 20002 (severity 9):
Adaptive Server connection failed
There was a problem connecting to the server
Run Code Online (Sandbox Code Playgroud)
我的tsql -C输出:
Compile-time settings (established with the "configure" script)
Version: freetds v0.91
freetds.conf directory: /usr/local/etc
MS …Run Code Online (Sandbox Code Playgroud) 请原谅我这是否重复.我能找到的最接近的是随机超时运行存储过程 - 删除重新创建修复,但我不确定有关重新编译存储过程的答案.
我有一个Azure SQL数据库,最新版本,具有来自Azure Web应用程序前端的大量流量.我有一个夜间远程作业,运行批处理来重建Azure SQL数据库上的索引,因为这似乎有助于控制数据库大小和性能.
通常,重建索引大约需要20分钟.昨晚它在2小时后超时.该批处理中的错误处理程序未记录任何错误.
重建索引启动后不久,一个特定的存储过程开始为每个调用它的客户端计时.使用相同表的其他存储过程没有任何问题.当我发现问题时,我可以通过改变存储过程立即返回来缓解所有超时和暂停进程.当我再次更改存储过程以使其正常运行时,问题立即重新出现.我的理解是,改变存储过程迫使它重新编译但是没有修复它.
最终,我完全放弃并使用原始代码重新创建了该过程,问题得到了解决.
这个程序及其使用的模式已经完全稳定了好几个月.程序本身很简单:
CREATE Procedure [dbo].[uspActivityGet] (@databaseid uniqueidentifier) AS
begin
SET NOCOUNT ON;
--There may be writing activities to the table asynchronously, do not use nolock on tblActivity - the ActivityBlob might be null in a dirty read.
select top 100 a.Id, h.HandsetNumber, a.ActivityBlob, a.ActivityReceived
from dbo.tblDatabases d with(nolock) join dbo.tblHandsets h with(nolock) on d.DatabaseId = h.DatabaseId join dbo.tblActivity a on h.Id = a.HandsetId
where d.DatabaseId = @databaseid and a.ActivitySent …Run Code Online (Sandbox Code Playgroud) 我正在尝试使用Azure ML中的"执行python脚本"模块创建一个" 读取器 "替代方法来从Azure SQL数据库中读取数据.在这样做时,我正在尝试使用pyodbc库连接到Azure Sql.这是我的代码:
def azureml_main(dataframe1 = None, dataframe2 = None):
import pyodbc
import pandas as pd
conn = pyodbc.connect('DRIVER={SQL Server}; SERVER=server.database.windows.net; DATABASE=db_name; UID=user; PWD=Password')
SQLCommand = ('''select * from table1 ''')
data_frame = pd.read_sql(SQLCommand, conn)
return data_frame,
Run Code Online (Sandbox Code Playgroud)
还试图使用不同的驱动程序名称:{SQL Server Native Client 11.0}
这是我得到的错误:
Error: ('IM002', '[IM002] [Microsoft][ODBC Driver Manager] Data source name not found and no default driver specified (0) (SQLDriverConnect)')
Run Code Online (Sandbox Code Playgroud)
有谁知道我应该使用哪个驱动程序?
只是为了确保,我尝试了"{SQL Server}","{SQL Server Native Client 11.0}"和"{SQL Server Native Client 10.0}"并得到了同样的错误
我也尝试了不同的格式:
conn = …Run Code Online (Sandbox Code Playgroud) python pyodbc azure-machine-learning-studio azure-sql-database cortana-intelligence
我有一个数据工厂,其管道复制活动如下:
{
"type": "Copy",
"name": "Copy from storage to SQL",
"inputs": [
{
"name": "storageDatasetName"
}
],
"outputs": [
{
"name": "sqlOutputDatasetName"
}
],
"typeProperties": {
"source": {
"type": "BlobSource"
},
"sink": {
"type": "SqlSink"
}
},
"policy": {
"concurrency": 1,
"retry": 3
},
"scheduler": {
"frequency": "Month",
"interval": 1
}
}
Run Code Online (Sandbox Code Playgroud)
输入数据大小约为90MB,大约150万行,分为约.Azure存储中的20 x 4.5MB块blob文件.以下是数据示例(CSV):
A81001,1,1,1,2,600,3.0,0.47236654,141.70996,0.70854986 A81001,4,11,0,25,588,243.0,5.904582,138.87576,57.392536 A81001,7,4,1,32,1342,278.0,7.5578647,316.95795, 65.65895
接收器是S2类型的Azure SQL Server,其额定值为50 DTU.我创建了一个简单的表,其中包含合理的数据类型,没有键,索引或任何花哨的东西,只有列:
CREATE TABLE [dbo].[Prescriptions](
[Practice] [char](6) NOT NULL,
[BnfChapter] [tinyint] NOT NULL,
[BnfSection] [tinyint] NOT NULL,
[BnfParagraph] [tinyint] …Run Code Online (Sandbox Code Playgroud) performance azure azure-storage-blobs azure-data-factory azure-sql-database
我们使用Visual Studio Online托管的构建服务器来自动化构建过程.作为其中的一部分,我正在考虑将单元和集成测试添加到此过程中.
这些测试需要访问我们的SQL Azure数据库(其中两个,在同一台服务器上),而这又要求通过数据库服务器的防火墙进行访问.
我有一个PowerShell脚本,用于New-AzureRmSqlServerFirewallRule向数据库服务器添加IP地址,这些防火墙规则成功显示在Azure门户中.
具体来说,该脚本添加防火墙规则:
Get-NetIPAddress)结合使用,似乎会自动添加预定义的AllowAllAzureIPs和AllowAllWindowsAzureIps规则.
但是,测试随后失败,例外情况如下:
System.Data.SqlClient.SqlException:System.Data.SqlClient.SqlException:建立与SQL Server的连接时发生与网络相关或特定于实例的错误.服务器未找到或无法访问.验证实例名称是否正确,以及SQL Server是否配置为允许远程连接.(提供者:命名管道提供程序,错误:40 - 无法打开与SQL Server的连接)
我不确定为什么构建服务器无法访问数据库服务器 - 可能是测试进程的主机使用了不同的IP地址吗?
更新
正如已经指出的,异常消息提到"命名管道提供程序",它建议数据库连接使用命名管道而不是IP/TCP连接.为了测试这个,我改变了当地的app.config包含未知/随机/ IP无法进入并在本地运行测试(否则他们成功运行在本地):我正好收到了同样的异常消息提到"命名管道提供商".或许在一定程度上的ReliableSqlConnection类解析为一个命名管道,但我的观点是,我可以通过改变一个未知的或无法访问的IP地址在我的数据库连接字符串导致这同一个例外.
此外,数据库连接字符串开始tcp:,根据此博客文章,明确告诉连接使用TCP/IP而不是命名管道.
我还修改了防火墙规则以允许所有IP地址(0.0.0.0到255.255.255.255)但仍然抛出相同的异常.这表明SQL Azure防火墙规则不是"阻塞"的原因.
因此,我的怀疑转向网络访问被阻止(尽管可能存在白名单以允许构建服务器到达代码存储库).我在构建过程的开始添加了一个非常简单的PowerShell脚本:
Test-Connection "172.217.18.100" #resolves to www.google.com
Run Code Online (Sandbox Code Playgroud)
这导致了
测试与计算机'172.217.18.100'的连接失败:由于缺少资源而出错
构建服务器是禁用ping/ICMP还是阻止所有传出流量?
*该脚本仅考虑IPv4地址,因为我没有成功将IPv6地址传递给New-AzureRmSqlServerFirewallRule.
continuous-integration azure azure-powershell azure-sql-database azure-devops
我的IOT指标(时间序列数据)有一个Clustered Columnstore Index Table.它包含超过10亿行,结构如下:
CREATE TABLE [dbo].[Data](
[DeviceId] [bigint] NOT NULL,
[MetricId] [smallint] NOT NULL,
[TimeStamp] [datetime2](2) NOT NULL,
[Value] [real] NOT NULL
)
CREATE CLUSTERED INDEX [PK_Data] ON [dbo].[Data] ([TimeStamp],[DeviceId],[MetricId]) --WITH (DROP_EXISTING = ON)
CREATE CLUSTERED COLUMNSTORE INDEX [PK_Data] ON [dbo].[Data] WITH (DROP_EXISTING = ON, MAXDOP = 1, DATA_COMPRESSION = COLUMNSTORE_ARCHIVE)
Run Code Online (Sandbox Code Playgroud)
从2008年到现在,有大约10,000个不同的DeviceId值和TimeStamps.针对此表的典型查询如下所示:
SET STATISTICS TIME, IO ON
SELECT
[DeviceId]
,[MetricId]
,DATEADD(hh, DATEDIFF(day, '2005-01-01', [TimeStamp]), '2005-01-01') As [Date]
,MIN([Value]) as [Min]
,MAX([Value]) as [Max]
,AVG([Value]) as [Avg]
,SUM([Value]) as [Sum] …Run Code Online (Sandbox Code Playgroud) 我从Azure中托管的Web应用程序收到此错误。它可以正常运行几天,然后突然停止工作。
连接是否有问题?哪个对象引用没有实例?
YYYY-MM-DD hh:mm:ss [Error] An exception occurred in the database while iterating the results of a query.
System.NullReferenceException: Object reference not set to an instance of an object. at Microsoft.EntityFrameworkCore.Query.Internal.AsyncQueryingEnumerable.AsyncEnumerator.<BufferAllAsync>d__12.MoveNext()
--- End of stack trace from previous location where exception was thrown --- at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task) at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) at System.Runtime.CompilerServices.TaskAwaiter.GetResult() at Microsoft.EntityFrameworkCore.Query.RelationalQueryContext.<RegisterValueBufferCursorAsync>d__14.MoveNext()
--- End of stack trace from previous location where exception was thrown --- at System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task) at System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) at System.Runtime.CompilerServices.TaskAwaiter.GetResult() at Microsoft.EntityFrameworkCore.Query.Internal.AsyncQueryingEnumerable.AsyncEnumerator.<BufferlessMoveNext>d__9.MoveNext()
--- End of …Run Code Online (Sandbox Code Playgroud) asp.net-web-api azure-web-sites entity-framework-core azure-sql-database
目前我们有一个Azure SQL Server,每次创建新的Web应用程序时,我们都使用EF Core Code First来生成数据库.但是,在创建数据库之后,我们手动转到Azure门户并将新创建的数据库添加到Azure SQL Server内的弹性池中.有可能以某种方式自动化进程,以便通过门户网站或使用EF或其他任何方式生成每个新创建的数据库,它将自动添加到池中吗?
azure azure-elastic-scale azure-sql-database azure-sql-server
I'm running the following query through (generated by Entity Framework Core) Microsoft SQL Server Management Studio against a SQL Azure database table with ~46,000 rows which takes ~5seconds
DECLARE @__TypedProperty_0 as int = 20
DECLARE @__TypedProperty_1 as int = 20
SELECT [dto].[Id], [dto].[Forename], [dto].[Surname], [dto].[AzureId], [dto].[Email]
FROM [Associates] AS [dto]
ORDER BY [dto].[Forename], [dto].[Id]
OFFSET @__TypedProperty_0 ROWS FETCH NEXT @__TypedProperty_1 ROWS ONLY
Run Code Online (Sandbox Code Playgroud)
This results in the following execution plan:
The same query, in-lining the parameters like below runs in 500ms …
azure ×4
sql-server ×2
azure-devops ×1
azure-machine-learning-studio ×1
columnstore ×1
freetds ×1
performance ×1
pyodbc ×1
python ×1
sql ×1
time-series ×1