标签: azure-sql-database

如何使用 SQL Server JDBC 批量复制 API

我在尝试使用 SQL Server Bulk Copy API 和SQLServerBulkCSVFileRecord. 仅出于测试目的,我制作了一个仅包含nvarchar(500)列的表,并添加了元数据,如下所示:

fileRecord = new SQLServerBulkCSVFileRecord(csvPath, false);      

for(int i=1; i<=colCount; i++) {
    fileRecord.addColumnMetadata(i, null, java.sql.Types.NVARCHAR, 500, 0);
} 
Run Code Online (Sandbox Code Playgroud)

在使用带有 JDBC 的 Microsoft SQL 批量复制 API 后,我得到以下堆栈跟踪,但我找不到任何有关SQLServerBulkCSVFileRecord. 我不知道参数代表什么addColumnMetaData:我只是假设看这个例子,第一个参数代表列索引,然后显然第三个参数代表数据类型,第四个参数代表列的字节数(?)。

com.microsoft.sqlserver.jdbc.SQLServerException: Unicode data is odd byte size for column 1. Should be even byte size.
    at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDatabaseError(SQLServerException.java:217)
    at com.microsoft.sqlserver.jdbc.TDSTokenHandler.onEOF(tdsparser.java:251)
    at com.microsoft.sqlserver.jdbc.TDSParser.parse(tdsparser.java:81)
    at com.microsoft.sqlserver.jdbc.TDSParser.parse(tdsparser.java:36)
    at com.microsoft.sqlserver.jdbc.SQLServerBulkCopy.doInsertBulk(SQLServerBulkCopy.java:1433)
    at com.microsoft.sqlserver.jdbc.SQLServerBulkCopy.access$200(SQLServerBulkCopy.java:41)
    at com.microsoft.sqlserver.jdbc.SQLServerBulkCopy$1InsertBulk.doExecute(SQLServerBulkCopy.java:666)
    at com.microsoft.sqlserver.jdbc.TDSCommand.execute(IOBuffer.java:6276)
    at com.microsoft.sqlserver.jdbc.SQLServerConnection.executeCommand(SQLServerConnection.java:1793)
    at com.microsoft.sqlserver.jdbc.SQLServerBulkCopy.sendBulkLoadBCP(SQLServerBulkCopy.java:699)
    at com.microsoft.sqlserver.jdbc.SQLServerBulkCopy.writeToServer(SQLServerBulkCopy.java:1516) …
Run Code Online (Sandbox Code Playgroud)

java bulkinsert jdbc sqlbulkcopy azure-sql-database

5
推荐指数
1
解决办法
6925
查看次数

通过 Power shell 脚本将 Dacpac 包部署到 Azure SQL Server

我正在尝试使用 PowerShell 脚本在单个构建过程中部署多个 dacpac。

param(
    [string]$publish_profile,
    [string]$path_to_snapshots,
    [string]$password 
)

#Load Microsoft.SqlServer.Dac assembly
[System.Reflection.Assembly]::LoadWithPartialName("Microsoft.SqlServer.Dac")

#Load Dac profile 
$dacProfile = [Microsoft.SqlServer.Dac.DacProfile]::Load($publish_profile)
$dacService = new-object Microsoft.SqlServer.Dac.DacServices($dacProfile.TargetConnectionString)

$files = Get-ChildItem  "$path_to_snapshots\*.dacpac"
foreach ($file in $files) 
{
    $fileName = $file.Name 
    Try
    {
            $dp = [Microsoft.SqlServer.Dac.DacPackage]::Load($file.FullName)
            $dacService.Deploy($dp, $database, $true) 
        }
    }
    Catch
    {
        Write-Host "$fileName deployment has been failed"  -foregroundcolor "red"
        throw $_.Exception;
        Break
    }
}
Run Code Online (Sandbox Code Playgroud)

在我的本地环境中,一切运行良好,但在 Visual Studio 团队服务的构建过程中,我收到错误:

2017-02-24T06:03:09.7955300Z *********.dacpac 部署失败
2017-02-24T06:03:09.9785258Z ##[error]使用“3”参数调用“Deploy”时发生异常(s):“无法部署包。”
在 D:\a\1\s********************\deploydatabase.ps1:104 char:13
+ $dacService.Deploy($dp, $database, $true)
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+ 类别信息:未指定: …

powershell dacpac azure-sql-database azure-devops azure-pipelines

5
推荐指数
1
解决办法
4757
查看次数

Azure流分析如何处理多个输出表?

我创建了一项 ASA 作业,还创建了一个输入别名和一个输出别名,
如下所示

我像这样编辑了查询部分

WITH 
[StreamData]
AS (
SELECT
    employee_id, 
    first_name,
    last_name,
    age,
    salary
FROM 
  [DeviceDataStream] 
WHERE
    [ObjectType] IS NULL -- Filter out device info and command responses
) 

SELECT
    employee_id, 
    first_name,
    last_name,
    age,
    salary
INTO
    [Telemetry]
FROM
    [StreamData]
Run Code Online (Sandbox Code Playgroud)

我在 SQL 数据库中创建了
这样的表

我从物联网设备的输入是这样的

{"employee_id":4,"first_name":"Joseph","last_name":"Marshal","age":34,"salary":890000}
Run Code Online (Sandbox Code Playgroud)

到目前为止,一切都工作正常。

现在我想将我的输入 JSON 存储到不同的表中,type并且我的新输入 JSON 将如下所示

{"type":"emp","employee_id":4,"first_name":"Joseph","last_name":"Marshal","age":34,"salary":890000}
Run Code Online (Sandbox Code Playgroud)

不同的字段将有不同的类型,并且根据我想将数据存储在不同的表中,所以我需要进行哪些更改以及在哪里进行更改,请指导我。谢谢

json azure-stream-analytics azure-sql-database

5
推荐指数
1
解决办法
3550
查看次数

如何找出导致 Azure SQL 数据库上数据 IO 峰值的原因?

我有一个 Azure SQL 生产数据库,平均 DTU 使用率约为 10-20%,但是,我有时会遇到 DTU 峰值,使其达到 100% 以上。以下是过去 1 小时的示例:

在此输入图像描述

我意识到这可能是一个恶意查询,因此我切换到“查询性能洞察”选项卡,我发现过去 24 小时内的以下内容:

在此输入图像描述

该图表对于 CPU 使用率线很有意义。查询3780占用了大部分 CPU,正如我的应用程序所预期的那样。总体DTU(红色)线似乎正确遵循这一点(减去尖峰)。

然而,在DTU 组件图表中,我可以看到出现的大量数据 IO峰值与整体 DTU峰值一致。切换到Data IO 的 TOP 5 查询,我看到以下内容:

在此输入图像描述

这似乎表明不存在使用大量数据 IO的查询。

我如何找出此数据 IO使用量来自何处?

最后,我看到“odd ball”查询 ( 7966 ) 列在Data IO 的前 5 个查询下,仅执行了 5 次。选择它会显示以下内容:

在此输入图像描述

SELECT StatMan([SC0], [SC1], [SC2], [SB0000])
    FROM (SELECT TOP 100 PERCENT [SC0], [SC1], [SC2], step_direction([SC0]) over (order …
Run Code Online (Sandbox Code Playgroud)

sql-server azure azure-sql-database

5
推荐指数
1
解决办法
9027
查看次数

sqlcmd 未连接到 Azure 数据库

我正在尝试使用下面的命令访问 Azure 中的数据库

sqlcmd -s tcp:DBNAME HERE.database.windows.net -U USERNAME -P PASSWORD
Run Code Online (Sandbox Code Playgroud)

我收到错误

Sqlcmd:错误:适用于 SQL Server 的 Microsoft ODBC 驱动程序 13:命名管道提供程序:无法打开与 SQL Server [2] 的连接。。Sqlcmd:错误:适用于 SQL Server 的 Microsoft ODBC 驱动程序 13:登录超时已过期。Sqlcmd:错误:适用于 SQL Server 的 Microsoft ODBC 驱动程序 13:建立与 SQL Server 的连接时发生网络相关或特定于实例的错误。找不到服务器或无法访问服务器。检查实例名称是否正确以及 SQL Server 是否配置为允许远程连接。有关详细信息,请参阅 SQL Server 联机丛书。

有人经历过这个吗?我已经下载了最新版本的sqlcmd

我需要将大量数据导入我的 Azure 数据库,但由于 Management Studio 中的“导入数据”选项无法应对,因此我没有其他选项了。这是我尝试的第一个方法。在处理 250000 行中的 70000 行后,它就停止了,没有错误消息,这就是导致我尝试使用 BCP SQLCMD 的原因

保罗

sqlcmd azure azure-sql-database

5
推荐指数
2
解决办法
7824
查看次数

如何备份可承受 Azure 服务器删除的 Azure SQL

Azure SQL 具有内置备份。如果从门户中删除 SQL 数据库和服务器,这些备份就会丢失。

备份可承受从门户删除服务器的 Azure SQL 的最佳实践是什么。

我已手动将数据库导出到存储位置,但 Azure 表示不应将其用作备份。为什么不应该使用它?我应该做什么?

azure database-backups azure-virtual-machine azure-sql-database azure-sql-server

5
推荐指数
1
解决办法
2092
查看次数

相同的查询 - 查询存储中的不同查询

问题:

我们使用实体框架(6.21)作为我们的 ORM 管理器。我们的数据库是Azure Sql 数据库。

因为某些参数化查询(在我们的应用程序中经常使用)在某些输入上运行速度很慢(在某些输入上运行 60 秒,在其他输入上运行 0.4 秒)

我们开始使用 MS SQL Management Studio 中的 QueryStore 和 QueryStore 资源管理器(MSSMS -> 对象资源管理器 -> 查询存储)调查这些查询。

我们发现,QueryStore 将两个相同的(相同的 sql 查询但不同的参数 - 参数甚至没有存储)查询存储为不同的查询(具有不同的query_id)。通过不同的查询,我的意思是表中的不同行 sys.query_store_query)。

我通过查看 QueryStore 表来检查这一点:

    SELECT 
     qStore.query_id,
     qStore.query_text_id,
     queryTextStore.query_sql_text
     ROW_NUMBER() OVER(PARTITION BY query_sql_text ORDER BY query_sql_text ASC) AS rn 
    FROM 
    sys.query_store_query qStore
    INNER JOIN 
    sys.query_store_query_text queryTextStore 
    ON qStore.query_text_id = queryTextStore.query_text_id
Run Code Online (Sandbox Code Playgroud)

截图来自MSSSM

我无法在 MSSMS 中轻松比较这些查询的计划,因为每个查询都有其自己的关联计划。

预期行为: 我假设每次后续运行具有不同参数的相同查询都会导致:

1/ 重新使用现有计划或

2/根据传递的参数值创建另一个计划......

例子:

查询看起来像这样(实际上查询要复杂得多,因为它们是由 EntityFramework 生成的):

SELECT …
Run Code Online (Sandbox Code Playgroud)

sql sql-server entity-framework azure-sql-database sql-query-store

5
推荐指数
1
解决办法
1393
查看次数

Azure Analysis Services 是否支持服务主体登录 SQL Azure

我有一个 Azure Analysis Services 模型,使用以下连接字符串从 SQL Azure 读取数据:

Data Source=MySQLAzureDB.database.windows.net;
Initial Catalog=MyDB;Persist Security Info=true;
User ID=MyUser;Password=MyPWD;
Encrypt=True;Authentication=Sql Password
Run Code Online (Sandbox Code Playgroud)

这使用SQL 用户连接到 SQL Azure。这意味着我需要在两个不同的位置定义用户/密码:在 SQL Azure 中以及在此连接字符串中。

我想使用服务主体而不是 SQL 用户。以前有人这样做过吗?

我尝试过使用不同的连接类型,但这是我Authentication=ActiveDirectoryPassword在连接字符串中使用时 AAS 的典型错误:

JSON DDL 请求失败并出现以下错误:无法执行 XMLA。返回错误:“无法加载 adalsql.dll >>(身份验证=ActiveDirectoryPassword)

因此,在我进行进一步调查之前,是否有人这样做过?该错误消息似乎表明尚未安装此关键库。

我之前有一些使用服务主体的经验。我必须连接到 AAS 并使用服务主体通过 Azure 自动化处理数据库。这里有一些背景:

使用自动化 RunAs 服务主体连接到 Azure Analysis Services 和进程

azure-automation azure-sql-database azure-analysis-services

5
推荐指数
1
解决办法
871
查看次数

出现错误:sql server 中的内存优化表不支持“alter table add index”操作

我正在使用 sql server,我需要为列添加索引,添加索引时它给我错误the operation 'alter table add index' is not supported with memory optimized tables.,任何人都可以告诉我如何解决这个问题吗?这是我的表结构

CREATE TABLE "tb_Episode" (
    "ID" INT NOT NULL,
    "EpDataID" INT NULL DEFAULT NULL,
    "UploadID" INT NULL DEFAULT NULL,
    "CustID" INT NULL DEFAULT NULL,
    "BranchID" INT NULL DEFAULT NULL,
    "Branch" VARCHAR(20) NULL DEFAULT NULL,
    "LastName" VARCHAR(19) NULL DEFAULT NULL,
    "FirstName" VARCHAR(12) NULL DEFAULT NULL,
    "Middle" VARCHAR(1) NULL DEFAULT NULL,
    "MRN" INT NULL DEFAULT NULL,
    "MedicareNbr" VARCHAR(10) NULL DEFAULT NULL,
    "EpStart" DATE NULL DEFAULT NULL, …
Run Code Online (Sandbox Code Playgroud)

sql sql-server azure-sql-database

5
推荐指数
1
解决办法
6282
查看次数

从本地文件批量插入数据到远程sql服务器

我想通过 SQL 管理器将一些数据从我的电脑上的本地文件上传到 azure 上的 sql 数据库。

我试过

BULK INSERT gifts
   FROM 'c:\temp\trouwpartij.txt'  
   WITH   
      (  
         FIELDTERMINATOR =' |',  
         ROWTERMINATOR =' |\n'  
      );  
Run Code Online (Sandbox Code Playgroud)

但不幸的是,该路径指向 sql 服务器上的某个位置,我无法访问该位置。

有什么建议如何在不实际开发小型应用程序的情况下完成这个简单的任务吗?

t-sql azure-sql-database

5
推荐指数
1
解决办法
1万
查看次数