标签: etl

登台表是仅在数据仓库项目中使用还是在任何SSIS项目中使用？我想知道什么是临时表？谁能给我一些关于如何使用它以及在什么情况下实现它的例子？另外,我可以在使用它时了解最佳做法吗？

我有一个要求,我需要更改(添加2列),然后更新同一个表.

这是我试过的查询:

ALTER TABLE A
ADD c1 int,c2 varchar(10)

UPDATE  A set c1 = 23, c2 = 'ZZXX'

我需要一次运行上面两个查询.

我正在使用Talend ETL工具,在这里我们有一个组件tMssqlrow,它允许我们运行多个查询(我在单个组件中使用10到15个更新查询).

但上面的查询不起作用.

我在DataBase Microsoft SQL中测试过.我收到以下错误:

Msg 207,Level 16,State 1,Line 5

列名称"c1"无效.消息207,

16级,1号,5号线

列名称"c2"无效.

任何人都可以帮我解决这个问题.

是否可以选择使用标题将CSV加载到Redshift中？我看到了CSV的文档,但它没有说明标题.理想情况下,它可以使用标头来确定要加载的列.

我在我的机器上运行SQL Server 2014.我已经为Visual Studio 2017安装了SSDT,我也有.现在我无法在Visual Studio中找到SSIS工具箱.我是否需要重新安装SSDT？请告诉我.提前致谢.

问题

我正在尝试使用SQL Server Management Studio的Import Data任务将数据导入表中.它只带来了26行,原来的49,325行.(编辑:这是99.9%来自的地方:(1-26/49325)*100 = 99.9%

在企业管理器中正确使用DTS会带来所有49,325行.

为什么SSMS没有导入所有行,报告它成功传输了49,325,并且没有遇到任何错误？为什么企业管理器能够正确导入所有49,325行？

Microsoft SQL Server Management Studio版本:10.0.1600.22(从SQL Server 2008开始,今天安装在全新的Windows 7计算机上,应用了SP1)

证明 - 使用SSMS导入

该STRTransactions表最初是空的:

Source是以下ContosoFrobManager数据库lithium:

目的地是Grob数据库lithium;

我想从一个(或多个)表复制数据:

我想复制STRTransactions表格:

您可以附加到现有表,这很好(它是空的).我想启用身份插入.并且不要尝试导入时间戳(因为你无论如何都会抱怨):

马上跑,没关系:

是的,你要做的事情:

我设法在传输49,325行时捕获它,大约在1k标记处:

全部完成.成功复制了所有49,325行:

这是报告:

执行成功

• 初始化数据流任务(成功)

• 初始化连接(成功)

• 设置SQL命令(成功)

• 设置源连接(成功)

• 设置目标连接(成功)

• 验证(成功)消息警告0x80049304:数据流任务1:警告:无法打开全局共享内存以与性能DLL通信; 数据流性能计数器不可用.要解决此问题,请以管理员身份运行此程序包,或在系统控制台上运行.(SQL Server导入和导出向导)警告0x80047076:数据流任务1:输出"OLE DB源输出"(11)上的输出列"timestamp"(158)和组件"Source - STRTransactions"(1)随后未使用在数据流任务中.删除此未使用的输出列可以提高数据流任务性能.(SQL Server导入和导出向导)

• 准备执行(成功)

• 预执行(成功)

• 执行(成功)

• 复制到[dbo].[STRTransactions](成功)传输49325行

消息信息0x402090df:数据流任务1:"组件"目标中的数据插入的最终提交 - STRTransactions"(163)"已启动.(SQL Server导入和导出向导)信息0x402090e0:数据流任务1:"组件"目标中的数据插入的最终提交 - STRTransactions"(163)"已结束.(SQL Server导入和导出向导)

• 后执行(成功)消息信息0x4004300b:数据流任务1:"组件"目标 - STRTransactions"(163)"写入49325行.(SQL Server导入和导出向导)

优秀.全部完成." 写了49325行 ". …

我需要一个SSIS表达式来获取分隔符之前的字符串的左侧部分,然后将新字符串放在一个新列中.我检查了派生列,似乎没有这样的表达式."Substring"只能返回固定长度的字符串部分.

例如,使用分隔符字符串' - ':

Art-Reading                Should return Art
Art-Writing                Should return Art
Science-chemistry          Should return Science

PS我知道这可以在MySQL中使用SUBSTRING_INDEX()完成,但我在SSIS中寻找一个等价物,或者至少在SQL Server中

我需要使用带有SSIS的CSV文件创建数据库.CSV文件包含四列:

我需要使用该表的信息来填充我在下面的SQL中创建的三个表.

我已经意识到我需要的是使用Employee Table的一列EmployeeNumber和Group Table GroupID来填充EmployeeGroup表.为此,我认为Join Merge表是我需要的,但是我在SSIS中创建了数据流任务,结果是相同的,没有数据显示.

中间表是用于关联其他表的表.

我在SSIS中创建了包,并填充了Employee和Group Tables,但没有填充EmployeeGroup表.EmployeeGroup仅显示没有数据的EmployeeNumber和Group ID列.

我是新用的SSIS,我真的不知道还能做什么.我将非常感谢你的帮助.

我正在使用MySQLdb和Python.我有一些基本的查询,例如:

c=db.cursor()
c.execute("SELECT id, rating from video")
results = c.fetchall()

我需要"结果"作为NumPy数组,而且我希望我的内存消耗更经济.似乎逐行复制数据会非常低效(需要双倍的内存).有没有更好的方法将MySQLdb查询结果转换为NumPy数组格式？

我想要使​​用NumPy数组格式的原因是因为我希望能够轻松地对数据进行切片和切块,并且在这方面看起来python对于多维数组似乎并不友好.

e.g. b = a[a[:,2]==1] 

谢谢!

我正在SSIS 2012中处理数据集市加载包.当尝试在Visual Studio中执行包时,我收到此错误:

"AcquireConnection方法调用连接管理器Data Warehouse.ssusr失败,错误代码为0xC0014009".

当我测试Connection Manager Data Warehouse.ssusr的连接时,我看到它通过了.

当我使用Execute Package Utility在Visual Studio外部执行包时,包运行.

我不明白发生了什么.

该程序包还拒绝使用SQL Server作业计划运行,如果这与任何事情有关.

我知道pyodbc是一个较旧的项目,可能更具特色和强大,但它的设计是什么(基于编译的C代码的组件),这会使它优于纯Python实现,如pypyodbc？

我做了很多ETL工作,并且正在考虑从Linux/Jython/JDBC方法切换到Windows/Cygwin/Python/ODBC方法.