我正在从api网站下载Json数据,并使用sqlalchemy,pyodbc和pandas的to_sql函数将该数据插入到MSSQL服务器中.
我可以下载最多10000行,但是我必须将chunksize限制为10,否则我会收到以下错误:
DBAPIError:(pyodbc.Error)('07002','[07002] [Microsoft] [SQL Server Native Client 11.0] COUNT字段不正确或语法错误(0)(SQLExecDirectW)')[SQL:'INSERT INTO [TEMP_producing_entity_details]
有大约5亿行可供下载,它只是以这种速度爬行.有关解决方法的任何建议吗?
谢谢,
我有一个像这样的数据帧:
vals = {"operator": [1, 1, 1, 2, 3, 5], "nextval": [2, 3, 6, 4, 5, 6]}
df = pd.DataFrame(vals)
operator nextval
0 1 2
1 1 3
2 1 6
3 2 4
4 3 5
5 5 6
Run Code Online (Sandbox Code Playgroud)
我想要做的是使用运算符和 nextval 获取从起点(如 1)到终点(如 6)的所有可能路径的列表,而不是严格意义上的最短路径。输出可以很灵活,但我正在寻找这样的东西或传达这一点的东西:
1 -> 6
1 -> 2 -> 4
1 -> 3 -> 5 -> 6
Run Code Online (Sandbox Code Playgroud)
我能够关闭它,但不确定如何正确地进行递归,因为 dict 无法处理 2 个相同的键:
import pandas as pd
vals = {"operator": [1, 1, 1, 2, 3, 5], "nextval": [2, …Run Code Online (Sandbox Code Playgroud) 我的数据库包含“网站”列,其中包含以下数据:
foo1.web.com
foo2.gov
doo3.shoo.net
baa.com
baa2.shoo.com
Run Code Online (Sandbox Code Playgroud)
我正在寻找一条选择语句,该语句可以捕获所有类似变量的内容,但是仅在第一个句点之前,我想忽略句点之后的所有内容:
DELCARE @variable varchar(MAX);
SET @variable = 'oo';
SELECT * WHERE website LIKE '%' + @variable + '%' --(but only apply like statement up to the first .)
Run Code Online (Sandbox Code Playgroud)
所以我会得到的是:
foo1.web.com
foo2.gov
doo3.shoo.net
Run Code Online (Sandbox Code Playgroud)
但它会遗漏
baa2.shoo.com
Run Code Online (Sandbox Code Playgroud)
我在这里先向您的帮助表示感谢!
编辑:使用SQL Server