小编NG_*_*_21的帖子

使用python将csv文件写入SQL Server数据库

您好我正在尝试使用python将csv文件写入SQL Server数据库中的表.我传递参数时遇到错误,但手动操作时我没有遇到任何错误.这是我正在执行的代码.

cur=cnxn.cursor() # Get the cursor
csv_data = csv.reader(file(Samplefile.csv')) # Read the csv
for rows in csv_data: # Iterate through csv
    cur.execute("INSERT INTO MyTable(Col1,Col2,Col3,Col4) VALUES (?,?,?,?)",rows)
cnxn.commit()
Run Code Online (Sandbox Code Playgroud)

错误:pyodbc.DataError:('22001','[22001] [Microsoft] [ODBC SQL Server驱动程序] [SQL Server]字符串或二进制数据将被截断.(8152)(SQLExecDirectW); [01000] [Microsoft] [ ODBC SQL Server驱动程序] [SQL Server]语句已终止.(3621)')

但是,当我手动插入值时.它工作正常

cur.execute("INSERT INTO MyTable(Col1,Col2,Col3,Col4) VALUES (?,?,?,?)",'A','B','C','D')
Run Code Online (Sandbox Code Playgroud)

我确保数据库中存在TABLE,数据类型与我传递的数据一致.连接和光标也正确.行的数据类型是"列表"

python sql-server csv pyodbc

13
推荐指数
1
解决办法
5万
查看次数

如何处理 sklearn 随机森林中的类不平衡。我应该使用样本权重还是类权重参数

我正在尝试解决类不平衡的二元分类问题。我有一个包含 210,000 条记录的数据集,其中92%0s8%1s。我使用sklearn (v 0.16)pythonrandom forests

我看到有两个参数sample_weight,并class_weight 在构造分类。我目前正在使用参数class_weight="auto"

我正确使用它吗?class_weight 和 sample weight 实际做什么,我应该使用什么?

python random-forest scikit-learn supervised-learning

5
推荐指数
1
解决办法
3043
查看次数

如何编写一个返回字典类型的 python 函数 udf

我正在与 pyspark 合作。我有一个火花数据框,其格式如下

| person_id | person_attributes
____________________________________________________________________________
| id_1    "department=Sales__title=Sales_executive__level=junior"
| id_2    "department=Engineering__title=Software Engineer__level=entry-level" 
Run Code Online (Sandbox Code Playgroud)

我编写了一个 python 函数,它接受 person_id 和 person_attributes 并返回以下格式的 json {"id_1":{"properties":[{"department":'Sales'},{"title":'Sales_executive'},{}]}}

但我不知道如何将其注册为具有正确输出类型的udfin pyspark。这是Python代码

def create_json_from_string(pid,attribute_string):
    results = []
    attribute_map ={}
    output = {}

    # Split the attribute_string into key,value pair and store it in attribute map
    if attribute_string != '':
        attribute_string = attribute_string.split("__") # This will be a list 
        for substring in attribute_string:
            k,v = substring.split("=")
            attribute_map[str(k)] = str(v)

    for k,v in attribute_map.items():
        temp …
Run Code Online (Sandbox Code Playgroud)

python user-defined-functions apache-spark apache-spark-sql pyspark

5
推荐指数
1
解决办法
8860
查看次数

如何使用Python在for循环中向谷歌云中的文件写入和读取json对象

我正在尝试使用 python 将 json 对象列表写入谷歌云中的文件。我能够在文件中写入单个对象。但当我尝试将其写入 for 循环时,它不起作用。

这是适用于单个对象但在我迭代编写时不起作用的代码


from google.cloud import storage
import json

bucket_name = 'gcs_bucket_user'
bucket = storage.Client().get_bucket(bucket_name)

for i in range(0,5):
    json_object = {'i': 'i'}
    blob = bucket.blob('text.json')
    blob.upload_from_string(data=json.dumps(json_object),content_type='application/json')

Expected Output
{'0':'0'}
{'1':'1'}
{'2':2}
and so on 
Run Code Online (Sandbox Code Playgroud)

但这并不是在 json 文件中追加对象。它正在覆盖它们。

另外,从谷歌云中的此类文件中迭代读取 json 对象的方法是什么

python json google-cloud-storage google-cloud-platform

4
推荐指数
1
解决办法
1万
查看次数

如何在python中查找字典列表中的累计项目总和

我有一个类似的列表

a=[{'time':3},{'time':4},{'time':5}]
Run Code Online (Sandbox Code Playgroud)

我想像这样以相反的顺序得到值的累积和

b=[{'exp':3,'cumsum':12},{'exp':4,'cumsum':9},{'exp':5,'cumsum':5}]
Run Code Online (Sandbox Code Playgroud)

获得这个的最有效方法是什么?我已经阅读了其他答案,其中使用numpy给出了解决方案

a=[1,2,3]
b=numpy.cumsum(a)
Run Code Online (Sandbox Code Playgroud)

但我也需要在字典中插入cumsum

python dictionary numpy deque pandas

3
推荐指数
1
解决办法
1668
查看次数

从x,y坐标检测左转或右转的算法

我有一个x,y坐标的数据集,从原点开始,每秒记录一次.我可以检测距离,速度,加速度,位移模数.是否有任何算法来检测左转还是右转?

我目前正在计算每10秒的距离和位移模数,如果位移大约等于距离,那么车辆在直线路径上,但是值的变化则涉及转弯.

有一个算法来决定转弯是左还是右?我的数据看起来像这样

Time   x     y
 0     0     0
 1    -0.2  -0.1
 2    -0.7   0.9
 3    -0.8   0.9
 4    -1     0.8
 5    -1.1   0.8
 6    -1.2   0.7
 7    -1.4   0.7
 8    -1.9   1.7
 9    -2     1.7
10    -2.2   1.6
11    -2.3   1.6
12    -2.5   1.5
13    -2.6   1.5
14    -2.7   1.5
15    -2.9   1.4
16    -3.6   1.2
17    -4.1  -0.1
18    -4.7  -1.5
19    -4.7  -2.6
20    -4.3  -3.7
21    -4.3  -3.7
22    -4.7  -3.8
23    -6.2  -3.1
24    -9.9 …
Run Code Online (Sandbox Code Playgroud)

python algorithm graph

1
推荐指数
1
解决办法
1927
查看次数