我正在处理CSV中的巨大数据集(5,000万行)。我试图对其进行切片并将其另存为羽毛格式,以便在稍后加载羽毛格式时节省一些内存。
作为一种解决方法,我将数据分块加载为CSV文件,然后将其合并到一个数据帧中。
到目前为止,这是我尝试过的:
df[2000000:4000000].to_feather('name')
Run Code Online (Sandbox Code Playgroud)
我遇到以下错误:
ValueError: feather does not support serializing a non-default index for the index; you can .reset_index() to make the index into column(s)
Run Code Online (Sandbox Code Playgroud)
然后,我尝试重置索引,但是仍然出现相同的错误。
我已经看到如何从平面列表中列出列表的相当好的答案.我的问题是在制作列表列表之前弹出一些值并获得以下结果:
l = ['119', '222', '219', '293', '4', '179', '124', '500', '235', '7']
wanted_output = [['119', '222', '219', '293'], '4', ['179', '124', '500', '235'], '7']
Run Code Online (Sandbox Code Playgroud)
到目前为止,我试过这个:
ll = [l[i:i+4] for i in range(0, len(l), 4)]
[['119', '222', '219', '293'], ['4', '179', '124', '500'], ['235', '7']]
Run Code Online (Sandbox Code Playgroud)
结果不是我想要的.我想实现每四个元素包含一个列表列表,下一个元素(每个第4个元素)是独立的和单个元素,例如在这种情况下,4和7是我想要获得的元素.
我想使用 Osmnx 获取最短路径中节点之间的旅行时间。有没有办法获得节点之间的旅行时间。
import networkx as nx
import osmnx as ox
ox.config(use_cache=True, log_console=True)
import pandas as pd
pla__version__Piedmont, CA, USA
G = ox.graph_from_place(place, network_type='drive')
orig = list(G)[0]
dest = list(G)[-1]
route = nx.shortest_path(G, orig, dest)
#fig, ax = ox.plot_graph_route(G, route, route_linewidth=6, node_size=0, bgcolor='k')
for i, val in enumerate(route):
print(i, val, G.nodes[val]['x'], G.nodes[val]['y'])
Run Code Online (Sandbox Code Playgroud)
我想存储在上述循环中实现的节点、纬度和经度,但是有没有办法也存储两个节点之间的行程时间和/或两个节点之间的距离。
我正在尝试使用os.mkdir创建文件夹,并在列表上循环,例如我想要12个名称为月,1月,2月等的文件夹.
import os
months = ["January", "February", "March", "April", "May", "June", "July", "August", "September", "October", "November", "December"]
for month in months:
os.mkdir('D:\\Python_GIS')
Run Code Online (Sandbox Code Playgroud)
像这样的很多行我可以创建我想要的文件夹
import os
os.mkdir('D:\\Python_GIS\\Jan')
os.mkdir('D:\\Python_GIS\\Feb')
os.mkdir('D:\\Python_GIS\\Mar')
os.mkdir('D:\\Python_GIS\\Apr')
os.mkdir('D:\\Python_GIS\\May')
os.mkdir('D:\\Python_GIS\\Jun')
os.mkdir('D:\\Python_GIS\\July')
os.mkdir('D:\\Python_GIS\\Aug')
os.mkdir('D:\\Python_GIS\\Sep')
os.mkdir('D:\\Python_GIS\\Oct')
os.mkdir('D:\\Python_GIS\\Nov')
os.mkdir('D:\\Python_GIS\\Dec')
Run Code Online (Sandbox Code Playgroud)
但有没有办法用循环来做到这一点.
谢谢