相关疑难解决方法(0)

一些方法可以做到这一点:

1. 阅读整个CSV然后使用 df.tail
2. 以某种方式反转文件(对于大文件最好的方法是什么？)然后使用nrows参数来读取
3. 以某种方式找到CSV中的行数,然后使用skiprows并读取所需的行数.
4. 也许做块读取丢弃初始块(虽然不知道这将如何工作)

可以用更简单的方式完成吗？如果不是,应该优先考虑这三者中的哪一个？为什么？

可能相关:

1. 有效地找到文本文件中的最后一行
2. 使用pandas read_csv和nrows读取~13000行CSV文件的部分内容

没有直接关系:

1. 如何获得最后一行pandas数据帧？

我将多个csv文件的第二列中包含的文本添加到一个列表中,以便稍后对列表中的每个项目执行情绪分析.我的代码目前完全适用于大型csv文件,但我对列表中的项目执行的情绪分析花费的时间太长,这就是为什么我只想读取每个csv文件的前200行.代码如下:

import nltk, string, lumpy 
import math
import glob
from collections import defaultdict
columns = defaultdict(list)
from nltk.corpus import stopwords
import math
import sentiment_mod as s
import glob

lijst = glob.glob('21cf/*.csv')

tweets1 = []
for item in lijst:
    stopwords_set = set(stopwords.words("english"))
    with open(item, encoding = 'latin-1') as d:
        reader1=csv.reader(d)
        next(reader1)
        for row in reader1:
            tweets1.extend([row[2]])
        words_cleaned = [" ".join([words for words in sentence.split() if 'http' not in words and not words.startswith('@')]) for sentence in tweets1]
        words_filtered = [e.lower() for e …