小编Raj*_*Raj的帖子

这里有一个火花新手.我最近开始使用该命令在我的本地计算机上使用两个核心来玩火花.

pyspark - 本地大师[2]

我有一个393 Mb的文本文件,有近百万行.我想执行一些数据操作操作.我正在使用Pyspark的内置Dataframe函数来执行简单的操作,如groupBy,sum,max.STDDEV.

无论如何,当我在完全相同的数据集上对熊猫进行完全相同的操作时,大熊猫似乎在延迟方面以极大的差距击败了pyspark.

我想知道这可能是什么原因.我有几个想法.

1. 内置函数是否低效地执行序列化/反序列化过程？如果是,那么它们的替代品是什么？
2. 数据集是否太小,以至于无法超过运行spark的基础JVM的开销成本？

谢谢你的期待.非常感激

Scrapy可以请求带GET参数的URL 以交互方式探索响应:

scrapy shell "https://duckduckgo.com/?q=foo"

但是对于某些网站,我的请求被301重定向并且URL参数被剥离:

DEBUG: Redirecting (301) to <GET http://foo.com/mypage/> 
  from <GET http://foo.com/mypage/?bar=baz>
DEBUG: Crawled (200) <GET http://foo.com/mypage/> (referer: None)

当我http://foo.com/mypage/?bar=baz正常访问我的浏览器时,我没有被重定向,GET参数仍然存在.

任何人都可以建议我如何避免被重定向？