小编Rav*_*ran的帖子

我正在 jupyter notebook 上运行 pyspark 应用程序。在代码的某些部分，我将 pyspark 数据帧转换为 Pandas 数据帧。一旦我执行此操作，我就会收到以下错误。任何人都可以帮助我解决这个问题。谢谢

df = df.toPandas()
    py4j.protocol.Py4JJavaError: An error occurred while calling o127.collectToPython.
: java.lang.OutOfMemoryError: GC overhead limit exceeded
at org.apache.spark.sql.execution.SparkPlan$$anon$1.next(SparkPlan.scala:263)
at org.apache.spark.sql.execution.SparkPlan$$anon$1.next(SparkPlan.scala:257)
at scala.collection.Iterator$class.foreach(Iterator.scala:893)
at org.apache.spark.sql.execution.SparkPlan$$anon$1.foreach(SparkPlan.scala:257)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$executeCollect$1.apply(SparkPlan.scala:279)
at org.apache.spark.sql.execution.SparkPlan$$anonfun$executeCollect$1.apply(SparkPlan.scala:278)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
at org.apache.spark.sql.execution.SparkPlan.executeCollect(SparkPlan.scala:278)
at org.apache.spark.sql.Dataset$$anonfun$collectToPython$1.apply$mcI$sp(Dataset.scala:2768)
at org.apache.spark.sql.Dataset$$anonfun$collectToPython$1.apply(Dataset.scala:2765)
at org.apache.spark.sql.Dataset$$anonfun$collectToPython$1.apply(Dataset.scala:2765)
at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:57)
at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$withNewExecutionId(Dataset.scala:2788)
at org.apache.spark.sql.Dataset.collectToPython(Dataset.scala:2765)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:280)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:214)
at java.lang.Thread.run(Thread.java:748)

我是Azure ML的新手。我有一些疑问。有人可以澄清下面列出的我的疑问。

1. Azure ML服务Azure ML实验服务之间有何区别？
2. Azure ML工作台和Azure ML Studio有什么区别。
3. 我想使用azure ML实验服务来构建一些模型并创建Web API。是否可以使用ML studio做同样的事情。
4. 而且ML实验服务还要求我安装用于创建Web服务的Windows泊坞窗。我可以在不使用docker的情况下创建Web服务吗？

我正在尝试在Nifi中读取配置文件(conf.txt).基于此文件中提供的路径,我想在nifi处理器中配置路径(例如:hdfs文件路径,输入目录路径).

可以使用现有的处理器,还是应该使用自定义处理器.

任何人都可以帮我这个.