小编Tex*_*Tex的帖子

美丽的汤Parse Python

我已经捕获了以下html使用BS4,但似乎无法搜索艺术家标签.我已经将这个代码块分配给一个名为container的变量,然后尝试了

print container.tr.td["artist"]
Run Code Online (Sandbox Code Playgroud)

没有运气.有什么建议表赞赏

<tr class="item">
  <!-- <td class="image"><a href="https://www.stargreen.com/kool-as-the-gang-44415.html" title="KOOL AS THE GANG " class="product-image"><img src="https://www.stargreen.com/media/catalog/product/cache/1/small_image/135x/9df78eab33525d08d6e5fb8d27136e95/K/o/KoolAsTheGang.jpg" width="135" height="135" alt="KOOL AS THE GANG " /></a></td> -->
  <td class="date">Sat, 30 Dec 2017</td>
  <td class="artist">kool as the gang</td>
  <td class="venue">100 club</td>
  <td class="link">
  <p class="availability out-of-stock">
    <span>Off Sale</span></p>
  </td>
</tr>
Run Code Online (Sandbox Code Playgroud)

html python beautifulsoup web-scraping

1
推荐指数
1
解决办法
115
查看次数

Jupyter Notebook - AccessControlException:权限被拒绝:user=livy

我正在使用 Spark/Livy 运行 EMR 集群,并且想要测试 Spark 结构化流。我正在使用 Jupyter Notebook 托管服务(通过 Livy 连接),但是当我在 Jupyter 中尝试此代码时:

query = (wordCounts
.writeStream
.queryName("streamingDF")
.outputMode('complete')
.format('memory')
.start())
Run Code Online (Sandbox Code Playgroud)

我收到以下错误:

调用 o98.start 时发生错误。:org.apache.hadoop.security.AccessControlException:权限被拒绝:user = livy,access = WRITE,inode =“/ mnt / tmp”:hadoop:hadoop:drwxr-xr-x

当 Livy 似乎正在将临时数据写入 HDFS 时,我该如何更改权限以及更改什么权限。我认为使用“内存”选项它会写入驱动程序而不是磁盘。

amazon-emr apache-spark jupyter-notebook

1
推荐指数
1
解决办法
1751
查看次数

Python Producer 可以通过 shell 发送,但不能通过 .py

我有一个正在运行并经过测试的 Kafka 集群,我正在尝试使用 Python 脚本向代理发送消息。这在我使用 Python3 shell 并调用生产者方法时有效,但是当我将这些相同的命令放入 python 文件并执行它时 - 脚本似乎挂起。

我正在为消费者和生产者使用 kafka-python 库。当我使用 Python3 shell 时,我可以看到使用 Kafka GUI 工具 2.0.4 的主题中出现的消息我在 python 代码中尝试了各种循环和语句,但似乎没有任何东西让它“运行”完成。

>>>from kafka import KafkaProducer
>>>producer = KafkaProducer(bootstrap_servers='BOOTSTRAP_SRV:9092')
>>>producer.send('MyTopic', b'Has this worked?')
>>>>>><kafka.producer.future.FutureRecordMetadata object at 0x7f7af9ece048>
Run Code Online (Sandbox Code Playgroud)

这有效并且字节出现在代理主题数据中。

当我将与上面相同的代码放在 python .py 文件中并使用 Python3 执行时,它会完成,但没有数据发送到 Kafka 代理。也没有显示错误。

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='BOOTSTRAP_SRV:9092')
producer.send('MyTopic', b'Some Data to Check')
Run Code Online (Sandbox Code Playgroud)

python python-3.x apache-kafka kafka-python

1
推荐指数
1
解决办法
1184
查看次数