我已经捕获了以下html使用BS4
,但似乎无法搜索艺术家标签.我已经将这个代码块分配给一个名为container的变量,然后尝试了
print container.tr.td["artist"]
Run Code Online (Sandbox Code Playgroud)
没有运气.有什么建议表赞赏
<tr class="item">
<!-- <td class="image"><a href="https://www.stargreen.com/kool-as-the-gang-44415.html" title="KOOL AS THE GANG " class="product-image"><img src="https://www.stargreen.com/media/catalog/product/cache/1/small_image/135x/9df78eab33525d08d6e5fb8d27136e95/K/o/KoolAsTheGang.jpg" width="135" height="135" alt="KOOL AS THE GANG " /></a></td> -->
<td class="date">Sat, 30 Dec 2017</td>
<td class="artist">kool as the gang</td>
<td class="venue">100 club</td>
<td class="link">
<p class="availability out-of-stock">
<span>Off Sale</span></p>
</td>
</tr>
Run Code Online (Sandbox Code Playgroud) 我正在使用 Spark/Livy 运行 EMR 集群,并且想要测试 Spark 结构化流。我正在使用 Jupyter Notebook 托管服务(通过 Livy 连接),但是当我在 Jupyter 中尝试此代码时:
query = (wordCounts
.writeStream
.queryName("streamingDF")
.outputMode('complete')
.format('memory')
.start())
Run Code Online (Sandbox Code Playgroud)
我收到以下错误:
调用 o98.start 时发生错误。:org.apache.hadoop.security.AccessControlException:权限被拒绝:user = livy,access = WRITE,inode =“/ mnt / tmp”:hadoop:hadoop:drwxr-xr-x
当 Livy 似乎正在将临时数据写入 HDFS 时,我该如何更改权限以及更改什么权限。我认为使用“内存”选项它会写入驱动程序而不是磁盘。
我有一个正在运行并经过测试的 Kafka 集群,我正在尝试使用 Python 脚本向代理发送消息。这在我使用 Python3 shell 并调用生产者方法时有效,但是当我将这些相同的命令放入 python 文件并执行它时 - 脚本似乎挂起。
我正在为消费者和生产者使用 kafka-python 库。当我使用 Python3 shell 时,我可以看到使用 Kafka GUI 工具 2.0.4 的主题中出现的消息我在 python 代码中尝试了各种循环和语句,但似乎没有任何东西让它“运行”完成。
>>>from kafka import KafkaProducer
>>>producer = KafkaProducer(bootstrap_servers='BOOTSTRAP_SRV:9092')
>>>producer.send('MyTopic', b'Has this worked?')
>>>>>><kafka.producer.future.FutureRecordMetadata object at 0x7f7af9ece048>
Run Code Online (Sandbox Code Playgroud)
这有效并且字节出现在代理主题数据中。
当我将与上面相同的代码放在 python .py 文件中并使用 Python3 执行时,它会完成,但没有数据发送到 Kafka 代理。也没有显示错误。
from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='BOOTSTRAP_SRV:9092')
producer.send('MyTopic', b'Some Data to Check')
Run Code Online (Sandbox Code Playgroud) python ×2
amazon-emr ×1
apache-kafka ×1
apache-spark ×1
html ×1
kafka-python ×1
python-3.x ×1
web-scraping ×1