小编bor*_*rak的帖子

我坚持使用一个简单的正则表达式.不知道我错过了什么.在正则表达式技能上有点生疏.

我想要匹配的表达是:

select * from table where value like '00[1-9]%'
-- (third character should not be 0)

所以这应该匹配'0090D0DF143A'(格式:文本),但它不是!

我正在Google DataProc群集上运行一个火花工作.但看起来Spark并没有使用vcores群集中的所有可用内容,如下所示

基于像其他一些问题,这个和这个,我已经安装使用群集DominantResourceCalculator来考虑资源分配的两个vCPU和内存

gcloud dataproc clusters create cluster_name --bucket="profiling-
job-default" \
--zone=europe-west1-c \
--master-boot-disk-size=500GB \
--worker-boot-disk-size=500GB \
--master-machine-type=n1-standard-16 \
--num-workers=10 \
--worker-machine-type=n1-standard-16 \
--initialization-actions gs://custom_init_gcp.sh \
--metadata MINICONDA_VARIANT=2 \
--properties=^--^yarn:yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

但是,当我使用自定义火花标记提交我的作业时,看起来YARN不尊重这些自定义参数,默认使用内存作为资源计算的标准

gcloud dataproc jobs submit pyspark --cluster cluster_name \
--properties spark.sql.broadcastTimeout=900,spark.network.timeout=800\
,yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator\
,spark.dynamicAllocation.enabled=true\
,spark.executor.instances=10\
,spark.executor.cores=14\
,spark.executor.memory=15g\
,spark.driver.memory=50g \
src/my_python_file.py 

可以帮助有人弄清楚这里发生了什么？

在思考BitTorrent的工作原理时,我想到了一些问题.如果有人可以分享一些可能的回复,我将不胜感激.

1. 假设BitTorrent从跟踪器获得50个对等体,然后它与其中的20个建立连接以形成对等体.这个对等集是随机选择的还是基于它们的带宽？(我知道将根据提供的带宽选择未被禁用的对等体)随后,如何确定每个连接的带宽(ping可以给我们延迟但不是我假设的带宽)

2. 乐观的unchoke会导致系统中的搭便车问题.考虑到unchoke可能并不总能带来更好的同行,为什么根本不可能放弃这个策略呢？(我假设这个策略可以帮助缓慢带宽的对等端来满足请求,为什么BitTorrent不能采用策略来探测乐观对等体的带宽而不发送数据包;并且为低带宽对等体提供另一个(可能是第5个连接)以便它们不要挨饿.这个第五频道只会传输一小部分频带而不是其他4个频道.这至少可以阻止搭便车吗？