小编Phi*_*aar的帖子

气流 DAG 版本控制

DAG 版本控制是一回事吗?通过几次 Google 搜索,我找不到关于该主题的太多信息。我想查看 Airflow 中的 DAG 屏幕,并确定哪些 DAG 代码在野外。

最简单的解决方案是将版本号作为dag_id 的一部分包含在内,但如果有人有更好的替代解决方案,我将不胜感激。标签也可以工作,并且可能在 UI 中看起来不错——它们是为过滤而设计的,我不确定是否会有不良副作用。

airflow

6
推荐指数
2
解决办法
1253
查看次数

停止使用Java驱动程序观看MongoDB更改流

MongoDB Java驱动程序清楚地说明了如何监视集合并启动/打开更改流,即ChangeStreamIterable:

http://mongodb.github.io/mongo-java-driver/3.9/driver/tutorials/change-streams/

MongoClient mongoClient = MongoClients.create(new ConnectionString("mongodb://localhost:27017,localhost:27018,localhost:27019"));
MongoDatabase database = mongoClient.getDatabase("test");
MongoCollection<Document> collection = database.getCollection("restaurants");

collection.watch().forEach(printBlock);
Run Code Online (Sandbox Code Playgroud)

但是没有关于关闭更改流的解释,API似乎也不支持关闭操作。

为什么不可能呢?是没有必要还是仅仅是疏忽?

适用于所有版本的标准,异步和反应驱动程序。

java mongodb

5
推荐指数
1
解决办法
403
查看次数

通过 Zeppelin 在 Pyspark 3.0.1 中执行解释()“'JavaPackage' 对象不可调用”错误

我正在 Zeppelin 笔记本中为 Hadoop 2.7 运行 Pyspark 3.0.1。一般来说,一切都很好,但是当我在 DataFrame 上执行 df.explain() 时,我收到此错误:

Fail to execute line 3: df.explain()
Traceback (most recent call last):
  File "/tmp/1610595392738-0/zeppelin_python.py", line 158, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 3, in <module>
  File "/usr/local/spark/python/pyspark/sql/dataframe.py", line 356, in explain
    print(self._sc._jvm.PythonSQLUtils.explainString(self._jdf.queryExecution(), explain_mode))
TypeError: 'JavaPackage' object is not callable
Run Code Online (Sandbox Code Playgroud)

有没有人在解释的上下文中遇到并解决过这个错误?

我的 spark/jars 文件夹内容:

activation-1.1.1.jar
aircompressor-0.10.jar
algebra_2.12-2.0.0-M2.jar
alluxio-2.4.1-client.jar
antlr4-runtime-4.7.1.jar
antlr-runtime-3.5.2.jar
aopalliance-1.0.jar
aopalliance-repackaged-2.6.1.jar
apacheds-i18n-2.0.0-M15.jar
apacheds-kerberos-codec-2.0.0-M15.jar
api-asn1-api-1.0.0-M20.jar
api-util-1.0.0-M20.jar
arpack_combined_all-0.1.jar
arrow-format-0.15.1.jar
arrow-memory-0.15.1.jar
arrow-vector-0.15.1.jar
audience-annotations-0.5.0.jar
automaton-1.11-8.jar
avro-1.8.2.jar
avro-ipc-1.8.2.jar
avro-mapred-1.8.2-hadoop2.jar
bonecp-0.8.0.RELEASE.jar
breeze_2.12-1.0.jar
breeze-macros_2.12-1.0.jar
cats-kernel_2.12-2.0.0-M4.jar …
Run Code Online (Sandbox Code Playgroud)

apache-spark pyspark

5
推荐指数
1
解决办法
505
查看次数

npm 缓存和全局文件夹之间的区别

根据文档,npm 有一个全局文件夹和一个缓存文件夹。

全局:Unix 系统上的全局安装转到{prefix} /lib/node_modules。Windows 上的全局安装转到{prefix} /node_modules

缓存:缓存文件存储在 Posix 上的 ~/.npm 中,或 Windows 上的 ~/npm-cache 中

我知道当我运行npm install -g PACKAGE时,PACKAGE 存储在全局文件夹中。那么缓存中存储了什么?它的目的是什么?

node.js npm npm-install

2
推荐指数
1
解决办法
3617
查看次数

标签 统计

airflow ×1

apache-spark ×1

java ×1

mongodb ×1

node.js ×1

npm ×1

npm-install ×1

pyspark ×1