小编Ros*_*hel的帖子

使用多个python文件和一个配置文件提交pyspark作业

我有 4 个 python 脚本和 1 个 .txt 配置文件。在 4 个 Python 文件中,其中一个文件具有 Spark 应用程序的入口点,并且还从其他 Python 文件导入函数。但配置文件是在其他一些 python 文件中导入的,该文件不是 Spark 应用程序的入口点。我想在 pyspark 中编写 Spark Submit 命令,但是当配置文件不是 python 文件而是文本文件或 ini 文件时,我不确定如何使用 Spark Submit 命令沿配置文件提供多个文件。

用于演示:4 个 python 文件: file1.py 、 file2.py 、 file3.py 。文件4.py

1个配置文件:conf.txt

file1.py:这个文件有spark会话并调用所有其他python文件。file3.py:这个python文件正在读取conf.txt。

我想通过 Spark Submit 提供所有这些文件,但不确定 command 。我确定的一种解决方案是:

spark-submit --master local  --driver-memory 2g --executor-memory  2g --py-files s3_path\file2.py,s3_path\file3.py,s3_path\file4.py  s3_path\file1.py
Run Code Online (Sandbox Code Playgroud)

但对于上面的 Spark Submit 我不知道如何传递 conf.txt 。

python apache-spark pyspark spark-submit

6
推荐指数
1
解决办法
9735
查看次数

有没有办法将 CSR 和 SSR 结合到同一个 Angular 应用程序中?

我的团队正在寻求构建类似Medium克隆的东西。用户创建的帖子预计不会有太大变化,因此SSR/SSG似乎是一个不错的选择,特别是如果有一些增量构建功能可用。然而,帖子上的“赞成票”之类的事情可能会经常发生变化,因此我们不确定如何适应这种情况。

此外,应用程序的一部分超出了登录范围,例如仪表板或用于创建新帖子的编辑器等,不需要 SEO,因此我们正在考虑是否可以通过 CSR 来完成,而其他部分仍然是SSG或SSR。

这样的组合可以用Angular Universal来完成吗?到目前为止,我们一直在制作 CSR Angular SPA,所以如果问题有点愚蠢,我们深表歉意:(

server-side-rendering angular

5
推荐指数
1
解决办法
4990
查看次数

Flask 被 OpenCV 冻结

在我当前的烧瓶项目中,我正在尝试流式传输两个现场视频,这听起来很简单。问题是我只有一个视频源(相机)。目的是有两个视频流:一个没有任何修改,一个应用了人脸检测。如果用户想要进行人脸检测,那么通过单击按钮,他的相机视图将更改为应用了人脸检测的流。如果用户不想拥有它,那么他将看到没有它的流。非常重要的是 - 多个用户可以一次查看流。整个程序适用于 RPi 4B 4gb。

我有一个 CamerasPool 类:

from .CameraHandler import CameraHandler

import cv2

class CamerasPool:
    def __init__(self):
        self.__cameras = []

    def registerCamera(self, id, detection):
        self.__cameras.append(CameraHandler(id, cv2.VideoCapture(0), detection))
        print('Camera registered')

    def getCamWithParameters(self, detection):
        camera = None

        for cam in self.__cameras:
            if cam.getDetectionState() == detection:
                camera = cam
                break

        return camera
Run Code Online (Sandbox Code Playgroud)

和 CamerasHandler 类:

import cv2
from time import sleep

class CameraHandler():
    def __init__(self, id, cam, detectionState):
        self.__id = id
        self.__cam = cam
        self.__current_frame = None
        self.__shouldDetect = detectionState
        print(f'Camera …
Run Code Online (Sandbox Code Playgroud)

python opencv flask python-3.x raspberry-pi

5
推荐指数
1
解决办法
374
查看次数

BERT 和 ALBERT 的训练数据损失大且准确率低

我正在使用 HuggingfaceTFBertModel来执行分类任务(从这里: ),我使用的是TFBertModel带有头部密集层的裸露,而不是TFBertForSequenceClassification因为我没有看到如何使用后者使用预训练权重来仅微调模型.

据我所知,微调应该给我 BERT 和 ALBERT 大约 80% 或更高的准确率,但我什至没有接近这个数字:

Train on 3600 samples, validate on 400 samples
Epoch 1/2
3600/3600 [==============================] - 177s 49ms/sample - loss: 0.6531 - accuracy: 0.5792 - val_loss: 0.5296 - val_accuracy: 0.7675
Epoch 2/2
3600/3600 [==============================] - 172s 48ms/sample - loss: 0.6288 - accuracy: 0.6119 - val_loss: 0.5020 - val_accuracy: 0.7850
Run Code Online (Sandbox Code Playgroud)

更多的时代并没有太大的区别。

我正在使用 CoLA 公共数据集进行微调,数据如下所示:

gj04    1       Our friends won't buy this analysis, let alone …
Run Code Online (Sandbox Code Playgroud)

python machine-learning deep-learning keras tensorflow

4
推荐指数
1
解决办法
2120
查看次数

message.content.startswith Discord.Py

@client.event
async def on_message(message):
    await client.process_commands(message)
    if message.content.startswith('sa'):
        await message.channel.send('as')
Run Code Online (Sandbox Code Playgroud)

这是我的代码。as当我说的时候它应该说sa。它工作正常,但是当我编写salah或以 开头的任何内容时sa,它会检测到它并做出响应。它不应该那样工作。我阅读了文档但找不到任何东西,我知道这是因为.startswith但我找不到任何替代品。

python discord.py

4
推荐指数
1
解决办法
5881
查看次数

避免在react + typescript中使用通用函数类型

我正在寻找一条规则来阻止使用“函数”作为类型

myMethod: Function;

我没有找到任何东西,所以我愿意接受建议:)

typescript reactjs eslint

3
推荐指数
1
解决办法
8772
查看次数

如何调试 angular 项目中损坏的 ng lint

在我的 angular 应用程序中,当我运行 nglint 时,我得到了这个异常

    Cannot read property 'check-regex' of undefined

[error] TypeError: Cannot read property 'check-regex' of undefined

    at Rule.getRuleOptions (node_modules\tslint\lib\rules\maxLineLengthRule.js:51:72)
    at Rule.isEnabled (node_modules\tslint\lib\rules\maxLineLengthRule.js:39:26)
    at Object.loadRules (node_modules\tslint\lib\ruleLoader.js:48:22)
    at Linter.getEnabledRules (node_modules\tslint\lib\linter.js:232:29)
    at Linter.lint (node_modules\tslint\lib\linter.js:107:33)
    at _lint (node_modules\@angular-devkit\build-angular\src\tslint\index.js:146:20)
    at async _run (node_modules\@angular-devkit\build-angular\src\tslint\index.js:60:29)
Run Code Online (Sandbox Code Playgroud)

有人知道如何调试吗。有没有办法像我们做代码(c#、javascript)一样调试它。

typescript tslint angular

3
推荐指数
1
解决办法
249
查看次数

安装的 scikit-learn 无法正常工作

运行以下代码时出现此错误:

from sklearn.decomposition import LatentDirichletAllocation
Run Code Online (Sandbox Code Playgroud)

导入错误:无法从部分初始化的模块“sklearn”导入名称“__check_build”(很可能是由于循环导入)。

当我检查pip freezescikit-learn 已安装时。另外,我尝试卸载并重新安装 sklearn,现在我遇到了不同的错误:

ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: 'C:\\Users\\<user>\\AppData\\Local\\Packages\\PythonSoftwareFoundation.Python.3.8_qbz5n2kfra8p0\\LocalCache\\local-packages\\Python38\\site-packages\\sklearn\\datasets\\tests\\data\\openml\\292\\api-v1-json-data-list-data_name-australian-limit-2-data_version-1-status-deactivated.json.gz'
Run Code Online (Sandbox Code Playgroud)

python pip python-3.x scikit-learn sklearn-pandas

2
推荐指数
1
解决办法
1555
查看次数

何时以及为何在 MikroOrm 中使用 em.clear()

我对 MikroOrm 或任何类似实体管理器中的功能有点困惑em.clear()https://mikro-orm.io/docs/entity-manager方法的链接clear()

我似乎有一些关于一般 EntityManager 的 stackoverflow 答案说我需要clear()在每次调用后调用persist/remove and flush以避免任何内存问题。

为了使这个问题更具体地适合我的情况,据说我在我的应用程序中建立了一个Graphql端点。有一些通用的 CRUD 函数供用户调用,每个函数都会MikroOrm entity利用一些 MikroOrm 函数(例如findOne()等)创建一个对数据库进行一些通用 CRUD 操作的函数。

这是否意味着我需要clear()每次调用persist/remove and flush(如果有一些 CUD 操作)甚至仅读取数据?如果我不调用这个方法会发生什么?

entitymanager mikro-orm

2
推荐指数
1
解决办法
2520
查看次数

cv2.imwrite 返回 false 而不是保存图像

我正在编写保存图像的代码。cv2.imwrite 函数返回 false,而不是保存图像。我在下面的代码中重现了该问题:

Uni_ID = 123
cam=cv2.VideoCapture(0)
rett, img = cam.read()

now = datetime.now()
dtString =  now.strftime('%d-%m-%Y')
timeString = now.strftime('%H:%M:%S')
path = 'IMG'
name = path + '/' + dtString
#     print(name)
if not os.path.exists(name):
    os.makedirs(name)
imgName = name + '/'+ str(Uni_ID) + '_' + timeString + '.jpg'
print(imgName)
cv2.imwrite(imgName, img)
Run Code Online (Sandbox Code Playgroud)

最后一行的 cv2.imwrite 函数没有保存图像,而是返回 false。代码的输出是:

IMG/03-09-2020/123_17:59:58.jpg
False
Run Code Online (Sandbox Code Playgroud)

python opencv python-3.x

1
推荐指数
1
解决办法
1916
查看次数

无法在 R 中并行化具有多个参数的函数

我尝试并行化一个简单的函数,该函数将两个数字相加并在库中R使用时打印结果。这是我的代码:mclapplyparallel

\n
library(doParallel)\nt = list(list(1,1),list(2,2),list(3,3))\nf <- function (a,b){\n    print(a + b)\n}\nmclapply(t,f)\n
Run Code Online (Sandbox Code Playgroud)\n

但它返回错误:

\n
Warning message in mclapply(t, f):\n\xe2\x80\x9call scheduled cores encountered errors in user code\xe2\x80\x9d\n
Run Code Online (Sandbox Code Playgroud)\n
[[1]]\n[1] "Error in print(a + b) : argument \\"b\\" is missing, with no default\\n"\nattr(,"class")\n[1] "try-error"\nattr(,"condition")\n<simpleError in print(a + b): argument "b" is missing, with no default>\n\n[[2]]\n[1] "Error in print(a + b) : argument \\"b\\" is missing, with no default\\n"\nattr(,"class")\n[1] "try-error"\nattr(,"condition")\n<simpleError in print(a + b): argument "b" is missing, with …
Run Code Online (Sandbox Code Playgroud)

parallel-processing r mclapply

1
推荐指数
1
解决办法
637
查看次数

警告:将其设置为单个字符串

这个警告是什么意思?我怎样才能摆脱这个?

Support for setting the 'text.latex.preamble' or 'pgf.preamble' rcParam to a list of strings is deprecated since 3.3 and will be removed two minor releases later; set it to a single string instead.
  plt.rcParams['text.latex.preamble'] = [r"\usepackage{bm}", [r"\usepackage{amsmath}"]
Run Code Online (Sandbox Code Playgroud)

代码:

import matplotlib.pyplot as plt
plt.rcParams['text.latex.preamble'] = [r"\usepackage{bm}"], [r"\usepackage{amsmath}"]

params = {'text.usetex' : True,
          'font.size' : 28,
          'font.family' : 'lmodern',
          }
plt.rcParams.update(params)
Run Code Online (Sandbox Code Playgroud)

matplotlib python-3.x

1
推荐指数
1
解决办法
3489
查看次数