我正在sess.run()循环中使用多个tensorflow推论,碰巧有些推论对我的GPU来说太重了。
我收到如下错误:
2019-05-23 15:37:49.582272: E tensorflow/core/common_runtime/executor.cc:623]
Executor failed to create kernel. Resource exhausted: OOM when allocating tensor of shape [306] and type float
Run Code Online (Sandbox Code Playgroud)
我希望能够捕获这些特定的OutOfMemory错误,但不能捕获其他错误(这可能是由于错误的输入格式或损坏的图形所致。)
显然,其结构类似于:
try:
sess.run(node_output, feed_dict={node_input : value_input})
except:
do_outOfMemory_specific_stuff()
Run Code Online (Sandbox Code Playgroud)
不起作用,因为其他类型的错误将导致对该do_outOfMemory_specific_stuff函数的调用。
任何想法如何捕获这些OutOfMemory错误?
我计划获得一个巨大的数据文件夹。该文件夹的总大小约为2TB,并且包含大约 200 万个文件。我需要对这些文件进行一些处理(主要是删除其中 99%)。
我预计由于数据大小会出现一些问题。我特别想知道Python是否能够os.listdir()在合理的时间内正确列出这些文件。
例如,根据我的经验,在某些情况下,在 Ubuntu 上删除像这样的大文件夹可能会很痛苦。
我是新来的,也是 Python 的新手。我不知道是什么f在print(f'Column names are {"-".join(row)}')做我试着删除它,然后“列名是{‘ - ’加入(行)}”成为普通的字符串
你能告诉我什么f叫,所以我可以谷歌了解更多信息吗?谢谢你们。
import csv
with open('CSV_test.txt') as csv_file:
csv_reader = csv.reader(csv_file, delimiter=',')
line_count = 0
for row in csv_reader:
if line_count == 0:
print(f'Column names are {"-".join(row)}')
line_count += 1
else:
print(f'\t{row[0]} works in the {row[1]} '
f'department, and was born in {row[2]}.')
line_count += 1
print(f'Processed {line_count} lines.')
Run Code Online (Sandbox Code Playgroud) 我有一些代码删除文件第一行的 BOM 标头,如下所示:
\npublic static String removeBOMIndicator(String line) {\n if (line.length() > 1) {\n byte[] bytes = line.getBytes();\n if (bytes.length >= 3 && bytes[0] == (byte) 0xEF && bytes[1] == (byte) 0xBB && bytes[2] == (byte) 0xBF) {\n line = line.substring(1);\n }\n }\n return line;\n}\nRun Code Online (Sandbox Code Playgroud)\n这个函数运行良好,我创建了一个测试用例以确保它保持这种状态。当我使用 IntelliJ 启动它或我们的 SonarQube 实例运行它时,测试顺利通过。
\n但是,当我使用 Git Bash ( ) 启动测试时mvn surefire:test -Dtest=RemoveBomHeadertTest,函数的输出\xe2\x95\x97\xe2\x94\x90在开头包含两个字符。
如果我更改代码以删除前 3 个字符而不是仅删除第一个字符,那么它在 Git Bash 中运行良好,但在 IntelliJ 中,我丢失了字符串的前两个字符。
\n知道为什么这两种情况下的行为substring可能不同吗?
我是机器学习新手,我有一个数据集,该数据集具有高度不平衡的类(以负类为主),并且包含超过 2K 的数字特征,目标是 [0,1]。我训练了一个逻辑回归,虽然我得到了 89% 的准确率,但从混淆矩阵来看,发现模型的 True Positive 非常低。以下是我的模型的分数
Accuracy Score : 0.8965989500114129
Precision Score : 0.3333333333333333
Recall Score : 0.029545454545454545
F1 Score : 0.05427974947807933
如何提高我的真实积极率?我应该使用不同的分类模型吗?
我尝试过 PCA 并将我的数据表示为 2 个组件,它将模型准确率提高到 90%(大约),但真实阳性率再次下降
python ×4
bigdata ×1
data-science ×1
exception ×1
f-string ×1
java ×1
java-11 ×1
listdir ×1
opencv ×1
python-3.x ×1
statistics ×1
stereo-3d ×1
substring ×1
tensorflow ×1
utf-8 ×1