小编blu*_*ers的帖子

从Tensorflow中的.tfrecords文件中获取记录总数

是否有可能从.tfrecords文件中获取记录总数?与此相关,人们如何通常跟踪训练模型时已经过的时期数?虽然我们可以指定batch_sizenum_of_epochs,但我不确定是否可以直接获得诸如current epoch每个时期的批次数等值- 这样我就可以更好地控制培训的进展情况.目前,我只是使用一个肮脏的黑客来计算这个,因为我事先知道我的.tfrecords文件中有多少记录和我的miniatches的大小.感谢任何帮助..

tensorflow tfrecord

24
推荐指数
4
解决办法
1万
查看次数

管道PIL图像到ffmpeg stdin - Python

我正在尝试将html5视频转换为mp4视频,并且我是通过PhantomJS随着时间的推移进行屏幕拍摄

我也使用PIL裁剪图像,所以最终我的代码大致是:

while time() < end_time:
    screenshot_list.append(phantom.get_screenshot_as_base64())
.
.
for screenshot in screenshot_list:
    im = Image.open(BytesIO(base64.b64decode(screenshot)))
    im = im.crop((left, top, right, bottom))
Run Code Online (Sandbox Code Playgroud)

现在我正在保存以删除所有这些图像并使用保存文件中的ffmpeg:

os.system('ffmpeg -r {fps} -f image2 -s {width}x{height} -i {screenshots_dir}%04d.png -vf scale={width}:-2 '
      '-vcodec libx264 -crf 25 -vb 20M -pix_fmt yuv420p {output}'.format(fps=fps, width=width,
                                                                  screenshots_dir=screenshots_dir,
                                                                  height=height, output=output))
Run Code Online (Sandbox Code Playgroud)

但我想要而不是使用那些保存的文件,能够将PIL.Images直接传递给ffmpeg,我该怎么做?

python ffmpeg python-imaging-library phantomjs

13
推荐指数
1
解决办法
2122
查看次数

如何更改 tqdm 的条形大小

我正在使用tqdm的进度条,我想通过使用一个参数来缩短进度条本身,以指示进度条应该有多少个进度条

所以而不是这个

Training (16): 100%|?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????| 983/984 [00:04<00:00, 242.42it/s, loss=0.0598]
Run Code Online (Sandbox Code Playgroud)

我会得到这样的东西

Training (16): 100%|?????????????| 983/984 [00:04<00:00, 242.42it/s, loss=0.0598]
Run Code Online (Sandbox Code Playgroud)

我已经探索了的构造bar_format函数中的参数tqdm,但无法弄清楚如何更改它的大小。

python tqdm

12
推荐指数
2
解决办法
9197
查看次数

docker-compose down --rmi 所有容器共享镜像

我有一个 docker compose 文件,它使用存储在其中的 Dockerfile 构建一些服务,该 compose 看起来像这样

version: '3.5'

services:

  my_app:
    build: ""
    image: my_image
    ....
    ...

  my_two:
    image: my_image
    ...

  my_three:
    image: my_mage
    ...
Run Code Online (Sandbox Code Playgroud)

现在,当我运行时,docker-compose up会发生图像构建(build: ""找到 Dockerfile 并构建它并将其命名为“my_image”),然后其他两个(my_twomy_three)正在使用已经构建的图像。

到目前为止,一切都很好。

问题是,当我运行时,docker-compose down --rmi all它成功删除my_image,但随后重试两次以再次删除图像,因为它们与其他服务关联。

该操作执行其需要执行的操作,停止并删除所有容器并删除图像,但问题是它显示错误消息 - 我想避免这种情况,因为我正在围绕它包装一些软件。

如何才能docker-compose只删除一次图像?

docker docker-compose

11
推荐指数
1
解决办法
2万
查看次数

修改Poetry的虚拟环境PYTHONPATH

我正在使用 Poetry 来管理依赖项 - 不是作为打包工具。\n给出以下布局

\n
.\n\xe2\x94\x9c\xe2\x94\x80\xe2\x94\x80 poetry.lock\n\xe2\x94\x9c\xe2\x94\x80\xe2\x94\x80 pyproject.toml\n\xe2\x94\x9c\xe2\x94\x80\xe2\x94\x80 src\n\xe2\x94\x82\xc2\xa0\xc2\xa0 \xe2\x94\x9c\xe2\x94\x80\xe2\x94\x80 __init__.py\n\xe2\x94\x82\xc2\xa0\xc2\xa0 \xe2\x94\x94\xe2\x94\x80\xe2\x94\x80 my_module.py\n\xe2\x94\x94\xe2\x94\x80\xe2\x94\x80 scripts\n    \xe2\x94\x94\xe2\x94\x80\xe2\x94\x80 my_script.py\n
Run Code Online (Sandbox Code Playgroud)\n

在里面my_script.py我正在使用from src.my_module import MyClass,但是当我打电话时poetry run python scripts/my_script.py我得到:

\n
\n

ModuleNotFoundError:没有名为“src”的模块

\n
\n

我想将根目录添加到PYTHONPATH这个特定环境的目录中,但我想避免每次都手动导出它。

\n

底线我正在寻找诗歌与vitualenvwrappers add2virtualenv的等效项

\n

这在诗歌下可能吗?

\n

python python-poetry

10
推荐指数
1
解决办法
1万
查看次数

TensorFlow tf.data.Dataset和bucketing

对于LSTM网络,我看到了大量的改进.

在TensorFlow文档(tf.contrib)中遇到了分段.

虽然在我的网络中,我正在使用tf.data.DatasetAPI,特别是我正在使用TFRecords,所以我的输入管道看起来像这样

dataset = tf.data.TFRecordDataset(TFRECORDS_PATH)
dataset = dataset.map(_parse_function)
dataset = dataset.map(_scale_function)
dataset = dataset.shuffle(buffer_size=10000)
dataset = dataset.padded_batch(batch_size, padded_shapes={.....})
Run Code Online (Sandbox Code Playgroud)

如何将bucketing方法合并到tf.data.Dataset管道中?

如果重要,在TFRecords文件中的每个记录中,我将序列长度保存为整数.

python tensorflow tensorflow-datasets

9
推荐指数
1
解决办法
1352
查看次数

最大限度地在Keras汇集

我正在使用CNN Keras进行NLP任务,而不是最大池,我试图实现最大化时间池.

关于如何实现这一点的任何想法/黑客?

我所说的最大时间池是指汇集最高值,无论它们在向量中的位置

nlp machine-learning neural-network conv-neural-network keras

8
推荐指数
1
解决办法
1760
查看次数

了解apyori的输出

我熟悉apriori算法,以及支持/置信/提升的含义.

我目前使用的apyori先验落实,我不知道我理解的输出的的apyori.apriori()电话.

就像这样

> RelationRecord(items=frozenset({'item1', 'item2'}),
> support=0.15365410803449842,
> ordered_statistics=[OrderedStatistic(items_base=frozenset({'item1'}),
> items_add=frozenset({'item2'}), confidence=0.6203420891875382,
> lift=2.2233410344037092),
> OrderedStatistic(items_base=frozenset({'item2'}),
> items_add=frozenset({'item1'}), confidence=0.5507049891540131,
> lift=2.2233410344037097)])
Run Code Online (Sandbox Code Playgroud)

规则是什么?有多个支持/信心/提升,每个人表示什么?

我很欣赏输出的每个部分的字典样式解释

python apriori

8
推荐指数
1
解决办法
4006
查看次数

tf.data.Dataset.padded_batch填充每个功能的方式有所不同

我有一个tf.data.Dataset拥有3种不同功能的实例

  • label 这是一个标量
  • sequence_feature 这是一个标量序列
  • seq_of_seqs_feature 这是一个序列序列特征

我试图用来tf.data.Dataset.padded_batch()生成填充数据作为模型输入-我想以不同的方式填充每个功能。

批处理示例:

[{'label': 24,
  'sequence_feature': [1, 2],
  'seq_of_seqs_feature': [[11.1, 22.2],
                          [33.3, 44.4]]},
 {'label': 32,
  'sequence_feature': [3, 4, 5],
  'seq_of_seqs_feature': [[55.55, 66.66]]}]
Run Code Online (Sandbox Code Playgroud)

预期产量:

[{'label': 24,
  'sequence_feature': [1, 2, 0],
  'seq_of_seqs_feature': [[11.1, 22.2],
                          [33.3, 44.4]]},
 {'label': 32,
  'sequence_feature': [3, 4, 5],
  'seq_of_seqs_feature': [[55.55, 66.66],
                           0.0, 0.0    ]}]
Run Code Online (Sandbox Code Playgroud)

如您所见,label不应填充功能,sequence_featureseq_of_seqs_feature应该用给定批次中相应的最长条目填充和和。

python tensorflow tensorflow-datasets

7
推荐指数
1
解决办法
2010
查看次数

PyCharm Jupyter 中的环境变量

在 PyCharm 的标准 Python 控制台或终端中,设置环境变量非常简单。

如何为 PyCharm 托管的 Jupyter 设置环境变量?

python pycharm jupyter

7
推荐指数
2
解决办法
3080
查看次数