小编jsa*_*yce的帖子

json和请求的Dask内存泄漏问题

这只是在远程 Dask kubernetes 集群中重现内存泄漏问题的示例最小测试。

def load_geojson(pid):
    import requests
    import io
    r = requests.get("https://github.com/datasets/geo-countries/raw/master/data/countries.geojson")
    temp = r.json()
    import sys
    size_temp = sys.getsizeof(temp)
    del temp
    return size_temp

L_geojson = client.map(load_geojson, range(200))

del L_geojson
Run Code Online (Sandbox Code Playgroud)

观察:每次运行时工作内存(字节存储)稳定增加约 30 MB,并持续增加直到使用整个内存。我用 urllib 尝试的另一个测试,我观察到每次运行时内存随机增加和减少。

预期行为:删除引用 L_geojson 后应清理内存。

有人可以帮忙解决这个内存泄漏问题吗?

json python-requests dask dask-distributed dask-kubernetes

6
推荐指数
1
解决办法
360
查看次数

在Docker中以headful模式执行人偶的问题

我是puppeteer和docker的新手。我在docker容器中以headful模式设置人偶时遇到问题。

Puppeteer version: 1.6.2 Platform / OS version: Docker node:8-slim Node.js version: node 8
Run Code Online (Sandbox Code Playgroud)

DockerFile-

FROM node:8-slim
RUN apt-get update && apt-get install --no-install-recommends -y ca-certificates curl fontconfig fonts-liberation gconf-service git libappindicator1 libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libnss3 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 locales lsb-release unzip wget xdg-utils

RUN apt-get update && apt-get install -y wget --no-install-recommends && wget -q …
Run Code Online (Sandbox Code Playgroud)

docker puppeteer

0
推荐指数
1
解决办法
1688
查看次数