相关疑难解决方法(0)

我有一个非常大的文件4GB,当我尝试阅读它时,我的电脑挂起.所以我想逐一阅读它并在处理完每件之后将处理过的零件存储到另一个文件中并阅读下一篇文章.

yield这些作品有什么方法吗？

我很想拥有一种懒惰的方法.

我尝试在 GC AppEngine 上部署应用程序。部署过程中没有错误，但应用程序无法运行（仅显示加载页面）。日志中唯一一个奇怪的原始日志

OpenBLAS WARNING - could not determine the L2 cache size on this system

顺便说一句 - 它在我的本地机器上运行良好。
这是基于 Dash 框架的 python Web 应用程序

我的应用程序.yaml：

runtime: python37
service: service-name
instance_class: F2

entrypoint: gunicorn -b :$PORT main:app.server

要求.txt：

Flask==1.0.2
dash==0.34.0
dash-html-components==0.13.4
dash-core-components==0.41.0
dash-table==3.1.11
gunicorn==19.9.0
google-cloud-pubsub==0.37.2
requests==2.21.0
pandas==0.23.4

使用Flask处理超大文件上传(1 GB +)的最佳方法是什么？

我的应用程序本质上需要多个文件为它们分配一个唯一的文件号,然后根据用户选择的位置将其保存在服务器上.

我们如何将文件上传作为后台任务运行,这样用户就不会让浏览器旋转1小时,而是可以立即进入下一页？

• Flask开发服务器能够获取大量文件(50gb需要1.5小时,上传速度很快但将文件写入空白文件非常慢)
• 如果我用Twisted包装应用程序,应用程序会在大文件上崩溃
• 我已经尝试过将Celery与Redis一起使用,但这似乎不是发布上传的选项
• 我在Windows上,网络服务器的选项较少

我正在尝试将word2vec模型保存起来，然后基于该模式创建一些集群，它在本地运行良好，但是当我创建docker映像并与gunicorn一起运行时，它总是给我超时错误，我在这里尝试了描述的解决方案，但是它对我没有锻炼

我在用

python 3.5
gunicorn 19.7.1
gevent 1.2.2
eventlet 0.21.0

这是我的gunicorn.conf文件

#!/bin/bash

# Start Gunicorn processes
echo Starting Gunicorn.
exec gunicorn ReviewsAI.wsgi:application \
    --bind 0.0.0.0:8000 \
    --worker-class eventlet
    --workers 1
    --timeout 300000
    --graceful-timeout 300000
    --keep-alive 300000

我也尝试了工人阶级的课程，gevent,sync但没有成功。谁能告诉我为什么持续发生此超时错误。谢谢

这是我的日志

Starting Gunicorn.
[2017-11-10 06:03:45 +0000] [1] [INFO] Starting gunicorn 19.7.1
[2017-11-10 06:03:45 +0000] [1] [INFO] Listening at: http://0.0.0.0:8000 (1)
[2017-11-10 06:03:45 +0000] [1] [INFO] Using worker: eventlet
[2017-11-10 06:03:45 +0000] [8] [INFO] Booting worker with pid: …

我运行了一个Flask应用程序gunicorn（在装有 Ubuntu 20.04 的 Dell latitude 5410 笔记本电脑上），我配置了Docker以按照本精彩指南中的建议运行它。

这是我的boot.sh：

#!/bin/sh
source venv/bin/activate
while true; do
    flask db init
    flask db migrate
    flask db upgrade
    if [[ "$?" == "0" ]]; then
        break
    fi
    echo Deploy command failed, retrying in 5 secs...
    sleep 5
done
exec gunicorn -b 0.0.0.0:5000 --access-logfile - --error-logfile - main:app

并将Dockerfile其称为入口点：

FROM python:3.8-alpine

RUN adduser -D diagnosticator

RUN apk add --no-cache bash mariadb-dev mariadb-client python3-dev …

我在 Kubernetes 中运行 DjangoRestAPI，并注意到当我在同一部署上使用 Gunicorn 来服务 DjangoRestAPI 时，性能非常差。一个简单的 HttpResponse 平均需要大约 6000 毫秒。如果没有gunicorn，通过 服务python manage.py runserver，同样的请求只需要50ms。

这是我通过运行命令对 djangoRestAPI 和 Gunicorn 进行的部署gunicorn api.wsgi --bind 0.0.0.0:8000

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  labels:
    app: djangoapi
    type: web
  name: djangoapi
  namespace: "default"
spec:
  replicas: 3
  template:
    metadata:
      labels:
        app: djangoapi
        type: web
    spec:
      containers:
      - name: djangoapi
        image: <repo>/app:v0.9a
        imagePullPolicy: Always
        args:
        - gunicorn
        - api.wsgi
        - --bind
        - 0.0.0.0:8000
        envFrom:
        - configMapRef:
            name: djangoapi-config
        ports:
        - containerPort: 8000
      imagePullSecrets:
        - name: …