Django 在生产中下载/上传文件

hor*_*rse 1 django nginx gunicorn docker

我有一个当前托管的 Django 项目。我正在提供静态文件,但不知道如何处理 MEDIA 文件夹中的用户文件上传/下载。我读过很多关于 Docker、Nginx 和 Gunicorn 的内容,但不知道我需要哪一个,也不知道如何设置它们。我已经学习了不少于 20 个教程,观看了不少于 15 个 YouTube 视频,但仍然很困惑(我访问了所有 Google 搜索的前 2 页的每个链接)。

我的问题是,我需要其中哪些才能允许用户从网站上传/下载文件?最重要的是,我尝试过让所有三个都工作,但无法弄清楚它们,当然我不是唯一一个在这方面遇到如此大困难的人,是否有一个好的资源/教程可以指导我完成整个过程(我花了 40 多个小时阅读这些内容并试图让它发挥作用,我已经到了这样的地步:只要它能发挥作用,我就不在乎理解它们是如何组合在一起的)?

谢谢。

编辑-这是所要求内容的精简版本。我没有包含 html,因为这是我第一次这样做,而且我使用过 Ajax 和其他东西,这完全是一团糟,我确信会让你感到困惑。

设置.py

STATIC_URL = '/static/'
STATIC_ROOT = os.path.join(BASE_DIR, 'static_files')

MEDIA_URL = '/media/'
MEDIA_ROOT = os.path.join(BASE_DIR, 'static_media')

STAT=os.path.join(BASE_DIR, 'static')

STATICFILES_DIRS = [ STAT,
                    os.path.join('static/'),
                    os.path.join('templates/static/'), # for overridden templates css
                    ]
Run Code Online (Sandbox Code Playgroud)

视图.py

class UploadView(View):
    def get(self, request):
        files_list = UploadedFile.objects.all()
        return render(self.request, 'users/modules.html', {'files': files_list})

    def post(self, request, *args, **kwargs):
        data = {}
        
        form = UploadedFileForm(self.request.POST, self.request.FILES)
        form.instance.data_id = self.request.POST['data_id']

        if form.is_valid():
            uploaded_file = form.save()
Run Code Online (Sandbox Code Playgroud)

谢谢。

Dmi*_*sev 5

因此,您想知道如何使您的(在开发环境中工作)项目做好生产准备。让我们从需要哪些组件开始

  1. 网络服务器(Nginx
  2. 应用服务器(uWSGI
  3. 应用程序(Django

Web 服务器服务于用户的请求。它知道如何为请求生成正确的输出 - 从文件系统读取文件,将请求进一步传递到应用程序服务器等等。Nginx是不错的选择。

应用服务器是Web服务器应用程序之间的中间人。它可以生成应用程序实例(进程),平衡这些实例之间的负载,重新启动死实例和许多其他事情。uWSGI在这里是不错的选择。

应用程序- 在您的情况下,它是您在开发环境中工作的 Django 项目。您已在这里准备好一切,但很可能您应该稍微调整一下设置。Django将通过WSGI协议与Application Server进行通信。


此时,您还应该了解网络浏览器如何加载、渲染和显示您的网站。一切都从想要在您的网站上打开页面的用户开始,例如http://example.com/uploads。浏览器将向您的服务器发送 HTTP GET 请求,Web 服务器程序 (Nginx) 将捕获该请求并决定下一步做什么。

由于该特定请求与某些静态文件(静态 HTML 文件或静态 JPEG 图像等)无关 - Nginx 将决定将请求传递给应用程序服务器。uWSGI将获取请求并将其转发给Django。

Django 将使用所有文件来查找正确的视图来生成http://example.com/uploadurls.py页面的响应。你的观点会做什么?

    def get(self, request):
        files_list = UploadedFile.objects.all()
        return render(self.request, 'users/modules.html', {'files': files_list})
Run Code Online (Sandbox Code Playgroud)

它将返回 HTML 页面(渲染模板)。这样 HTML 文档将返回到应用程序服务器,然后返回到 Web 服务器,最后返回到用户的 Web 浏览器。

然后浏览器将开始解析该 HTML 文档,并且很可能会找到一些额外的资源来加载 - css、javascript、图像、字体……对于每个资源 - 它将向 Web 服务器发出额外的 GET 请求。此时Web Server 不会将请求转发到Application Server。它只会从文件系统读取这些文件并返回到浏览器。

这些资源不是动态的,而是静态的。所以你基本上将它们存储在static命名空间下。例如:

这些文件是您的应用程序的一部分。您的应用程序随这些文件一起提供。但也有一些文件可以上传到您的系统。您可以将这些文件保存在任何位置 - 文件系统、数据库……但您必须拥有它们的 URL。通常它是media命名空间:

在这两种情况下 - 这些调用将仅转发到 Web 服务器,然后转发到文件系统。

为什么您看到一切都在您的开发环境中运行?这可能是因为您使用python manage.py runserver. 在这种情况下 - Django 也是您的 Web 服务器(并且不会有应用程序服务器中间人)。因此它将管理它自己的实例,它将获取用户的请求,它将返回静态文件,它将返回“媒体”文件,它将返回动态生成的页面等等。


上述每个组件都需要它自己的配置文件。让我向您展示一些可用于您的项目的示例。

网络服务器Nginx

sites-enabled/default.conf

upstream uwsgi {
  server uwsgi:8080;
}


server {
  listen 80 default_server;
  listen [::]:80 default_server;

  error_log /var/log/nginx/error.log;

  charset utf-8;

  location /media  {
      alias /home/web/media;
      expires 7d;
  }

  location /static {
      alias /home/web/static;
      expires 7d;
  }

  location / {
      uwsgi_pass uwsgi;
      include uwsgi_params;
  }
}

Run Code Online (Sandbox Code Playgroud)

笔记:

应用服务器uWSGI

uwsgi.conf

[uwsgi]

req-logger = file:/var/log/uwsgi-requests.log
logger = file:/var/log/uwsgi-errors.log

workers = %k
# enable-threads = true
# threads = 4

chdir = /home/web/app
module = core.wsgi
master = true
pidfile=/tmp/app.pid
socket = 0.0.0.0:8080
env = DJANGO_SETTINGS_MODULE=core.settings
memory-report = true
harakiri = 60
listen = 10240
Run Code Online (Sandbox Code Playgroud)

笔记:

  • chdir = /home/web/app- 这是您的应用程序的路径
  • module = core.wsgi- 您的应用程序应该有一个名为主(核心)应用程序的目录core(您应该wsgi.py在那里看到)
  • pidfile=/tmp/app.pid- 只是 pid 文件的地方
  • socket = 0.0.0.0:8080- 它将监听端口8080
  • env = DJANGO_SETTINGS_MODULE=core.settings- 再次,您需要调用主应用程序core(它应该在core目录内)并且您应该在settings.py其中)

Docker / Docker 组合

您可能需要 Docker 和 Docker Compose 来编排所有这些软件。但也可以尝试在没有它的情况下运行所有​​内容。

docker-compose.yml

version: "2.4"

services:

  uwsgi:
    build:
      context: ./docker
      dockerfile: Dockerfile
    hostname: uwsgi
    sysctls:
      net.core.somaxconn: 10240
    environment:
      - DJANGO_SETTINGS_MODULE=${DJANGO_SETTINGS_MODULE}
      - C_FORCE_ROOT=${C_FORCE_ROOT}
    volumes:
      - ./config/uwsgi/uwsgi.conf:/uwsgi.conf
      - ../app:/home/web/app
      - ./static:/home/web/static:rw
      - ./media:/home/web/media:rw
      - ./logs:/var/log/
    restart: always
    networks:
      myapp_backend:
        aliases:
          - uwsgi

  web:
    image: nginx
    hostname: nginx
    sysctls:
      net.core.somaxconn: 10240
    depends_on:
      - uwsgi
    volumes:
      # - ./config/nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./config/nginx/sites-enabled:/etc/nginx/conf.d
      - ./media:/home/web/media:ro
      - ./static:/home/web/static:ro
      - ./logs:/var/log/nginx
    ports:
      - "80:80"
      # - "443:443"
    restart: always
    networks:
      - myapp_backend

networks:
  myapp_backend:
Run Code Online (Sandbox Code Playgroud)

Dockerfile

FROM python:3.9.0

RUN export DEBIAN_FRONTEND=noninteractive
ENV DEBIAN_FRONTEND noninteractive
RUN dpkg-divert --local --rename --add /sbin/initctl

RUN apt-get install -y --fix-missing && apt-get update -y

RUN apt-get install -y python3-pip \
    python3-setuptools

COPY requirements.txt /requirements.txt
RUN pip install -r /requirements.txt
RUN pip install uwsgi

WORKDIR /home/web/app

EXPOSE 8080

CMD ["uwsgi", "--ini", "/uwsgi.conf"]
Run Code Online (Sandbox Code Playgroud)

目录结构

您可以使用此存储库中的目录结构:https://github.com/ansysy24/GameEconomy/tree/master/deployment

我还强烈推荐这篇文章https://andrey-borzenko.medium.com/simple-nginx-uwsgi-daphne-reactive-application-part-1-the-big-picture-20d7b9ee5b96

并且不要忘记添加.env像这样的文件https://github.com/ansysy24/GameEconomy/blob/master/deployment/.env_template(但你应该重命名 ofc )