小编Not*_*bby的帖子

我有一个django rest后端应用程序，我用招摇工具向FE查找和记录我的api。

这个工作正常，但是我进行了一些更改，现在出现此错误：

Internal Server Error: /
Traceback (most recent call last):
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/django/core/handlers/exception.py", line 34, in inner
    response = get_response(request)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/django/core/handlers/base.py", line 115, in _get_response
    response = self.process_exception_by_middleware(e, request)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/django/core/handlers/base.py", line 113, in _get_response
    response = wrapped_callback(request, *callback_args, **callback_kwargs)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/django/views/decorators/csrf.py", line 54, in wrapped_view
    return view_func(*args, **kwargs)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/django/views/generic/base.py", line 71, in view
    return self.dispatch(request, *args, **kwargs)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/rest_framework/views.py", line 497, in dispatch
    response = self.handle_exception(exc)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/rest_framework/views.py", line 457, in handle_exception
    self.raise_uncaught_exception(exc)
  File "/home/notsoshabby/.local/share/virtualenvs/panda_pitch-UBt5SNMA/lib/python3.7/site-packages/rest_framework/views.py", line …

我在容器中使用pandas,我收到以下错误:

Traceback (most recent call last):
  File "/volumes/dependencies/site-packages/celery/app/trace.py", line 374, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/volumes/dependencies/site-packages/celery/app/trace.py", line 629, in __protected_call__
    return self.run(*args, **kwargs)
  File "/volumes/code/autoai/celery/data_template/api.py", line 16, in run_data_template_task
    data_template.run(data_bundle, columns=columns)
  File "/volumes/code/autoai/models/data_template.py", line 504, in run
    self.to_parquet(data_bundle, columns=columns)
  File "/volumes/code/autoai/models/data_template.py", line 162, in to_parquet
    }, parquet_path=data_file.path, directory="", dataset=self)
  File "/volumes/code/autoai/core/datasets/parquet_converter.py", line 46, in convert
    file_system.write_dataframe(parquet_path, chunk, directory, append=append)
  File "/volumes/code/autoai/core/file_systems.py", line 76, in write_dataframe
    append=append)
  File "/volumes/dependencies/site-packages/pandas/core/frame.py", line 1945, in to_parquet
    compression=compression, **kwargs)
  File "/volumes/dependencies/site-packages/pandas/io/parquet.py", …

我有一个使用 xgboost 的项目。我们现在将项目转移到容器。但是使用pip安装后，它抛出以下错误：

Traceback (most recent call last):
  File "restart_db.py", line 5, in <module>
    from autoai.core.providers import GlobalEnrichmentProvider
  File "/volumes/code/autoai/core/providers/__init__.py", line 1, in <module>
    from .files_providers import CsvProvider, TsvProvider, ExcelProvider, FileProvider
  File "/volumes/code/autoai/core/providers/files_providers.py", line 10, in <module>
    from .base import BaseProvider, BaseInMemoryProvider
  File "/volumes/code/autoai/core/providers/base.py", line 1, in <module>
    from autoai.models.dataset_connection import JoinTypes
  File "/volumes/code/autoai/models/__init__.py", line 5, in <module>
    from .classifier import Classifier
  File "/volumes/code/autoai/models/classifier.py", line 8, in <module>
    from eli5 import explain_prediction
  File "/volumes/dependencies/lib/python3.6/site-packages/eli5/__init__.py", line 53, in <module>
    from .xgboost …

如果代码中没有我的 AWS 凭证，如何从容器访问我的 S3 存储桶？

我的代码也会自动部署，因此将其作为环境变量也不好（部署脚本位于存储库中 - 并且凭据也应该在那里）。

我尝试研究 IAM 角色，但无法理解对我的用例有帮助的东西。

我在我的代码和熊猫中使用pandas它们使用了imp结节.现在我收到以下错误/警告

C:\Users\refaelc\AppData\Local\Temp\collection_id-96deaf03-9b39-46c0-a843-63f6101481c1-5289121858290797008.csv
Step07: Compare the downloaded and the template files
C:\Users\refaelc\AppData\Local\Continuum\Anaconda3\lib\importlib\_bootstrap.py:205: ImportWarning: can't resolve package from __spec__ or __package__, falling back on __name__ and __path__
  return f(*args, **kwds)
C:\Users\refaelc\AppData\Local\Continuum\Anaconda3\lib\site-packages\_pytest\assertion\rewrite.py:7: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Item is missing from collections - int

现在我做了一些搜索并意识到imp模块正在被importlib模块取代.我更新了Panda,但没有用.我似乎不太可能需要改变Panda的包裹代码.

有什么想法/修复？

我必须在Docker容器上安装一些依赖项，我想使用python：3.6-alpine版本以使其尽可能轻巧，但是alpine附带的apk软件包管理器给我带来了麻烦，所以我想获得apt -获取包管理器。我试过了：

apk add apt-get

它没有工作。

如何将其放在容器上？

我想在一台机器上下载 docker-compose 并将其安装在另一台机器上（另一台机器未连接到互联网）。

我尝试下载二进制文件，在/usr/bin（docker 所在的位置）下创建一个 docker-compose 目录并chmod +x在该目录上运行。那没有帮助。

文档中的替代安装选项链接也已损坏：/

有什么帮助吗？

我在大查询中有一个相当大的表（约 9M 行），我想通过 pandas 读取它。

我尝试过阅读和使用该[pd.read_gbq()][1]函数，它在小桌子上运行良好。

在大桌子上，它在 50 秒左右后卡住（日志显示elapsed .. 50s） - 没有给出错误或任何东西。

我的问题是如何使用 pd （块？）读取该表。任何有关扩展这些 bigquery 读取的约定都会有所帮助。

编辑/解决

添加到 Khan 的答案中，我最终实现了块，每次将 500,000 写入一个文件，然后将这些文件读取到数据帧，如下所示：

def download_gbq_table(self):
    if not os.path.exists(self.tmp_dir):
        os.makedirs(self.tmp_dir)
    increment = 100000

    intervals = list(range(0, self.table_size, 100000))
    intervals.append(self.table_size - intervals[len(intervals)-1])

    df = pd.DataFrame()

    for offset in intervals:
        query = f"select * from `<table_name>` limit {increment} offset {offset};"
        logger.info(f"running query: {query}")
        start_time = time.time()
        tmp_df = pd.read_gbq(query,
                       project_id=self.connection_parameters['project_id'],
                       private_key=self.connection_parameters['service_account'],
                       dialect='standard'
                        )
        df = pd.concat([df, tmp_df])
        logger.info(f'time …

我们最近重做了詹金斯。我们决定在服务器上的 docker 容器上安装新版本。

在迁移时，我注意到詹金斯在容器中时比在服务器本身上运行时慢得多。

这是一个重大问题，可能会扰乱我们的迁移。

我尝试寻找为容器提供更多资源的方法，但没有太多帮助。

我怎样才能加快詹金斯容器的速度/为其提供服务器上所需的所有资源（该服务器仅专用于詹金斯）。

另外，当我也想启动从属容器时，如何分配这些资源？

我有一个在其入口点使用卷的容器。例如

CMD bash /some/volume/bash_script.sh

我将其移动到 compose 但它仅在我的 compose 指向该build部分中的 Dockerfile 时才有效，如果我尝试在该部分中编写相同的行command未按我的预期运行并引发文件未找到错误。

我也尝试使用docker-compose run <specific service> bash /some/volume/bash_script.shwhich 给了我同样的错误。

问题是 - 为什么在执行 docker-compose 'command' 时我没有这个卷？有没有办法让这个工作/覆盖我的dockerfile中的CMD？

编辑：我将在我的文件中具体展示我是如何做到这一点的：

码头工人组成：

version: '3'
services:
  base:
    build: 
      context: ..
      dockerfile: BaseDockerfile
    volumes:
      code:/volumes/code/
  my_service:
    volumes:
      code:/volumes/code/
    container_name: my_service
    image: my_service_image
    ports:
      - 1337:1337
    build: 
      context: ..
      dockerfile: Dockerfile

卷： 代码：

基础Dockerfile：

FROM python:3.6-slim

WORKDIR /volumes/code/

COPY code.py code.py
CMD tail -f /dev/null

Dockerfile：

FROM python:3.6-slim

RUN apt-get update && apt-get …