小编roo*_*m13的帖子

与 Athena 查询相比,Pyathena 超级慢

我从 AWS Athena 控制台运行查询需要 10 秒。使用PyAthena从Sagemaker运行相同的查询需要 155 秒。PyAthena 是否会减慢速度,或者从 Athena 到 sagemaker 的数据传输是否如此耗时?

我可以做些什么来加快速度?

python amazon-web-services amazon-athena pyathena amazon-sagemaker

7
推荐指数
1
解决办法
5761
查看次数

Pytorch RuntimeError:[在CPUAllocator.cpp:56上执行失败] posix_memalign(&data,gAlignment,nbytes)==0。12 vs 0

我正在构建一个基于内容的简单推荐系统。为了以GPU加速的方式计算余弦相似度,我使用Pytorch

在从中创建tfidf词汇张量csr_matrix,它会提示以下RuntimeErrorr

RuntimeError: [enforce fail at CPUAllocator.cpp:56] posix_memalign(&data, gAlignment, nbytes) == 0. 12 vs 0

我这样做是这样的:

coo = tfidf_matrix.tocoo()
values = coo.data
indices = np.vstack( (coo.row, coo.col ))
i = torch.LongTensor(indices)
v = torch.FloatTensor(values)
tfidf_matrix_tensor = torch.sparse.FloatTensor(i, v, torch.Size(coo1.shape)).to_dense() 
# Prompts the error
Run Code Online (Sandbox Code Playgroud)

我尝试了一个小的测试(tfidf矩阵大小= 10,296)数据集,它可以工作。实际数据集中的tfidf矩阵大小为(27639,226957)

python recommendation-engine python-3.x cosine-similarity pytorch

6
推荐指数
1
解决办法
2623
查看次数

时间戳减法必须具有相同的时区或没有时区,但它们都是 UTC

有一些问题可以解决相同的错误,TypeError: Timestamp subtraction must have the same timezones or no timezones但没有一个问题会遇到与此相同的问题。

我有 2 个 UTC 时间戳,在减去时会抛出该错误。

print(date, type(date), date.tzinfo)
>>> 2020-07-17 00:00:00+00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> UTC
print(date2, type(date2), date2.tzinfo)
>>> 2020-04-06 00:00:00.000000001+00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> UTC
date - date2
>>> TypeError: Timestamp subtraction must have the same timezones or no timezones
Run Code Online (Sandbox Code Playgroud)

编辑:我使用的是Python 3.6.9Pandas 1.0.1

python timezone datetime timestamp pandas

5
推荐指数
2
解决办法
6213
查看次数

从 git commit/revision id 安装 pipelinev/pip

我想从 git 存储库安装一个包,并使用 pipelinenv 指定提交 ID(我相信如果我使用 pip,它应该非常相似)

到目前为止我尝试过:

pipenv install "git+ssh://git@bitbucket.org/<username>/<repository>.git/<commit_id>#egg=mypackage"

将以下行附加到 Pipfile 并且没有错误

<package-name> = {git = "ssh://git@bitbucket.org/<username>/<repository>.git/<commit_id>"}

如果我导入该包,import mypackage它会检测到它,但缺少其依赖项。

mypackage的 setup.py看起来像;

import setuptools

with open("README.md", "r") as readme:
    long_description = readme.read()
with open("./requirements.txt", "r") as fh:
requirements = fh.readlines()

setuptools.setup(
    name='mypackage',
    url='https://bitbucket.org/<username>/<repositroy>',
    packages=setuptools.find_packages(),
    install_requires=[req for req in requirements if req[0] not in ["#", "-"]],
Run Code Online (Sandbox Code Playgroud)

dependencies pip python-packaging pipenv pipfile

4
推荐指数
1
解决办法
3565
查看次数

如果 props 和 state 没有改变,为什么 React 组件会更新

当 React 组件的状态或属性保持不变时,它就会被渲染。我不明白为什么它会重新渲染/更新,因为结果不会改变

class A extends Component {
  render() {
    console.log("Hello")
    return "Foo";
  }
}
class App extends Component {
  constructor(props) {
    super(props);

    this.state = { a: "ASDA" };
  }

  render() {
    return (
      <div>
        <button onClick={()=>this.setState({a: Math.random()}) }>asdsa</button>
        <div>{this.state.a}</div>
        <A />
      </div>
    );
  }

Run Code Online (Sandbox Code Playgroud)

每当我单击按钮时,组件 A 就会重新渲染(我可以在控制台中看到“hello”),我认为 React 避免了许多无用的重新渲染。

javascript rendering reactjs

3
推荐指数
1
解决办法
987
查看次数

使用备份 dump.rdb 启动 redis 容器

我正在尝试使用 docker-compose 部署一个简单的节点 - redis 架构。

我有一个带有 redis 数据备份的dump.rdb,我想启动一个加载了该数据的容器。

我的 docker-compose.yml 看起来像这样:

version: '3'
  services:
      redis:
        image: redis:alpine
        container_name: "redis"
        ports:
            - "6379:6379"
  server:
    build: ./src
    image: hubName:imageName
    container_name: containerName
    links: 
      - redis
    depends_on:
      - "redis"
    ports:
      - "8443:8443"
    restart: always
Run Code Online (Sandbox Code Playgroud)

我应该包括卷吗?如果我想要持久化 redis 数据怎么办?

谢谢 :)

redis docker dockerfile docker-compose

0
推荐指数
1
解决办法
4772
查看次数