我从 AWS Athena 控制台运行查询需要 10 秒。使用PyAthena从Sagemaker运行相同的查询需要 155 秒。PyAthena 是否会减慢速度,或者从 Athena 到 sagemaker 的数据传输是否如此耗时?
我可以做些什么来加快速度?
python amazon-web-services amazon-athena pyathena amazon-sagemaker
我正在构建一个基于内容的简单推荐系统。为了以GPU加速的方式计算余弦相似度,我使用Pytorch
。
在从中创建tfidf词汇张量时csr_matrix
,它会提示以下RuntimeErrorr
RuntimeError: [enforce fail at CPUAllocator.cpp:56] posix_memalign(&data, gAlignment, nbytes) == 0. 12 vs 0
我这样做是这样的:
coo = tfidf_matrix.tocoo()
values = coo.data
indices = np.vstack( (coo.row, coo.col ))
i = torch.LongTensor(indices)
v = torch.FloatTensor(values)
tfidf_matrix_tensor = torch.sparse.FloatTensor(i, v, torch.Size(coo1.shape)).to_dense()
# Prompts the error
Run Code Online (Sandbox Code Playgroud)
我尝试了一个小的测试(tfidf矩阵大小= 10,296)数据集,它可以工作。实际数据集中的tfidf矩阵大小为(27639,226957)
python recommendation-engine python-3.x cosine-similarity pytorch
有一些问题可以解决相同的错误,TypeError: Timestamp subtraction must have the same timezones or no timezones
但没有一个问题会遇到与此相同的问题。
我有 2 个 UTC 时间戳,在减去时会抛出该错误。
print(date, type(date), date.tzinfo)
>>> 2020-07-17 00:00:00+00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> UTC
print(date2, type(date2), date2.tzinfo)
>>> 2020-04-06 00:00:00.000000001+00:00 <class 'pandas._libs.tslibs.timestamps.Timestamp'> UTC
date - date2
>>> TypeError: Timestamp subtraction must have the same timezones or no timezones
Run Code Online (Sandbox Code Playgroud)
编辑:我使用的是Python 3.6.9和Pandas 1.0.1
我想从 git 存储库安装一个包,并使用 pipelinenv 指定提交 ID(我相信如果我使用 pip,它应该非常相似)
到目前为止我尝试过:
pipenv install "git+ssh://git@bitbucket.org/<username>/<repository>.git/<commit_id>#egg=mypackage"
将以下行附加到 Pipfile 并且没有错误
<package-name> = {git = "ssh://git@bitbucket.org/<username>/<repository>.git/<commit_id>"}
如果我导入该包,import mypackage
它会检测到它,但缺少其依赖项。
mypackage的 setup.py看起来像;
import setuptools
with open("README.md", "r") as readme:
long_description = readme.read()
with open("./requirements.txt", "r") as fh:
requirements = fh.readlines()
setuptools.setup(
name='mypackage',
url='https://bitbucket.org/<username>/<repositroy>',
packages=setuptools.find_packages(),
install_requires=[req for req in requirements if req[0] not in ["#", "-"]],
Run Code Online (Sandbox Code Playgroud)
)
当 React 组件的状态或属性保持不变时,它就会被渲染。我不明白为什么它会重新渲染/更新,因为结果不会改变
class A extends Component {
render() {
console.log("Hello")
return "Foo";
}
}
class App extends Component {
constructor(props) {
super(props);
this.state = { a: "ASDA" };
}
render() {
return (
<div>
<button onClick={()=>this.setState({a: Math.random()}) }>asdsa</button>
<div>{this.state.a}</div>
<A />
</div>
);
}
Run Code Online (Sandbox Code Playgroud)
每当我单击按钮时,组件 A 就会重新渲染(我可以在控制台中看到“hello”),我认为 React 避免了许多无用的重新渲染。
我正在尝试使用 docker-compose 部署一个简单的节点 - redis 架构。
我有一个带有 redis 数据备份的dump.rdb,我想启动一个加载了该数据的容器。
我的 docker-compose.yml 看起来像这样:
version: '3'
services:
redis:
image: redis:alpine
container_name: "redis"
ports:
- "6379:6379"
server:
build: ./src
image: hubName:imageName
container_name: containerName
links:
- redis
depends_on:
- "redis"
ports:
- "8443:8443"
restart: always
Run Code Online (Sandbox Code Playgroud)
我应该包括卷吗?如果我想要持久化 redis 数据怎么办?
谢谢 :)
python ×3
datetime ×1
dependencies ×1
docker ×1
dockerfile ×1
javascript ×1
pandas ×1
pip ×1
pipenv ×1
pipfile ×1
pyathena ×1
python-3.x ×1
pytorch ×1
reactjs ×1
redis ×1
rendering ×1
timestamp ×1
timezone ×1