我尝试使用32位安装Scrapy for Python 2.7.8(anaconda 2.1.0)
pip install scrapy
我收到了这个错误
error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat).
我已经按照这些stackover流程问题中找到的解决方案.没有任何效果.
用于Python 2.7的Microsoft Visual C++编译器
在windows7 64bit上运行"pip install numpy"时出现"错误:无法找到vcvarsall.bat"
pip install给出错误:无法找到vcvarsall.bat
如何将easy_install指向vcvarsall.bat？
pip install MySQL-python返回无法找到vcvarsall.bat
这是错误,上面和下面有几行:
copying src\lxml\isoschematron\resources\xsl\iso-schematron-xslt1\readme.txt
-> build\lib.win32-3.4\lxml\isoschematron\resources\xsl\iso-schematron-xslt1
running build_ext
building 'lxml.etree' extension
C:\Python34\lib\distutils\dist.py:260: UserWarning: Unknown distribution opt
ion: 'bugtrack_url'
warnings.warn(msg)
error: Microsoft Visual C++ 10.0 is required (Unable to find vcvarsall.bat).
----------------------------------------
Command "C:\Python34\python.exe -c "import setuptools, tokenize;__file__='C:
\\Users\\San\\AppData\\Local\\Temp\\pip-build-wp6ei6r9\\lxml\\setup.py';exec(com
pile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __f
ile__, …我想在 Google colab 中开发网络应用程序。唯一的问题是你需要一个连接到本地主机的浏览器来查看网络应用程序，但谷歌 colab 在笔记本中没有浏览器。
但似乎有办法解决这个问题。例如 run_with_ngrok 是一个用于在 colab/jupyter notebooks 中运行 flaks 应用程序的库
https://github.com/gstaff/flask-ngrok#inside-jupyter--colab-notebooks
当你使用它时，它会给出一个随机地址，“在 http://.ngrok.io 上运行”
不知何故，在 Google colab 上运行的 web 应用程序正在该地址上运行。
这是 Flask 应用程序的一个很好的解决方案，但我希望在 Google Colab 上运行一般的 web 应用程序，而不仅仅是 Flask 应用程序。是否有在 colab/jupyter notebooks 中运行 webapps 的通用方法？
python web-applications localhost jupyter-notebook google-colaboratory
我想在我的 github 自述文件中嵌入一个 webm 文件而不是 gif，因为 webm 占用的内存要少得多。
我尝试使用用于嵌入 gif 的相同代码，但它不起作用
tf.data 有一个from_generator初始值设定项，它似乎不可扩展。来自官方指南
注意：虽然这是一种方便的方法，但它的可移植性和可扩展性有限。它必须在创建生成器的同一个 python 进程中运行，并且仍然受 Python GIL 的约束。
https://www.tensorflow.org/guide/data#sumption_python_generators
并在官方文档中
注意：Dataset.from_generator() 的当前实现使用 tf.numpy_function 并继承相同的约束。特别是，它需要将与 Dataset 和 Iterator 相关的操作放置在与调用 Dataset.from_generator() 的 Python 程序相同的进程中的设备上。生成器的主体不会在 GraphDef 中序列化，如果您需要序列化模型并在不同的环境中恢复它，则不应使用此方法。
注意：如果生成器依赖于可变全局变量或其他外部状态，请注意运行时可能会多次调用生成器（以支持重复数据集）以及在调用 Dataset.from_generator() 和产生生成器的第一个元素。改变全局变量或外部状态可能会导致未定义的行为，我们建议您在调用 Dataset.from_generator() 之前在生成器中显式缓存任何外部状态。
https://www.tensorflow.org/api_docs/python/tf/data/Dataset#from_generator
然而，生成器是训练非常大量数据的一种相当常见的方法。所以必须有一些替代的最佳实践，但官方的 Tensorflow 数据指南没有提供任何信息。
我想知道Keras模型是否使用函数API训练变量进行编译/训练tf.get_variable？Can Keras培训还包含Tensorflow运营吗？
所以基本上我想用Tensorflow变量和操作定义一个Keras模型,然后使用
model = tf.keras.Model(inputs=inputs, outputs=predictions)
model.compile(optimizer=optimizer, loss=loss)
model.fit(data, labels, batch_size=batch_size, epochs=epochs)
训练模型.原因是Google的TPU要求使用Keras或TF.Estimator API,更推荐使用Keras,所以我希望看到我能够轻松转换模型.
看起来像Tensorflow是后端,有很多方法可以混合使用Keras/Tensorflow变量.这篇博文显示了如何使用Tensorflow图/会话来训练Keras变量 https://blog.keras.io/keras-as-a-simplified-interface-to-tensorflow-tutorial.html
from keras.layers import Dropout
from keras import backend as K
img = tf.placeholder(tf.float32, shape=(None, 784))
labels = tf.placeholder(tf.float32, shape=(None, 10))
x = Dense(128, activation='relu')(img)
x = Dropout(0.5)(x)
x = Dense(128, activation='relu')(x)
x = Dropout(0.5)(x)
preds = Dense(10, activation='softmax')(x)
loss = tf.reduce_mean(categorical_crossentropy(labels, preds))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(loss)
with sess.as_default():
for i in range(100):
batch = mnist_data.train.next_batch(50)
train_step.run(feed_dict={img: batch[0],
labels: batch[1],
K.learning_phase(): 1}) …有时我会看到预训练 pytorch 的 .bin 文件，就像这里的那个
https://github.com/allenai/scibert#pytorch-models
但是，这些文件通常保存为 .pt 文件。
这两种参数权重文件格式有什么区别？为什么有两个？
我试图让我的代码可以从 Github 安装。
在我的 github 文件夹中，我有一些具有相对导入的脚本。我尝试运行脚本，但出现错误。
根据这个SO question Run script within python package
编辑 - 如果您的 script.py 使用相对导入（并且您不想更改它），那么除了将该根路径放入环境之外，别无他法。如果需要，您可以在脚本中执行此操作，而不是在 cmd shell 或批处理文件中进行设置。但它需要在某个地方完成。以下是在脚本中设置环境路径的方法：
import sys
sys.path.append(r'..\..\path\to\my\package')
import package.other.anotherscript
所以现在我想弄清楚我安装的 Github 的路径是什么，但我似乎找不到它。它似乎已正确安装，但它只是不存在。
这是我的 Github
https://github.com/Santosh-Gupta/MedicalQA
这些是我的脚本，它们具有相对导入
https://github.com/Santosh-Gupta/MedicalQA/tree/master/Scripts
这是我用来安装我的 Github 的。
!pip install https://github.com/Santosh-Gupta/MedicalQA/archive/master.zip
我尝试使用
print(sys.path)
os.listdir('lib')
os.listdir('lib/python3.6')
os.listdir('lib/python3.6/site-packages')
任何其他用于获取具有相对导入的脚本和代码以在 python 包中工作的信息将不胜感激。
我可以使用 docker 扩展，然后右键单击“附加外壳”到正在运行的容器。但是，我的 Jupyter 笔记本没有在该容器中运行。
我尝试使用谷歌搜索如何在 docker 容器中运行 jupyter notebook，但没有得到任何结果。
如果它有所作为，我正在尝试在远程服务器上的 docker 容器中运行我的笔记本（使用 VS Code 远程 ssh 登录）
编辑：
我也试过跑步
!docker exec -ti {container name} bash
在 jupyter 中，但该单元格挂起。当我停止单元格时，笔记本仍然没有在容器中运行。
ssh remote-server docker visual-studio-code jupyter-notebook
我需要在 colab 中进行大量处理，1-3 个笔记本需要很长时间才能完成所有这些工作。
是否可以为更多的 colab 实例付费，以便我一次可以运行 10-20 个笔记本？我想我在 Google Cloud 上看到了一些可能，但我对细节不甚了解。如果可能，是否有指南向我展示如何执行此操作？
google-cloud-storage google-cloud-platform google-cloud-functions google-colaboratory
将 numpy 对象保存到 parquet 的传统方法是使用 Pandas 作为中间体。但是，我正在处理大量数据，这些数据不适合 Pandas 而不会破坏我的环境，因为在 Pandas 中，数据占用了大量 RAM。
我需要保存到 Parquet 因为我在 numpy 中使用可变长度数组，所以对于那个 parquet 实际上保存到比 .npy 或 .hdf5 更小的空间。
下面的代码是一个最小的示例，它下载我的一小块数据，并在 pandas 对象和 numpy 对象之间进行转换以测量它们消耗了多少 RAM，并保存到 npy 和 parquet 文件中以查看它们占用了多少磁盘空间。
# Download sample file, about 10 mbs
from sys import getsizeof
import requests
import pickle
import numpy as np
import pandas as pd
import os
def download_file_from_google_drive(id, destination):
URL = "https://docs.google.com/uc?export=download"
session = requests.Session()
response = session.get(URL, params = { 'id' : id }, stream = True) …