小编Nig*_*y13的帖子

我试图在python中使用Splash for Scrapy抓取一些动态网站.但是,我发现Splash无法等待在某些情况下加载整个页面.解决这个问题的一种强力方法是增加一个大的wait时间(例如,在下面的代码片段中为5秒).但是,这非常低效,仍然无法加载某些数据(有时加载内容需要超过5秒).是否存在可以通过这些请求进行某种等待的元素条件？

yield SplashRequest(
          url, 
          self.parse, 
          args={'wait': 5},
          'User-Agent':"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36",
          }
)

有没有一种方法可以让 git 在将文件添加到提交时不包含超过 100MB 文件大小限制的文件？

例如。如果我有一个包含大文件（例如 2GB）和其他一些小代码片段的文件夹，有没有一种方法可以让我只能使用“git add”包含小代码片段。并简单地忽略大文件？

EDIT-1：由于对这个问题的评论，我看到可以使用客户端或服务器端的钩子来更新 .gitignore 文件来完成该任务。但是，我想知道是否有更简单的方法（例如设置一些标志或内置设置）来执行此操作？

我想从我创建的 LMDB 数据库加载我的图像和标签数据。我为相应的图像标签对分配一个唯一键并将它们添加到 LMDB（例如 image-000000001、label-000000001）。在保存图像时，我将图像的 numpy-array 使用image.tostring(). 现在在加载 LMDB 时，我发现我可以通过传递我生成的键来非常简单地获取标签，但是图像数据以编码方式显示。做一个numpy.fromstring(lmdb_cursor.get('image-000000001'))不起作用。

我在这里看到- 第二个答案，特别是@Ghilas BELHADJ，必须使用 Caffe-datum 对象来首先加载数据，然后使用datum.data. 但是我没有这样的结构，其中使用“数据”和“标签”标签来组织图像和标签。如何从python中的这种LMDB以numpy图像的形式正确读取数据？

在 Lua 中，这可以通过以下方式实现，

    local imgBin -- this is the object returned from cursor:get(image-id)
    local imageByteLen = string.len(imgBin)
    local imageBytes = torch.ByteTensor(imageByteLen):fill(0)
    imageBytes:storage():string(imgBin)
    local img = Image.decompress(imageBytes, 3, 'byte')
    img = Image.rgb2y(img)
    img = Image.scale(img, imgW, imgH)

我不知道如何在 Python 中做到这一点。