小编Boa*_*oaz的帖子

scrapy得到包括孩子在内的全文

<p>在文档中有一系列元素,我正在用scrapy进行搜索.
一些是: <p><span>bla bla bla</span></p><p><span><span>bla bla bla</span><span>second bla bla</span></span></p>

我想用子节点提取所有文本(假设我已经有了选择器<p)
(第二个例子:有一个字符串bla bla bla second bla bla)

html python scrapy

7
推荐指数
1
解决办法
2619
查看次数

SQLAlchemy根据JSONB中的嵌套键进行过滤

我有一个JSONB字段,有时有嵌套键.例:

"a simple text"

如果我这样做, "a simple text"
我会得到这个记录.

如何搜索嵌套密钥的存在?("a simple text")

python sql postgresql sqlalchemy jsonb

7
推荐指数
1
解决办法
8123
查看次数

PIL Image.size 返回相反的宽度/高度

使用 PIL 确定图像的宽度和高度

在特定图像上(幸运的是只有这一个 - 但它令人不安)从 image.size 返回的宽度/高度是相反的。图片:http :
//storage.googleapis.com/cookila-533ebf752b9d1f7c1e8b4db3/IMG_0004.JPG

编码:

from PIL import Image
import urllib, cStringIO

file = cStringIO.StringIO(urllib.urlopen('http://storage.googleapis.com/cookila-533ebf752b9d1f7c1e8b4db3/IMG_0004.JPG').read())
im=Image.open(file)
print im.size
Run Code Online (Sandbox Code Playgroud)

结果是 -(2592, 1936)
应该是相反的

python python-imaging-library

6
推荐指数
1
解决办法
4109
查看次数

从使用命令行参数的python制作exe文件

我想从使用命令行参数的python脚本创建一个exe(argv)
从我看到的py2exe不支持命令行参数

我能做什么?

编辑:我使用的是GUI2Exe工具,所以我只是错过了控制台标志,但接受的答案是完全正确的

python py2exe

5
推荐指数
1
解决办法
1万
查看次数

scrapy允许所有子域

我想在网站上使用scrapy,因为它的页面分为许多子域,我知道我需要用CrawlSpiderRule但是我需要规则是“允许所有子域,让解析器根据数据自行处理”(意思是-在示例中,item_links位于不同的子域中)

代码示例:

def parse_page(self, response):
    sel = Selector(response)
    item_links = sel.xpath("XXXXXXXXX").extract()
    for item_link in item_links:
            item_request = Request(url=item_link,
                                     callback=self.parse_item)
            yield item_request

def parse_item(self, response):
    sel = Selector(response)
Run Code Online (Sandbox Code Playgroud)

**编辑**为了使问题更清楚,我希望能够抓取所有* .example.com->表示不获取 Filtered offsite request to 'foo.example.com'

**另一个编辑**按照@agstudy的回答,确保您不要忘记删除 allowed_domains = ["www.example.com"]

python scrapy

5
推荐指数
2
解决办法
3050
查看次数

响应背景图像上的html文本

我想实现以下目标: 在此输入图像描述

哪里有背景图像,上面有文字(文字位置为bootstrap offset-6 col-6)

并为它提供响应.

问题是,与传统背景不同,我确实关心背景图像是如何截断的,无论宽度如何,我都需要手机可见.

我试过了: background: url(background-photo.jpg) center center cover no-repeat fixed;

img关于如何让div高度自动调整到背景大小的隐形技巧

在所有情况下,手机都会被截断

将不胜感激

编辑:
根据要求 - 原始div结构是:

<div id="hungry">
    <div class="col-xs-offset-6 col-xl-offset-6 col-xs-6 col-xl-6">
        <p>Hungry doesn't always happen in the kitchen</p>
    </div>
</div>
Run Code Online (Sandbox Code Playgroud)

但我把它改成任何有效的东西都没有问题......

html css twitter-bootstrap

5
推荐指数
1
解决办法
9519
查看次数

flask-security登录用户名而不是电子邮件

我希望在User模型中使用该字段,用户通过它来登录username而不是email

我定义了:
app.config['SECURITY_USER_IDENTITY_ATTRIBUTES'] = 'username'

但我仍然得到:

user_datastore.add_role_to_user(name, 'mgmt')
      File "/Users/boazin/sentinal/sentinel-cloud/.env/lib/python2.7/site-packages/flask_security/datastore.py", line 105, in add_role_to_user
        user, role = self._prepare_role_modify_args(user, role)
      File "/Users/boazin/sentinal/sentinel-cloud/.env/lib/python2.7/site-packages/flask_security/datastore.py", line 72, in _prepare_role_modify_args
        user = self.find_user(email=user)
      File "/Users/boazin/sentinal/sentinel-cloud/.env/lib/python2.7/site-packages/flask_security/datastore.py", line 203, in find_user
        return self.user_model.query.filter_by(**kwargs).first()
      File "/Users/boazin/sentinal/sentinel-cloud/.env/lib/python2.7/site-packages/sqlalchemy/orm/query.py", line 1333, in filter_by
        for key, value in kwargs.items()]
      File "/Users/boazin/sentinal/sentinel-cloud/.env/lib/python2.7/site-packages/sqlalchemy/orm/base.py", line 383, in _entity_descriptor
        (description, key)
    InvalidRequestError: Entity '<class 'flask_app.models.User'>' has no property 'email'
Run Code Online (Sandbox Code Playgroud)

似乎电子邮件被硬编码到烧瓶安全...

我可以改变吗?

编辑:用户模型(在评论中请求):

class User(db.Model, UserMixin):
    id = db.Column(db.Integer, primary_key=True)
    username …
Run Code Online (Sandbox Code Playgroud)

python flask flask-security

5
推荐指数
2
解决办法
2793
查看次数

使用纯手柄的html条件类

我正在使用把手在服务器端渲染代码(没有角度/余烬)

我还能以某种方式拥有类似的东西:
<p dir="auto" {{#if isRTL: class=align-right}}>{{{content}}}</p>

我希望只有当bolean为true时才有CSS类类似于ember的bind-attr ...

没有它,代码就是一团糟:

{{#if isRTL}}
    <p dir="auto" class="align-right>{{{content}}}</p>
{{else}}
    <p dir="auto">{{{content}}}</p>
{{#if}}
Run Code Online (Sandbox Code Playgroud)

handlebars.js

5
推荐指数
1
解决办法
6537
查看次数

pytest 中单例类的拆解

我在应用程序中使用了一个单例类(单例在元类中实现)

class Singleton(type):
    def __init__(self, *args, **kwargs):
        self.__instance = None
        super(Singleton, self).__init__(*args, **kwargs)

    def __call__(self, *args, **kwargs):
        if self.__instance is None:
            self.__instance = super(Singleton, self).__call__(*args, **kwargs)
            return self.__instance
        else:
            return self.__instance


class ApplicationContext(object):
    __metaclass__ = Singleton

    def __init__(self, db):
        pass
Run Code Online (Sandbox Code Playgroud)

现在我希望这个对象位于 py.test 上下文中 - 但我希望它在某些测试中不受干扰。我试图创建一个拆卸功能,但它似乎没有用......

@pytest.fixture
def context(db, request):
    _context = ApplicationContext(db)

    def teardown():
        print 'teardown'
        del _context   #this is not working. What should be done here?

    request.addfinalizer(teardown)
    return _context
Run Code Online (Sandbox Code Playgroud)

python singleton pytest

5
推荐指数
1
解决办法
1014
查看次数

Python Mongo"跳过高时,排序操作使用的数量超过最大值"

我有一个代码,它使一个相当简单的query-skip-limit-sort.我遇到了一个我很难解释的现象.

关于"小"跳跃值 - 一切都很好.在"高"跳过值(> 18000) - 我没有得到超过20的限制的结果而没有得到以下错误:

OperationFailure: Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smaller limit.
Run Code Online (Sandbox Code Playgroud)

问题是 - 为什么只有大跳数才会发生这种情况?我怎么解决这个问题?

在mongoShell上运行它(即使使用DBQuery.shellBatchSize = 300)也可以.它似乎使用索引db.my_collection.find({'foo':false}).skip(19000).limit(100).sort({'meta_data.created_at': - 1}).explain()

"queryPlanner" : {
    "plannerVersion" : 1,
    "namespace" : "bla.my_collection",
    "indexFilterSet" : false,
    "parsedQuery" : {
        "foo" : {
            "$eq" : false
        }
    },
    "winningPlan" : {
        "stage" : "LIMIT",
        "limitAmount" : 100,
        "inputStage" : {
            "stage" : "SKIP",
            "skipAmount" …
Run Code Online (Sandbox Code Playgroud)

python mongodb pymongo

5
推荐指数
0
解决办法
625
查看次数