小编Nik*_*mar的帖子

如何在scrapy中获取div中<p>标签的数量?

我正在抓取此网站链接

<p>标签的最后一个包含user_info,这在我使用时给我带来了麻烦-

''.join(response.xpath('//div[@class="entry-content"]/p[2]/text()').extract())
Run Code Online (Sandbox Code Playgroud)

但是,p[2]如果上面的文本数量充足,则会发生变化。说在这里p[5]

我正在考虑这样做以计算<p>内的标签数量div并将其分配给我的item

该如何处理?

python xpath scrapy web-scraping

5
推荐指数
1
解决办法
1603
查看次数

使用boto将文件从ec2传输到s3时出错

我按照这个程序链接将我的mongodump上传到s3.

bash脚本

#!/bin/sh

MONGODB_SHELL='/usr/bin/mongo'

DUMP_UTILITY='/usr/bin/mongodump'
DB_NAME='amicus'

date_now=`date +%Y_%m_%d_%H_%M_%S`
dir_name='db_backup_'${date_now}
file_name='db_backup_'${date_now}'.bz2'

log() {
    echo $1
}

do_cleanup(){
    rm -rf db_backup_2010* 
    log 'cleaning up....'
}

do_backup(){
    log 'snapshotting the db and creating archive' && \
    ${MONGODB_SHELL} admin fsync_lock.js && \
    ${DUMP_UTILITY} -d ${DB_NAME} -o ${dir_name} && tar -jcf $file_name ${dir_name}
    ${MONGODB_SHELL} admin unlock.js && \
    log 'data backd up and created snapshot'
}

save_in_s3(){
    log 'saving the backup archive in amazon S3' && \
    python aws_s3.py set ${file_name} && \ …
Run Code Online (Sandbox Code Playgroud)

python amazon-s3 amazon-ec2 mongodb amazon-web-services

5
推荐指数
1
解决办法
832
查看次数

为什么在更新字典时获得None?

在此输入图像描述我基本上使用update方法合并两个词典.问题是我在合并python shell时工作但在执行时不在文件中.

v = {'customer_id': '9000', 'customer_name': 'Apple  Inc'}
b = {"a": "b"}

print v.update(b)
Run Code Online (Sandbox Code Playgroud)

上面的输出是 None

但它在shell中工作.我的愚蠢错误是什么?谢谢

python dictionary

4
推荐指数
2
解决办法
2061
查看次数

如何使用两个外键字段编写嵌套 DRF 序列化程序

假设我有如下 Django 模型:

class Car(models.Model):
    name = models.CharField()
    model = models.CharField()
    type = models.CharField()

class Scooter(models.Model):
    name = models.CharField()
    model = models.CharField()
    type = models.CharField()

class User(models.Model):
    name = models.CharField()
    car = models.ForeignKeyField()
    scooter = models.ForeignKeyField()
Run Code Online (Sandbox Code Playgroud)

和序列化程序如下:

class CarSerializer(serializer.ModelSerializer):
    class Meta:
    model = Car
    fields = (
        'name',
        'model',
        'type'

    )

class ScooterSerializer(serializer.ModelSerializer):
    class Meta:
    model = Scooter
    fields = (
        'name',
        'model',
        'type'

    )


class UservehicleCreateSerializer(serializer.ModelSerializer):
    car = serializers.PrimaryKeyRelatedField(read_only=True)
    scooter = serializers.PrimaryKeyRelatedField(read_only=True)
    class Meta:
    model = User
    fields = …
Run Code Online (Sandbox Code Playgroud)

django serialization django-rest-framework

-1
推荐指数
1
解决办法
1373
查看次数