小编J. *_*tra的帖子

使用 Scrapy + Splash 的表单请求

我正在尝试使用以下代码登录网站(针对本文稍作修改):

import scrapy
from scrapy_splash import SplashRequest
from scrapy.crawler import CrawlerProcess

class Login_me(scrapy.Spider):
    name = 'espn'
    allowed_domains = ['games.espn.com']
    start_urls = ['http://games.espn.com/ffl/leaguerosters?leagueId=774630']

    def start_requests(self):
        script = """
        function main(splash)
                local url = splash.args.url

                assert(splash:go(url))
                assert(splash:wait(10))

                local search_input = splash:select('input[type=email]')   
                search_input:send_text("user email")

                local search_input = splash:select('input[type=password]')
                search_input:send_text("user password!")

                assert(splash:wait(10))
                local submit_button = splash:select('input[type=submit]')
                submit_button:click()

                assert(splash:wait(10))

                return html = splash:html()
              end
            """

        yield SplashRequest(
            'http://games.espn.com/ffl/leaguerosters?leagueId=774630',
            callback=self.after_login,
            endpoint='execute',
            args={'lua_source': script}
            )
        def after_login(self, response):
            table = response.xpath('//table[@id="playertable_0"]')
            for player in table.css('tr[id]'):
                 item = …
Run Code Online (Sandbox Code Playgroud)

python scrapy python-3.x scrapy-splash splash-js-render

5
推荐指数
1
解决办法
1571
查看次数

通过分隔符在pandas列中获取唯一字符串

可以说我有以下数据:

import numpy as np
import pandas as pd

data=np.array([["xxx--xxx--xxx--yyy"],
              ["aaa--bbb--aaa--ccc"],
              ["xxx--axa--axa--ccc"],
              ["bbb--bab--bbb--bab--tgh"]])

df = pd.DataFrame({'Practice Column': data.ravel()})

print(df)
Run Code Online (Sandbox Code Playgroud)

我怎么能在这个数据框中创建一个新列,它将查看字符串并吐出一个独特的组合?期望的输出是:

在此输入图像描述

任何帮助表示赞赏.谢谢.

python pandas

3
推荐指数
1
解决办法
96
查看次数