小编Ton*_*Ton的帖子

使用 Selenium 更快地进行网页抓取(或更快的替代方案)

伙计们,我目前有一个工作脚本,可以从某个页面抓取 ajax 内容...问题是它需要 +- 12 秒才能运行,出于我的目的,我需要它更快。

有小费吗?

from urllib.parse import urlencode
import requests
import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options

def search_char():
    char_name_input = str(input('Search Character: ')) # User input / Character Name

    start_time = time.time()
    browser = webdriver.PhantomJS()


    search_url = 'https://www.tibia.com/community/?subtopic=characters' # URL 

    r = browser.get(search_url) # Searched Character Page

    element = browser.find_element_by_name("name")
    element.send_keys(char_name_input)
    element2 = browser.find_element_by_name("Submit").click()


    page = browser.find_element_by_id('Content')
    rendered_page = page.get_attribute('innerHTML')

    soup = BeautifulSoup(rendered_page, 'html.parser')



    selection …
Run Code Online (Sandbox Code Playgroud)

python ajax selenium web-scraping

1
推荐指数
1
解决办法
6386
查看次数

提取数据进行分析时的 PCI DSS 合规性

场景如下:我有 2 个子网。1 符合 PCI DSS 标准,而另一个则不符合。我可以将数据从 PCI 兼容子网提取到不兼容子网中,以便在 Kafka 上处理吗?

tl;dr 必须分析的数据位于兼容子网上。Kafka 位于不合规子网中。

pci-dss amazon-web-services pci-compliance apache-kafka

1
推荐指数
1
解决办法
156
查看次数