Pyd*_*man 5 css python webdriver python-2.7 selenium-webdriver
这里的每个“7-pack”搜索结果都包含许多评论,例如“5 个评论”、“没有评论”等。
每个的类名是fl r-iNTHbQvDybDU. 它包含一个空格,所以如果我尝试 find_elements_by_class_name(),我得到:
InvalidSelectorError: Compound class names not permitted
Run Code Online (Sandbox Code Playgroud)
根据此处的其他答案,我需要做的就是删除空间并重试。没有运气 - 一个空列表
所以我尝试find_element_by_css_selector():
find_elements_by_css_selector(".fl.r-iNTHbQvDybDU")
Run Code Online (Sandbox Code Playgroud)
仍然没有运气 - 空列表。你接下来会尝试什么?
小智 5
这个怎么样:
browser.find_elements_by_css_selector("div[class='fl r-iNTHbQvDybDU']")
Run Code Online (Sandbox Code Playgroud)
这假设标签为class = div.
如果是其他东西 - 否则用适当的标签替换 div ..
我不会依赖像这样自动生成的类名。除了不可靠之外,它还会降低代码的可读性。相反,获取包含“评论”文本的链接。
与 Webdriver/Selenium 的组合解决方案:当元素没有类名、id 或 css 选择器时如何查找元素?线:
import re
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://www.google.com/?gws_rd=ssl#q=plumbers%2BAvondale%2BAZ')
# waiting for results to load
wait = WebDriverWait(driver, 10)
box = wait.until(EC.visibility_of_element_located((By.ID, "lclbox")))
phone_re = re.compile(r"\(\d{3}\) \d{3}-\d{4}")
for result in box.find_elements_by_class_name("intrlu"):
for span in result.find_elements_by_tag_name("span"):
if phone_re.search(span.text):
parent = span.find_element_by_xpath("../..")
print parent.text
break
try:
reviews = result.find_element_by_partial_link_text("review").text
except NoSuchElementException:
reviews = "0 Google reviews"
print reviews
print "-----"
Run Code Online (Sandbox Code Playgroud)
印刷:
360 N Central Ave
Avondale, AZ
(623) 455-6605
1 Google review
-----
Avondale, AZ
(623) 329-5170
4 Google reviews
-----
Tolleson, AZ
(623) 207-1995
7 Google reviews
-----
3947 N 146th Dr
Goodyear, AZ
(602) 446-6576
1 Google review
-----
564 W Western Ave
Goodyear, AZ
(623) 455-6605
0 Google reviews
-----
14190 W Van Buren St
Goodyear, AZ
(623) 932-5300
0 Google reviews
-----
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
14228 次 |
| 最近记录: |