小编use*_*503的帖子

如何使用python抓取谷歌地图

我正在尝试使用 python 从谷歌地图中抓取某个地方的评论数量。例如,Pike's Landing 餐厅(见下面的谷歌地图 URL)有 162 条评论。我想在 python 中提取这个数字。

网址:https : //www.google.com/maps?cid=15423079754231040967

我不太精通HTML,但是从互联网上的一些基本示例中,我编写了以下代码,但是在运行此代码后,我得到的是一个黑色变量。如果你能让我知道我在这方面做错了什么,我将不胜感激。

from urllib.request import urlopen
from bs4 import BeautifulSoup

quote_page ='https://www.google.com/maps?cid=15423079754231040967'
page = urlopen(quote_page)
soup = BeautifulSoup(page, 'html.parser')
price_box = soup.find_all('button',attrs={'class':'widget-pane-link'})
print(price_box.text)
Run Code Online (Sandbox Code Playgroud)

html python beautifulsoup scrapy web-scraping

6
推荐指数
1
解决办法
1万
查看次数

将大量数据集从SQL Server导入HDF5

我试图将带有8列的大约1200万条记录导入Python.由于它的巨大尺寸,我的笔记本电脑内存不足以满足这一要求.现在我正在尝试将SQL数据导入HDF5文件格式.如果有人可以共享从SQL查询数据的代码片段并以块的形式保存为HDF5格式,那将非常有用.我可以使用任何其他更容易使用的文件格式.

我计划进行一些基本的探索性分析,然后可能会使用pandas创建一些决策树/ Liner回归模型.

import pyodbc 
import numpy as np
import pandas as pd

con = pyodbc.connect('Trusted_Connection=yes',
                     driver = '{ODBC Driver 13 for SQL Server}',
                     server = 'SQL_ServerName')
df = pd.read_sql("select * from table_a",con,index_col=['Accountid'],chunksize=1000)
Run Code Online (Sandbox Code Playgroud)

sql hdf5 python-3.x pandas hdfstore

3
推荐指数
1
解决办法
1491
查看次数

标签 统计

beautifulsoup ×1

hdf5 ×1

hdfstore ×1

html ×1

pandas ×1

python ×1

python-3.x ×1

scrapy ×1

sql ×1

web-scraping ×1