我需要从一个巨大的表中读取数据(> 1百万行,16个原始文本)并对其进行一些处理.一行一行地阅读它看起来非常慢(python,MySQLdb),我希望能够一次读取多行(可能并行化).
仅供参考,我的代码目前看起来像这样:
cursor.execute('select * from big_table')
rows = int(cursor.rowcount)
for i in range(rows):
row = cursor.fetchone()
.... DO Processing ...
Run Code Online (Sandbox Code Playgroud)
我试图运行程序的多个实例来迭代表的不同部分(例如,第一个实例将遍历第一个200k行,第二个实例将遍历行200k-400k ......)但问题是第二个实例(以及第三个实例等)需要FOREVER才能进入开始查看行200k以后的阶段.它似乎仍然在处理第一个200k行而不是跳过它们.我在这种情况下使用的代码(第二个实例)是这样的:
for i in range(rows):
#Fetch the row but do nothing (need to skip over 1st 200k rows)
row = cur.fetchone()
if not i in range(200000,400000):
continue
.... DO Processing ...
Run Code Online (Sandbox Code Playgroud)
我怎样才能加快这个过程?有没有一种干净的方法通过python从MySQL数据库进行更快/并行的读取?
EDIT 1:我根据以下建议尝试了"限制"的事情.出于某种原因,虽然当我在我的四核服务器上启动2个进程时,似乎一次只运行一个进程(CPU似乎是在这些进程之间共享时间,而不是每个核心运行一个单独的进程).2个python进程分别使用了14%和9%的CPU.有什么想法可能是错的?
我想从 MySQL Workbench 中的 Python 脚本环境执行 SQL 查询。我查看了 grt 模块的MySQL Workbench 文档并找到了 executeScript 方法,但我似乎无法使用它进行查询。
执行此 Python 代码:
import grt
querystring = "select * from Purchases WHERE PurchaseAmount > 600 and PurchaseAmount < 2500"
executeScript(querystring)
Run Code Online (Sandbox Code Playgroud)
产生以下错误消息:
Uncaught exception while executing [filepath]runquery.py:
File "[filepath]runquery.py", line 10, in <module>
executeScript(querystring)
NameError: name 'executeScript' is not defined
Run Code Online (Sandbox Code Playgroud)
我不明白 virtual grt::ListRef executeScript ( const std::string & sql )是什么意思,所以我无法正确格式化我的查询,但是,错误消息似乎表明 executeScript 方法不存在。我查看的大多数文档都有格式正确的函数调用示例,但我似乎找不到任何用于 executeScript 的文档。
我想要做的就是在 MySQL Workbench Python 脚本环境中将我的字符串作为 SQL 查询运行。
谢谢! …
python mysql database-administration mysql-workbench mysql-python
我ImportError: No localization support for language 'eng'在 Python 中使用 MySQL 连接器时遇到了问题。我的回溯如下。
Traceback (most recent call last):
File \"DB_Module.py\", line 151, in QueryDatabase
File \"\\share\app\Modules\mysql\connector\__init__.py\", line 44, in Connect
File \"\\share\app\Modules\mysql\connector\connection.py\", line 106, in __init__
File \"\\share\app\Modules\mysql\connector\connection.py\", line 325, in connect
File \"\\share\app\Modules\mysql\connector\connection.py\", line 288, in _open_connection
File \"\\share\app\Modules\mysql\connector\network.py\", line 326, in open_connection
File \"\\sfs\show_time\Showtime_Package\showtime\Modules\mysql\connector\errors.py\", line 160, in __init__
File \"\\share\app\Modules\mysql\connector\locales\__init__.py\", line 52, in get_client_error
ImportError: No localization support for language 'eng'
Run Code Online (Sandbox Code Playgroud)
我当前使用的 SQL 是
SELECT * FROM systemdetails …Run Code Online (Sandbox Code Playgroud) 我正在尝试通过python脚本连接到mysqldb。我已将my.cnf中的绑定地址更改为“ 192.168.56.101”,这是我的服务器IP。
import MySQLdb
db = MySQLdb.connect(host='192.168.56.101',
user='root',
passwd='pass',
db='python')
Run Code Online (Sandbox Code Playgroud)
上面的代码给了我以下错误。
_mysql_exceptions.OperationalError: (1130, "Host '192.168.56.1' is not allowed to connect to this MySQL server")
Run Code Online (Sandbox Code Playgroud)
它已将我的IP地址“ 192.168.56.101”作为“ 192.168.56.1”?我也试过这个:
mysql -u nilani -p pass -h 192.168.56.101
Run Code Online (Sandbox Code Playgroud)
它也会产生同样的错误,
ERROR 1130 (HY000): Host '192.168.56.1' is not allowed to connect to this MySQL serve
Run Code Online (Sandbox Code Playgroud)
为什么无法正确识别我的IP?
来自官方文档的例子
from django.db import connection
def my_custom_sql(self):
cursor = connection.cursor()
cursor.execute("UPDATE bar SET foo = 1 WHERE baz = %s", [self.baz])
cursor.execute("SELECT foo FROM bar WHERE baz = %s", [self.baz])
row = cursor.fetchone()
return row
Run Code Online (Sandbox Code Playgroud)
如果更新会影响选择,例如
cursor.execute("UPDATE bar SET foo = foo + 1 WHERE baz = %s", [self.baz])
cursor.execute("SELECT foo FROM bar WHERE baz = %s", [self.baz])
Run Code Online (Sandbox Code Playgroud)
事务是否适用于原始 SQL,就像这个 snap 代码一样有效?
from django.db import connection, transaction
def my_custom_sql(self):
try:
with transaction.atomic():
cursor = connection.cursor()
cursor.execute("UPDATE bar SET foo = …Run Code Online (Sandbox Code Playgroud) 我使用以下方式"成功"安装了MySQLdb:
pip install mysql-python
Run Code Online (Sandbox Code Playgroud)
但是当我使用终端检查时,"导入MySQLdb"会抛出此错误:
回溯(最近通话最后一个):文件"",1号线,在文件"//anaconda/lib/python2.7/site-packages/MySQLdb/ 初始化 py"为19行,在进口_mysql导入错误:dlopen的(/ /anaconda/lib/python2.7/site-packages/_mysql.so,2):未加载库:libssl.1.0.0.dylib引用自://anaconda/lib/python2.7/site-packages/_mysql.原因:图片未找到
我假设这是由于链接的一些问题,但我不知道该怎么做.
---我在Mac上.---
我收到以下错误:
File "/home/ec2-user/test/test_stats.py", line 43, in get_test_ids_for_id
cursor.execute("""select test_id from test_logs where id = %s """, (id))
File "/home/ec2-user/.etl/lib/python2.7/site-packages/MySQLdb/cursors.py", line 187, in execute
query = query % tuple([db.literal(item) for item in args])
TypeError: 'int' object is not iterable
Run Code Online (Sandbox Code Playgroud)
这是我的代码部分,我遇到了麻烦:
def get_test_ids_for_id(prod_mysql_conn, id):
cursor = prod_mysql_conn.cursor()
cursor.execute("""select test_id from test_logs where id = %s """, (id))
rows = cursor.fetchall()
test_ids = []
for row in rows:
test_ids.append(row[0])
return test_ids
Run Code Online (Sandbox Code Playgroud) 我想在适用于MySQL DB的PyCharm中运行Django应用程序。
我无法将程序连接到数据库。
当我尝试安装MySQLclient或MySQL-python时,出现错误:
MySQLclient的构建轮失败
请帮助我将Django程序与MySQL数据库连接。
这是一个我无法找到答案的简单问题.我有一个带有两个命令的.SQL文件.我想让Pandas将这些命令的结果拉入DataFrame.
SQL文件的命令就是这样,使用今天的日期查询时间更长.
SET @todaydate = DATE(NOW());
SELECT ...long query....;
Run Code Online (Sandbox Code Playgroud)
在建立连接(prod_db)后,我尝试以下列方式使用read_sql并获取错误消息''NoneType'对象不可迭代'
sqlpath = 'path.sql'
scriptFile = open(sqlpath,'r')
script = scriptFile.read()
df = pd.read_sql(script,prod_db)
Run Code Online (Sandbox Code Playgroud)
我也尝试使用这里描述的函数和方法在python中读取外部sql脚本,但我不确定如何将结果导入pandas数据帧(或者我可能缺少某些东西).它似乎没有读取结果,因为我反复得到'命令跳过'.
def executeScriptsFromFile(filename):
fd = open(filename, 'r')
sqlFile = fd.read()
fd.close()
# all SQL commands (split on ';')
sqlCommands = sqlFile.split(';')
# Execute every command from the input file
for command in sqlCommands:
try:
c.execute(command)
except OperationalError, msg:
print "Command skipped: ", msg
df = executescriptsfromfile(sqlpath)
Run Code Online (Sandbox Code Playgroud) 运行pip install mysql-python给出“ python setup.py egg_info”失败,错误代码为1
尝试pip install -U setuptools将setuptools更新到最新版本,该版本获取了“最新要求:./ 2.7 / lib / python2.7 / site-packages中的setuptools”。
还尝试python -m pip install --upgrade setuptools了应该与上面相同的功能。
也尝试先运行brew install mysql-connector-c然后再运行pip install mysql-python,但仍然无法正常工作。
错误:命令“ python setup.py egg_info”失败,错误代码为/ private / var / folders / _0 / 9_462vd15jgg2s365ldbgt440000gn / T / pip-install-_gamvb3n / mysql-python /
mysql-python ×10
python ×9
mysql ×5
anaconda ×1
dataframe ×1
django ×1
pandas ×1
path ×1
python-2.7 ×1
sql ×1