标签: mysql-python

通过Python并行化从MySQL数据库读取

我需要从一个巨大的表中读取数据(> 1百万行,16个原始文本)并对其进行一些处理.一行一行地阅读它看起来非常慢(python,MySQLdb),我希望能够一次读取多行(可能并行化).

仅供参考,我的代码目前看起来像这样:

cursor.execute('select * from big_table')
rows = int(cursor.rowcount)
for i in range(rows):
    row = cursor.fetchone()
    .... DO Processing ...
Run Code Online (Sandbox Code Playgroud)

我试图运行程序的多个实例来迭代表的不同部分(例如,第一个实例将遍历第一个200k行,第二个实例将遍历行200k-400k ......)但问题是第二个实例(以及第三个实例等)需要FOREVER才能进入开始查看行200k以后的阶段.它似乎仍然在处理第一个200k行而不是跳过它们.我在这种情况下使用的代码(第二个实例)是这样的:

for i in range(rows):
    #Fetch the row but do nothing (need to skip over 1st 200k rows)
    row = cur.fetchone()
    if not i in range(200000,400000):
       continue
    .... DO Processing ...
Run Code Online (Sandbox Code Playgroud)

我怎样才能加快这个过程?有没有一种干净的方法通过python从MySQL数据库进行更快/并行的读取?

EDIT 1:我根据以下建议尝试了"限制"的事情.出于某种原因,虽然当我在我的四核服务器上启动2个进程时,似乎一次只运行一个进程(CPU似乎是在这些进程之间共享时间,而不是每个核心运行一个单独的进程).2个python进程分别使用了14%和9%的CPU.有什么想法可能是错的?

python parallel-processing mysql-python

5
推荐指数
1
解决办法
2312
查看次数

如何在 MySQL Workbench 中使用 Python 脚本执行 SQL 查询

我想从 MySQL Workbench 中的 Python 脚本环境执行 SQL 查询。我查看了 grt 模块的MySQL Workbench 文档并找到了 executeScript 方法,但我似乎无法使用它进行查询。

执行此 Python 代码:

import grt

querystring = "select * from Purchases WHERE PurchaseAmount > 600 and PurchaseAmount < 2500"
executeScript(querystring)
Run Code Online (Sandbox Code Playgroud)

产生以下错误消息:

Uncaught exception while executing [filepath]runquery.py:

File "[filepath]runquery.py", line 10, in <module>

executeScript(querystring)

NameError: name 'executeScript' is not defined
Run Code Online (Sandbox Code Playgroud)

我不明白 virtual grt::ListRef executeScript ( const std::string & sql )是什么意思,所以我无法正确格式化我的查询,但是,错误消息似乎表明 executeScript 方法不存在。我查看的大多数文档都有格式正确的函数调用示例,但我似乎找不到任何用于 executeScript 的文档。

我想要做的就是在 MySQL Workbench Python 脚本环境中将我的字符串作为 SQL 查询运行。

谢谢! …

python mysql database-administration mysql-workbench mysql-python

5
推荐指数
1
解决办法
2万
查看次数

导入错误:python 中没有对语言“eng”的本地化支持

我ImportError: No localization support for language 'eng'在 Python 中使用 MySQL 连接器时遇到了问题。我的回溯如下。

Traceback (most recent call last):
  File \"DB_Module.py\", line 151, in QueryDatabase
  File \"\\share\app\Modules\mysql\connector\__init__.py\", line 44, in Connect
  File \"\\share\app\Modules\mysql\connector\connection.py\", line 106, in __init__
  File \"\\share\app\Modules\mysql\connector\connection.py\", line 325, in connect
  File \"\\share\app\Modules\mysql\connector\connection.py\", line 288, in _open_connection
  File \"\\share\app\Modules\mysql\connector\network.py\", line 326, in open_connection
  File \"\\sfs\show_time\Showtime_Package\showtime\Modules\mysql\connector\errors.py\", line 160, in __init__
  File \"\\share\app\Modules\mysql\connector\locales\__init__.py\", line 52, in get_client_error
ImportError: No localization support for language 'eng'
Run Code Online (Sandbox Code Playgroud)

我当前使用的 SQL 是

SELECT * FROM systemdetails …
Run Code Online (Sandbox Code Playgroud)

python database-connection mysql-python

5
推荐指数
1
解决办法
4737
查看次数

MySQLdb错误1130:无法获取服务器的正确IP

我正在尝试通过python脚本连接到mysqldb。我已将my.cnf中的绑定地址更改为“ 192.168.56.101”,这是我的服务器IP。

import MySQLdb

db = MySQLdb.connect(host='192.168.56.101',
                     user='root',
                     passwd='pass',
                     db='python')
Run Code Online (Sandbox Code Playgroud)

上面的代码给了我以下错误。

_mysql_exceptions.OperationalError: (1130, "Host '192.168.56.1' is not allowed to connect to this MySQL server")
Run Code Online (Sandbox Code Playgroud)

它已将我的IP地址“ 192.168.56.101”作为“ 192.168.56.1”?我也试过这个:

mysql -u nilani -p pass -h 192.168.56.101
Run Code Online (Sandbox Code Playgroud)

它也会产生同样的错误,

ERROR 1130 (HY000): Host '192.168.56.1' is not allowed to connect to this MySQL serve
Run Code Online (Sandbox Code Playgroud)

为什么无法正确识别我的IP?

python mysql mysql-python

5
推荐指数
1
解决办法
4218
查看次数

Django1.6,事务是否适用于原始 SQL?

来自官方文档的例子

from django.db import connection

def my_custom_sql(self):
    cursor = connection.cursor()

    cursor.execute("UPDATE bar SET foo = 1 WHERE baz = %s", [self.baz])

    cursor.execute("SELECT foo FROM bar WHERE baz = %s", [self.baz])
    row = cursor.fetchone()

    return row
Run Code Online (Sandbox Code Playgroud)

如果更新会影响选择,例如

cursor.execute("UPDATE bar SET foo = foo + 1 WHERE baz = %s", [self.baz])
cursor.execute("SELECT foo FROM bar WHERE baz = %s", [self.baz])
Run Code Online (Sandbox Code Playgroud)

事务是否适用于原始 SQL,就像这个 snap 代码一样有效?

from django.db import connection, transaction

def my_custom_sql(self):
    try:
        with transaction.atomic():
            cursor = connection.cursor()
            cursor.execute("UPDATE bar SET foo = …
Run Code Online (Sandbox Code Playgroud)

python sql django django-models mysql-python

5
推荐指数
1
解决办法
1551
查看次数

用Anaconda安装MySQLdb

我使用以下方式"成功"安装了MySQLdb:

pip install mysql-python
Run Code Online (Sandbox Code Playgroud)

但是当我使用终端检查时,"导入MySQLdb"会抛出此错误:

回溯(最近通话最后一个):文件"",1号线,在文件"//anaconda/lib/python2.7/site-packages/MySQLdb/ 初始化 py"为19行,在进口_mysql导入错误:dlopen的(/ /anaconda/lib/python2.7/site-packages/_mysql.so,2):未加载库:libssl.1.0.0.dylib引用自://anaconda/lib/python2.7/site-packages/_mysql.原因:图片未找到

我假设这是由于链接的一些问题,但我不知道该怎么做.

---我在Mac上.---

python mysql mysql-python anaconda

5
推荐指数
1
解决办法
5895
查看次数

TypeError:'int'对象不可迭代 - Python

我收到以下错误:

  File "/home/ec2-user/test/test_stats.py", line 43, in get_test_ids_for_id
    cursor.execute("""select test_id from test_logs where id = %s """, (id))
  File "/home/ec2-user/.etl/lib/python2.7/site-packages/MySQLdb/cursors.py", line 187, in execute
    query = query % tuple([db.literal(item) for item in args])
TypeError: 'int' object is not iterable
Run Code Online (Sandbox Code Playgroud)

这是我的代码部分,我遇到了麻烦:

def get_test_ids_for_id(prod_mysql_conn, id):
    cursor = prod_mysql_conn.cursor()
    cursor.execute("""select test_id from test_logs where id = %s """, (id))
    rows = cursor.fetchall()
    test_ids = []
    for row in rows:
      test_ids.append(row[0])
    return test_ids
Run Code Online (Sandbox Code Playgroud)

python mysql mysql-python python-2.7

5
推荐指数
1
解决办法
7930
查看次数

mysql-python的构建轮失败

我想在适用于MySQL DB的PyCharm中运行Django应用程序。

我无法将程序连接到数据库。

当我尝试安装MySQLclient或MySQL-python时,出现错误:

MySQLclient的构建轮失败

请帮助我将Django程序与MySQL数据库连接。

mysql mysql-python

5
推荐指数
2
解决办法
2万
查看次数

将外部SQL文件读入Pandas Dataframe

这是一个我无法找到答案的简单问题.我有一个带有两个命令的.SQL文件.我想让Pandas将这些命令的结果拉入DataFrame.

SQL文件的命令就是这样,使用今天的日期查询时间更长.

SET @todaydate = DATE(NOW());
SELECT ...long query....;
Run Code Online (Sandbox Code Playgroud)

在建立连接(prod_db)后,我尝试以下列方式使用read_sql并获取错误消息''NoneType'对象不可迭代'

sqlpath = 'path.sql'
scriptFile = open(sqlpath,'r')
script = scriptFile.read()
df = pd.read_sql(script,prod_db) 
Run Code Online (Sandbox Code Playgroud)

我也尝试使用这里描述的函数和方法在python中读取外部sql脚本,但我不确定如何将结果导入pandas数据帧(或者我可能缺少某些东西).它似乎没有读取结果,因为我反复得到'命令跳过'.

def executeScriptsFromFile(filename):
    fd = open(filename, 'r')
    sqlFile = fd.read()
    fd.close()
    # all SQL commands (split on ';')
    sqlCommands = sqlFile.split(';')
    # Execute every command from the input file
    for command in sqlCommands:
        try:
            c.execute(command)
        except OperationalError, msg:
            print "Command skipped: ", msg
df = executescriptsfromfile(sqlpath)
Run Code Online (Sandbox Code Playgroud)

python path mysql-python dataframe pandas

5
推荐指数
2
解决办法
2万
查看次数

运行pip安装mysql-python时发生错误:“ python setup.py egg_info”失败,错误代码为1

运行pip install mysql-python给出“ python setup.py egg_info”失败,错误代码为1

尝试pip install -U setuptools将setuptools更新到最新版本,该版本获取了“最新要求:./ 2.7 / lib / python2.7 / site-packages中的setuptools”。

还尝试python -m pip install --upgrade setuptools了应该与上面相同的功能。

也尝试先运行brew install mysql-connector-c然后再运行pip install mysql-python,但仍然无法正常工作。

错误:命令“ python setup.py egg_info”失败,错误代码为/ private / var / folders / _0 / 9_462vd15jgg2s365ldbgt440000gn / T / pip-install-_gamvb3n / mysql-python /

python mysql-python

5
推荐指数
1
解决办法
482
查看次数