如何高效地将Oracle中的大数据集提取到文件中？
Rhy*_*wal 3 python oracle performance export bulk-operations
我有一个 Oracle 服务器，我需要使用 python 将数据提取到文件中。这些文件被下游系统用作输入。
一些技术细节：
Oracle 和 Python 运行在不同的服务器上。数据库由客户端托管，而所有脚本都在 AWS RHEL EC2 服务器上运行。此屏幕截图中突出显示了 EC2 实例的详细信息。
。
我的方法 为此，我选择 Python 的 Pyodbc 库连接到远程 Oracle 客户端并使用 SQL 查询提取数据。下面是根据提供的 SQL 查询获取数据的代码摘录。
def fetch_data_to_file(self,curr,query,dataset):
try:
self.logger.info('Executing query: {}'.format(query))
start = time.time()
curr.execute(query)
query_time = time.time()-start
start = time.time()
rowcount=0
with open(dataset,'a+') as f:
writer = csv.writer(f,delimiter='|')
writer.writerow([i[0] for i in curr.description])
self.logger.info('Writing file: {}'.format(dataset))
while True:
rows = curr.fetchmany(self.batch_limit)
self.logger.info('Writing {} rows'.format(self.batch_limit))
rowcount+=len(rows)
if not rows:
break
self.timer.info('{} Query Execution Time: {} seconds'.format(dataset,query_time))
self.timer.info('{} File Writing Time: {} seconds. at {} rows/second'.format(dataset,time.time()-start,int(rowcount / (time.time()-start))))
self.logger.info("File written.")
except Exception as e:
self.error.info("Error in fetching data.Error: {}".format(e))
raise SystemExit(1)
我提取的数据集未压缩大小接近 8GB（返回接近 3500 万行）。代码需要约 1.5 小时才能将文件下载到我的 EC2 服务器上。我测试了batch_limits的多个变体，发现1Million - 2Million是批量下载数据的最佳大小，但是我不确定是否还有其他方法可以更有效地确定我的批量大小应该是多少。
我还研究了什么 我在网上寻找使用 python 将大型数据集写入文件的方法，许多人建议使用 Pandas。我试图弄清楚这一点，但没有成功。此外，在将数据提取到文件时保留数据及其数据类型也很重要。
我的问题是：有什么我可以做得更好来使这段代码更高效吗？Python 是最适合此目的的语言吗？（请注意，无论我选择什么语言，我都需要能够自动化工作。由于我公司的内部定价挑战，目前使用许可库有点困难）。
另外，不确定这是否有帮助，但这是代码下载数据时我的内存使用情况的快照（htop）
一种可能是下载免费的“SQLcl”实用程序，它基本上是一个基于 Java 的 SQL-Plus，但功能更多。在这里下载。您可以使用 SQLcl 将其放在客户端计算机上并使用它来提取数据，同时还为您处理分隔符。这里我将分隔符设置为管道符号。这可能比尝试通过 Python 更有效，而且您仍然可以编写脚本并从 Python 或其他地方调用它。
$ sqlcl username/password@'<hostname>:<port>/ORACLE_SID'
> Set sqlformat delimited |
> Spool <some file to hold the data>
> Select * from <some table>;
> Spool off
上面的内容可以很容易地放入 shell 脚本中。
#!/bin/bash
sqlcl username/password@'<hostname>:<port>/ORACLE_SID' <<EOF
Set sqlformat delimited |
Spool <some file to hold the data>
Select * from <some table>;
Spool off
EOF
例子
sqlcl> Select * from emp;
"EMPNO"|"ENAME"|"JOB"|"MGR"|"HIREDATE"|"SAL"|"COMM"|"DEPTNO"
7839|"KING"|"PRESIDENT"||17-NOV-81|5000||10
7698|"BLAKE"|"MANAGER"|7839|01-MAY-81|2850||30
7782|"CLARK"|"MANAGER"|7839|09-JUN-81|2450||10
7566|"JONES"|"MANAGER"|7839|02-APR-81|2975||20
7788|"SCOTT"|"ANALYST"|7566|09-DEC-82|3000||20
7902|"FORD"|"ANALYST"|7566|03-DEC-81|3000||20
7369|"SMITH"|"CLERK"|7902|17-DEC-80|800||20
7499|"ALLEN"|"SALESMAN"|7698|20-FEB-81|1600|300|30
7521|"WARD"|"SALESMAN"|7698|22-FEB-81|1250|500|30
7654|"MARTIN"|"SALESMAN"|7698|28-SEP-81|1250|1400|30
7844|"TURNER"|"SALESMAN"|7698|08-SEP-81|1500|0|30
7876|"ADAMS"|"CLERK"|7788|12-JAN-83|1100||20
7900|"JAMES"|"CLERK"|7698|03-DEC-81|950||30
7934|"MILLER"|"CLERK"|7782|23-JAN-82|1300||10