我现在正在做的是读取文本文件的内容并将其存储在变量中.在读完整个内容之后,我为块数据运行一个循环,并在那里调用一个函数,该函数将读取块数据的每一行并将每一行传递给另一个函数,该函数处理每列数据并将其插入批量数据库.批次是整个块.
对于每个大小超过500KB的文件,代码过程太长.我的问题是我可以使用文本文件中没有唯一标识符,以便我可以应用"LOAD DATA INFILE",这使我处于通过块处理文本文件的这种情况.
700K几乎整整一天都在加工,但仍取决于机器的规格.代码在CentOS中运行.处理完第一个文本文件后,下一个800KB ++大小的文本文件花了将近一周的时间来处理.在这些与其他文本文件大小超过800KB,花了差不多或一个多星期来处理特别是1MB大小的文件.
有人可以告诉我我做错了什么以及我需要什么选项才能使我的代码高效运行.
/*
====================================================================================
RECORDS FETCH
====================================================================================
Needs path and filename with extension.
The page do an iteration of records in the file by line.
After by line, it iterates again per delimiter ","..
It concatenates the part of the records for bulk insert process.
PID address is incremental, every three PID correspond to one Chamber
and the reading in each Chamber is CO2 for first PID address, RH for the
second PID address, TEMP …