使用pentaho解析文本文件

Question

我有大量的文本文件需要加载到数据库中.它们的结构如下:而不是更常见的csv格式:

TY  - JOUR
T1  - On the Structure and Life-History of Entyloma ranunculi (Bonorden)
JF  - Philosophical Transactions of the Royal Society of London. B (1887-1895)
VL  - 178
SP  - 173
EP  - 185
PY  - 1887/01/01/
UR  - http://dx.doi.org/10.1098/rstb.1887.0008
M3  - doi:10.1098/rstb.1887.0008
AU  - Ward, H.
ER  -

其中每一行是不同的字段,字段名称由前导字符表示.

我想要做的是将每一行加载到记录中的相应字段中.我想通过pentaho这样做,任何人都知道如何实现这一目标.为csv输入设置文本输入步骤.

Answer 1

该文本样本看起来非常熟悉.....

匆匆赶去检查一下

如果那个文本样本是我认为它是"皇家科学社会期刊描述文件"那么你将无法编写pentaho脚本来解析这些东西.

我一直在那里,尝试过,这很痛苦,非常痛苦.

为什么？

好吧很多东西.

首先,不严格检查文件格式,因此您将找到一些没有2个字符ID的文件,后面跟着2个空格,其中包含1个空格和数据格式行.

您还会发现一些文件中包含未解析的LATEX命令和/或未处理的变量替换.

简而言之,这些文件(至少是我上次看到的那些文件)在一个可怕的状态下.

你将遇到的另一个主要问题是缺少线条.

每个描述符应该有11个主要标记,如下所示:

TY
T1
JF
VL
SP
EP
PY
UR
M3
AU
ER

来自记忆的是:

TY - Title
T1 - Description
JF - ???
VL - Volume number
SP - Start page
EP - End page
PY - Published Year
UR - Url
M3 - ???
AU - Author name
ER - ???

通常,您会发现并非所有这些行都存在,但要使列以CSV格式排列,您仍需要添加空白条目.

还要注意AU字段,它可以并且经常包含文件的多个条目,因此您经常会得到:

TY  - ....
T1  - ....
....
AU  - ....
AU  - ....
....

在Carey上面的回答中使用pentaho方法处理这个问题会导致很多行不同步,因为每个文件的每个标记会有一行

关于Carey的答案,我不得不说这是一个非常好的答案,并且在我放弃之前接近做了一个好的转换,但是冷酷的事实是文件只是处于合适的状态由pentaho可靠地处理.

对此,我拖了一些C#,我写了一个文件夹,里面装满了这些文本文件,然后将它们变成一个扁平的CSV.

由此产生的CSV并不完美,仍然需要进行少量调整,但它会让你获得99.9%的方式,并且使用pentaho比使用源文件本身更容易处理生成的文件.

代码是相当通用的C#所以它应该在Windows和单声道上编译(虽然我不得不承认,我不会在以后测试它)

这是代码:

using System.Collections.Generic;
using System.IO;
using System.Text.RegularExpressions;

namespace SciDataParse
{
  class RecordData
  {
    public string TY { get; set; }
    public string T1 { get; set; }
    public string JF { get; set; }
    public string VL { get; set; }
    public string SP { get; set; }
    public string EP { get; set; }
    public string PY { get; set; }
    public string UR { get; set; }
    public string M3 { get; set; }
    public List<string> AU { get; set; }
    public string ER { get; set; }

    public RecordData()
    {
      AU = new List<string>();
      TY = string.Empty;
      T1 = string.Empty;
      JF = string.Empty;
      VL = string.Empty;
      SP = string.Empty;
      EP = string.Empty;
      PY = string.Empty;
      UR = string.Empty;
      M3 = string.Empty;
      ER = string.Empty;
    }
  }

  class Program
  {
    static RecordData ProcessFile(string inputName)
    {
      RecordData result = new RecordData();

      using (StreamReader reader = new StreamReader(inputName))
      {
        string inputLine = reader.ReadLine();
        while(!string.IsNullOrEmpty(inputLine))
        {
          if (!Regex.IsMatch(inputLine, @"^[A-Z,0-9][A-Z,0-9]\s+-\s+.*$"))
          {
            inputLine = reader.ReadLine();
            continue; // Regex match to ensure lines are valid format
          }
          string[] lineItems = inputLine.Split('-');
          string tag = lineItems[0].Trim();
          string data = lineItems[1].Trim();
          switch (tag)
          {
            // Sort and add lines to our result object.  Note we check and change null to empty strings and filter commas
            // so that we don't create any problems with outputting CSV data
            case "TY" :
              result.TY = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "T1":
              result.T1 = !string.IsNullOrEmpty(data) ? data.Replace(",", string.Empty) : string.Empty;
              break;

            case "JF":
              result.JF = !string.IsNullOrEmpty(data) ? data.Replace(",", string.Empty) : string.Empty;
              break;

            case "VL":
              result.VL = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "SP":
              result.SP = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "EP":
              result.EP = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "PY":
              result.PY = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "UR":
              result.UR = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "M3":
              result.M3 = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;

            case "AU":
              // AU = Author items of which there can be multiple, note we also replace blank author names with "Unknown"
              result.AU.Add(!string.IsNullOrEmpty(data) ? data.Replace(",", string.Empty) : "Unknown");
              break;

            case "ER":
              result.ER = !string.IsNullOrEmpty(data) ? data : string.Empty;
              break;
          }
          inputLine = reader.ReadLine();
        }
      }

      return result;
    }

    static void Main()
    {
      List<RecordData> fileRecords = new List<RecordData>();
      List<string> headerColumns = new List<string> {"TY", "T1", "JF", "VL", "SP", "EP", "PY", "UR", "M3", "AU", "ER"};

      string baseFolder = Directory.GetCurrentDirectory();

      string[] fileNames = Directory.GetFiles(baseFolder, "*.txt");

      foreach (string fileName in fileNames)
      {
        fileRecords.Add(ProcessFile(fileName));
      }

      using (StreamWriter writer = new StreamWriter("consolodated_data.csv"))
      {
        string headerRow = string.Join(",", headerColumns);
        writer.WriteLine(headerRow);

        foreach (RecordData fileRecord in fileRecords)
        {
          string fileLine = string.Empty;
          fileLine += fileRecord.TY + ",";
          fileLine += fileRecord.T1 + ",";
          fileLine += fileRecord.JF + ",";
          fileLine += fileRecord.VL + ",";
          fileLine += fileRecord.SP + ",";
          fileLine += fileRecord.EP + ",";
          fileLine += fileRecord.PY + ",";
          fileLine += fileRecord.UR + ",";
          fileLine += fileRecord.M3 + ",";
          fileLine += string.Join("|",fileRecord.AU) + ","; // Join author names with a |
          fileLine += fileRecord.ER;
          writer.WriteLine(fileLine);
        }
      }

    }
  }
}

编译文件,然后将生成的EXE复制到所有txt文件所在的文件夹中并运行它.

现在在你们任何一个C#纯粹主义者开始跳入这里并挑选我的代码之前,请注意这个......

A)它是在不久前写的,作为解决我遇到的问题的快速工具,它从来就不是生产代码.

B)是的我知道有更好的方法可以做一些事情,比如字符串构建器和连接,参见A点

C)如果你确实进入并开始在我的代码中挑选错误,而不是试图用他的问题帮助OP(就像我有)那么你只需要一个没有更好的事情的douchebag.

D)你试图用我的代码指出的任何错误都不会导致我失眠,因为坦率地说,我并不在乎.它有效,我知道它有效(因为它做了我当时需要它做的事情)而这就是我所困扰的一切.

回到OP的问题.

正如我所说,它并不完美,你将不得不进行最少量的编辑.

你需要进行任何编辑,你需要使用纯文本编辑器,如果内存服务的某些描述行非常长,并且将超过excel中可用的最大列宽,从而产生一行'### ################"

您当然可以使用pentaho将CSV直接导入数据库,然后只需编辑其中的记录以整理数据(我就是这样做的)

最后要注意的是,作者姓名(或至少在有多个名称的地方)使用|加入 将字符放入"AU"标记下的一个CSV字段中,因此当您进一步处理它们时,您可能需要考虑将它们放在自己的表中,并使用自己的ID和指向源记录的外键对它们进行反规范化.

如果你无法编译它(或者不想编译它)请给我一行,告诉我你的平台,我会为你构建它并发送给你二进制文件.