标签: flat-file

我正在寻找一个可以编译成C++应用程序的轻量级数据库库.

有这样的存在吗？

我有一个带有数据流的SSIS包,它接受一个ADO.NET数据源(只是一个小表),执行一个select*查询,并将查询结果输出到一个平面文件(我也试过拉动整个表而不是使用SQL select).

问题是数据源提取的是一个Money数据类型的列,如果该值不为零,它就会很好地进入文本平面文件(如'123.45'),但当值为零时,它会显示出来在目标平面文件中为".00".我需要知道如何将前导零回到平面文件中.

我已经尝试了各种数据类型的输出(在平面文件连接管理器中),包括货币和字符串,但这似乎没有任何效果.

我在我的选择中尝试了一个case语句,如下所示:

  CASE WHEN columnValue = 0 THEN 
     '0.00' 
  ELSE 
      columnValue 
  END

(仍然导致'.00')

我尝试过这样的变体:

 CASE WHEN columnValue = 0 THEN
     convert(decimal(12,2), '0.00') 
 ELSE 
     convert(decimal(12,2), columnValue) 
 END

(仍然导致'.00')

和:

 CASE WHEN columnValue = 0 THEN
     convert(money, '0.00') 
 ELSE 
     convert(money, columnValue) 
 END

(结果为'.0000000000000000000')

这个愚蠢的小问题就是杀了我.任何人都可以告诉我如何将零Money数据类型数据库值作为'0.00'添加到平面文件中？

这是一个奇怪的问题.我有一个应用程序必须支持平面文件和数据库作为持久数据的地方.我想也许可以使用.csv或制表符分隔的文件集作为输入...

是否有可能使用NHibernate来执行两个持久性任务？

我在使用SSIS数据导入向导将数据从制表符分隔的平面文件(TSV文件)上传到SQL Server 2005时遇到问题.我没有使用SQL Server 2000中的等效过程遇到此问题,我已经检查过我尝试导入的文件的内部结构在SQL Server升级发生之前就没有改变.

问题是具有数字数据类型的列中的所有空值(例如smallint,float等)在导入时都会转换为0,而不是NULL.这意味着跨这些数据的AVGing会产生错误的输出.

TSV文件不包含文本限定符,但是测试使用带有一些虚拟数据的限定符并不能解决此问题.

可以通过导入VARCHAR列来保留NULL,但这远非理想.有没有办法指示SSIS导入/导出向导将空文件从平面文件导入到数值数据类型为NULL而不是0的列中？

我想保存我在程序中生成的对象.重新启动后,应该自动加载数组中的所有对象.我想将它们写在一个文件中,并在重启后解析它们.除手工之外,还有其他更聪明的可能性吗？谢谢

有没有人知道将平面文件转换为Java对象的任何好的库？我发现扁虫,但我正在寻找替代品.

一位朋友和我正在讨论他是否应该使用MySQL或flatfile数据库作为他网站的后端.我告诉他要使用MySQL,因为它是结构化的,记录良好,并且是一致的.另一方面,他说他宁愿追求速度.读取文件比连接MySQL要快得多,这让我想知道他是否是对的.例如,为什么不创建一个文件夹中的每个表,就像这样:users/ groups/ posts/,内夹有(按ID命名的文件1,2,3),然后对数据使用的格式,像这样:username: John\npassword: e2fc714c4727ee9395f324cd2e7f331f\nemail: example@example.com？

换句话说,MySQL相对于flatfiles有什么优势？

FlatFileItemReader与一起使用了很多示例TaskExecutor。我在下面提供了示例（都带有XML和Java Config）：

• 在Spring Batch中使用Oracle Coherence
• Spring Batch多线程示例

我已将自己的XML配置用于大型CSV（GB大小）的开箱即用JpaItemWriter。即使不设置save-state = false或进行任何特殊处理，似乎也没有问题。

现在，FlatFileItemReader已记录为不是线程安全的。

我的猜测是，JpaItemWriter通过持久保存集（即如果hashCode()和equals()覆盖实体的业务密钥，则没有重复）的集合来“发现”问题。但是，即使这样，由于非线程安全的读取和处理，也无法防止重复。

您能否澄清一下：FlatFileItemReader在分配了TaskExecutor的Tasklet 中使用开箱即用的方法是否正确/正确/安全？不论作家。如果没有，我们如何在理论上解释JPAItemWriter使用a时没有错误？

PS：我上面给出的示例链接FlatFileItemReader与TaskExecutor一起使用，而没有提及所有可能的线程安全问题...

我只是想知道人们对于从Hive读取还是从.csv文件，.txt文件，.ORC文件或.parquet文件读取有什么想法。假设基础Hive表是具有相同文件格式的外部表，您想从Hive表中读取还是从基础文件本身中读取，为什么？

麦克风

使用SSIS 2012.我的平面文件连接管理器我有一个分隔文件,其中行分隔符设置为CRLF,但是当它处理文件时,我有一个文本列,其中包含一个文本列LF.这导致它将其读作行终止符,导致其失败.有任何想法吗？