标签: flat-file

在PHP中创建平面文件数据库结构的最佳实践是什么？

我看到很多比较成熟的PHP平面文件框架试图实现类似SQL的查询语法,这在大多数情况下都是我的目的(我只会在那时使用数据库).

是否有任何优雅的技巧,以获得良好的性能和功能与小代码开销？

如果我有一个由文件夹和文件组成的静态数据库,访问和操作会比SQL服务器类型数据库更快,考虑到这将用于CGI脚本吗？

使用文件和文件夹时,有哪些提高性能的技巧？

为什么平面文本文件是表示源代码的最新技术？

当然 - 预处理器和编译器需要查看文件的平面文件表示,但这很容易创建.

在我看来,某些形式的XML或二进制数据可能代表很多难以跟踪的想法,否则.

例如,您可以将UML图直接嵌入到代码中.它们可以半自动生成,并由开发人员注释以突出设计的重要方面.特别是交互图.哎呀,嵌入任何用户绘图可能会使事情变得更加清晰.

另一个想法是将代码评论中的注释直接嵌入到代码中.

可能有各种各样的辅助工具可以更容易地合并多个分支.

我热衷的不仅仅是跟踪代码覆盖率,还要查看自动化测试所涵盖的代码部分.困难的部分是跟踪代码,即使源被修改.例如,将一个函数从一个文件移动到另一个文件,等等.这可以通过GUID来完成,但是它们很容易嵌入到文本文件中.在丰富的文件格式中,它们可以是自动且不显眼的.

那么为什么没有IDE(据我所知,无论如何)允许你以这种方式处理代码？

编辑: 2009年10月7日.

在我的问题中,大多数人都非常喜欢"二元"这个词.我收回它.图片XML,非常简单地标记您的代码.在将其交给普通预处理器或编译器之前的那一刻,您将删除所有XML标记,并仅传递源代码.在这种形式中,您仍然可以对文件执行所有常规操作:差异,合并,编辑,在简单的最小编辑器中使用,将它们提供给数千个工具.是的,直接使用最小的XML标记进行差异,合并和编辑确实会变得更复杂.但我认为价值可能是巨大的.

如果存在一个尊重所有XML的IDE,那么您可以添加比我们今天所能做的更多的东西.

例如,您的DOxygen注释实际上看起来像最终的DOxygen输出.

当有人想要进行代码审查时,比如Code Collaborator,他们可以在适当的位置标记源代码.

XML甚至可以隐藏在评论之后.

// <comment author="mcruikshank" date="2009-10-07">
// Please refactor to Delegate.
// </comment>

然后,如果您想使用vi或emacs,您可以跳过评论.

如果我想使用最先进的编辑器,我可以通过十几种不同的有用方式看到它.

所以,这是我粗略的想法.它不是你在屏幕上拖动的图片的"构建块"......我不是那么疯狂.:)

我必须从webservice输出创建一个CSV文件,CSV文件使用带逗号分隔符的带引号的字符串.我不能改变格式 ......

所以,如果我有一个string它变成了"string"......如果该值已经引用,则它们将替换为双引号.例如,str"ing变成"str""ing"......

但是,最近由于以下原因导致导入失败

• 原始输入字符串是: "","word1,word2,..."
• 每个单引号都被double替换为: """",""word1,word2,...""
• 然后在写入CVS文件之前加上前缀并加上引号: """"",""word1,word2,..."""

如您所见,最终结果如下:

""""",""word1,word2,..."""

这打破了我的导入(将其视为另一个字段)...我认为问题是","在原始输入字符串中出现的问题.

这种情况是否有CVS转义序列？

更新

上述中断的原因是由于BCP映射文件(BCP实用程序用于将CSV文件加载到SQL db中),其中终结符定义为",".因此,它没有看到1个字段,而是看到2 ...但我无法更改映射文件...

我在flatfile中收集一些系统数据,其格式如下:

YYYY-MM-DD-HH24:MI:SS DD1 DD2 DD3 DD4

其中DD1-DD4是四项数据.该文件的一个示例是:

2011-02-01-13:29:53 16 8 7 68
2011-02-01-13:29:58 13 8 6 110
2011-02-01-13:30:03 26 25 1 109
2011-02-01-13:30:08 13 12 1 31
2011-02-01-13:30:14 192 170 22 34
2011-02-01-13:30:19 16 16 0 10
2011-02-01-13:30:24 137 61 76 9
2011-02-01-13:30:29 452 167 286 42
2011-02-01-13:30:34 471 177 295 11
2011-02-01-13:30:39 502 192 309 10

该文件超过200万行,每五秒钟有一个数据点.

我需要绘制这些数据,以便能够从中获得意义.

我试过的

目前我已尝试使用各种unix工具gnuplot和rrdtool(awk,sed等).这两种方法都有效,但每次我想以不同的方式查看数据时,似乎都需要大量的切割和重新编辑数据.我的直觉是rrdtool是正确的方法,但目前我正在努力将数据快速地加入其中,部分原因是因为我必须将我的时间戳转换为Unix时代.我的理解是,如果我决定我想要一个新的聚合粒度,我必须重建rrd(这对于实时收集是有意义的,但不是像这样的追溯加载).这些事情让我觉得我可能正在使用错误的工具.

将数据收集到平面文件是固定的 - 例如,我无法将集合直接传递到rrdtool.

我的问题

我希望人们对制图的最佳方式有所了解.我有这些要求:

1. 它应该尽可能快地创建一个图形(不仅仅是渲染,而是设置为渲染)
2. 它应该尽可能灵活 - 我需要使用图表来计算出数据的最佳粒度(5秒可能过于细化)
3. 它应该能够在必要时聚合(MAX/AVG/etc)
4. 它应该是可重复的,并且当它们进入时会有新的数据文件
5. 理想情况下,我希望能够在本周与DD1重叠DD1与DD2或DD1
6. Unix或Windows,不在乎.首选*nix虽然:-)

有什么建议？

我试图使用SSIS将数据从utf-8编码的平面文件导入SQL Server 2008.这就是Notepad ++中行数据的结尾:

我有几个图像显示文件连接管理器的样子:

您可以在文件连接管理器预览中看到数据正确显示.当我尝试导入此数据时,不导入任何行.我收到一条错误消息,指出未找到行分隔符.您可以在文件连接管理器图像中看到标题行分隔符和行分隔符都设置为{LF}.这足以生成正确的预览,所以我迷失了为什么它无法导入.我尝试了许多结果为零的事情:

• 在SSMS中使用向导导入尝试...相同的结果
• 尝试使用数据转换,没有影响
• 尝试将行分隔符设置为(0a),结果相同

[Flat File Source [582]]警告:读取标题行时已到达数据文件的末尾.确保标题行分隔符和要跳过的标题行数是正确的.

感谢您的关注,我非常感谢您提供的任何帮助.

stackoverflow上有关于这个主题的问题很少,但我没有得到正确的答案.我对平面文件的性能有一些疑问,使用平面文件而不是SQLite更好吗？有人可以有性能统计吗？或者在android中编写平面文件的正确方法的示例.

有一个非常直接的SSIS包:

• OLE DB Source通过视图获取数据(db表nvarchar或nchar中的所有字符串列).
• 派生列以格式化现有日期并将其添加到数据集(数据类型DT_WSTR).
• 用于在以下各项之间拆分数据集的多播任务:
  • OLE DB命令将行更新为"已处理".
  • 平面文件目标 - 其连接管理器设置为代码页面65001 UTF-8和Unicode未选中.所有字符串列都映射到DT_WSTR.

每次我运行这个包时,在Notepad ++中打开它的ANSI平面文件,而不是UTF-8.如果我检查Unicode选项,则该文件是UCS-2 Little Endian.

我做错了什么 - 如何让平面文件成为UTF-8编码？

谢谢

有没有人有关于如何使用SSIS包将固定宽度平面文件导入数据库的教程？

我有一个包含不同长度的列的平面文件.

Column name    Width
-----------    -----
First name        25
Last name         25
Id                 9
Date               8

如何将平面文件转换为列？

将平面文件转换为数据库表时,我只得到了这两个错误.数据流似乎适用于具有相同布局的其他平面文件,因此我不明白这些错误可能来自何处.

[Flat File Source [204]] Error: An error occurred while skipping data rows.

[SSIS.Pipeline] Error: SSIS Error Code DTS_E_PRIMEOUTPUTFAILED.  
The PrimeOutput method on Flat File Source returned error code 0xC0202091.  
The component returned a failure code when the pipeline engine called 
PrimeOutput(). The meaning of the failure code is defined by the component, 
but the error is fatal and the pipeline stopped executing.  There may be 
error messages posted before this with more information about the failure.