我在分区表中的符号列文件大小异常大——为什么会这样？

Question

我刚刚使用展开和分区表构建了我的第一个正确的 q/kdb+ 数据库。一切都很顺利，但我刚刚注意到我的符号s列文件大小异常大。以下是我从操作系统和 q 内部可以看到的内容：

# ls -latr 2017.10.30/ngbarx
total 532
-rw-r--r-- 1 root root  24992 Apr 17 20:53 vunadj
-rw-r--r-- 1 root root  24992 Apr 17 20:53 v
-rw-r--r-- 1 root root 300664 Apr 17 20:53 s
...

q)meta ngbarx
c     | t f a
------| -----
date  | d    
s     | s   p
v     | e    
vunadj| e    
...

q)get `:2017.10.30/ngbarx/s
`p#`sym$`A`AA`AACG`AADI`AADR`AAIC`AAIC-B`AAL`AAM-A`AAMC`AAME`AAOI`AAON`AAP`AA..

q)-22!get `:2017.10.30/ngbarx/v
24990
q)-22!get `:2017.10.30/ngbarx/s
28678
q)all (get `:2017.10.30/ngbarx/s) in sym
1b
q)count sym
62136

因此，将实际类型v列与符号类型s列进行比较，我从 ls 中看到符号列的大小超过 10 倍，即使内部大小（以字节为单位）相似并且所有内容似乎都在文件中正确编码sym。

这是预期的行为吗？或者我做错了什么可以修复的事情？

更新：我没有使用压缩，而是使用神奇的功能编写了文件，可以在此处.Q.dcfgnt查看。好吧，一个稍微修改的版本，我注意到这个函数 as 也在目录中保存了一个文件，即使该列应该是虚拟的，所以我做了一些黑客攻击（我不太擅长）并更新了内部功能到此...datek.Q.dpfgnt

k){[d;p;f;g;n;t]if[~&/qm'r:+en[d]t;'`unmappable];
 {[d;g;t;i;x]@[d;x;g;t[x]i]}[d:par[d;p;n];g;r;<r f]'{x@&~x=`date}(!r);
 @[;f;`p#]@[d;`.d;:;f,r@&~f=r:{x@&~x=`date}(!r)];n}

Answer 1

应用parted属性不是免费的并且需要存储。它通常不会那么昂贵，但查看 s 的示例输出，它看起来不适合分离，因为不包含重复值：

q)get `:2017.10.30/ngbarx/s
`p#`sym$`A`AA`AACG`AADI`AADR`AAIC`AAIC-B`AAL`AAM-A`AAMC`AAME`AAOI`AAON`AAP`AA..

请参阅下面为说明问题而创建的表格：

/ no part - 16 distinct syms
t1:([]s:100000?`1;v:100000?2e)

/ part - 16 distinct syms
t2:update `p#s from `s xasc ([]s:100000?`1;v:100000?2e)

/ no part - 99999 distinct syms
t3:([]s:100000?`8;v:100000?2e)

/ part - 99999 distinct syms
t4:update `p#s from `s xasc ([]s:100000?`8;v:100000?2e)

对于parted 属性( )，t1 和t2 之间的大小差异并不显着804096 -> 804664。然而，当不同的符号/部件的数量变得非常大时，存储成本非常大。( 804096 -> 4749872)

ls | xargs ls -latr
t1:
total 1180
-rw-r--r-- 1 matmoore matmoore     12 Apr 19 10:28 .d
-rw-r--r-- 1 matmoore matmoore 804096 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore 400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 .
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 ..

t2:
total 1180
-rw-r--r-- 1 matmoore matmoore     12 Apr 19 10:28 .d
-rw-r--r-- 1 matmoore matmoore 804664 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore 400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 .
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 ..

t3:
total 1180
-rw-r--r-- 1 matmoore matmoore     12 Apr 19 10:28 .d
-rw-r--r-- 1 matmoore matmoore 804096 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore 400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 .
drwxr-xr-x 1 matmoore matmoore   4096 Apr 19 10:28 ..

t4:
total 5032
-rw-r--r-- 1 matmoore matmoore      12 Apr 19 10:28 .d
drwxr-xr-x 1 matmoore matmoore    4096 Apr 19 10:28 ..
-rw-r--r-- 1 matmoore matmoore 4749872 Apr 19 10:28 s
-rw-r--r-- 1 matmoore matmoore  400016 Apr 19 10:28 v
drwxr-xr-x 1 matmoore matmoore    4096 Apr 19 10:28 .

我还想问这一栏是否应该是一个符号。如果 62k 是你的 sym 文件的大小，并且只创建了一个日期，那么你应该小心，你最终会创建一个臃肿的 sym 文件。如果您有 2017 年 10 月 30 日以来的完整历史记录，并且 sym 文件仍然是 62k，那么没关系，但如果您每天添加那么多新符号，sym 文件将很快失控。