小编gre*_*ess的帖子

我有一个拒绝使用索引的表,它总是使用filesort.

该表是:

CREATE TABLE `article` (
  `ID` int(11) NOT NULL AUTO_INCREMENT,
  `Category_ID` int(11) DEFAULT NULL,
  `Subcategory` int(11) DEFAULT NULL,
  `CTimestamp` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `Publish` tinyint(4) DEFAULT NULL,
  `Administrator_ID` int(11) DEFAULT NULL,
  `Position` tinyint(4) DEFAULT '0',
  PRIMARY KEY (`ID`),
  KEY `Subcategory` (`Subcategory`,`Position`,`CTimestamp`,`Publish`),
  KEY `Category_ID` (`Category_ID`,`CTimestamp`,`Publish`),
  KEY `Position` (`Position`,`Category_ID`,`Publish`),
  KEY `CTimestamp` (`CTimestamp`),
  CONSTRAINT `article_ibfk_1` FOREIGN KEY (`Category_ID`) REFERENCES `category` (`ID`)
) ENGINE=InnoDB AUTO_INCREMENT=94290 DEFAULT CHARSET=utf8

查询是:

SELECT * FROM article ORDER BY `CTimestamp`;

解释是:

+----+-------------+---------+------+---------------+------+---------+------+-------+----------------+
| id | select_type | …

我可以在一个BigQuery项目中创建多少个数据集？我没有在文件中提到的任何地方找到这个限制.

我问这个是因为我想每天创建一个数据集.在每日数据集下,将使用每日数据创建相同数量的表.例如,

dataset_20121101
   - table1
   - table2
dataset_20121102
   - table1
   - table2
...
dataset_201XXXXX
   - table1
   - table2

此外,如果我想对一系列数据集进行查询,我是否可以做一些比从每个数据集中明确选择更好的方法？例如,

select date, sum(price) from 
 dateset_20121101.table1, 
 dateset_20121102.table1,
 dateset_20121103.table1,
 dateset_20121104.table1
 group by date order by date

我猜不是,但试着确认一下.

谢谢.

我在python中编写了一个程序,用word net来查找单词之间的语义相似性.但我觉得它是静态的.我想给它一个动态的方法.我想从维基百科访问每个单词的定义.如何访问这样的单词的定义？当我用Google搜索时,我发现通过解析维基百科转储文件,我们可以获得定义.但我不知道如何解析.是否有人可以实现解析器来从转储文件中获取单词的定义.这是唯一的方法吗？方法是真的.

我有一个P1包含 ID 字段的PCollection 。我想从 PCollection 中获取完整的 ID 列作为列表，并将此值传递给 BigQuery 查询以过滤一个 BigQuery 表。

这样做的最快和最优化的方法是什么？

我是 Dataflow 和 BigData 的新手。任何人都可以对此提供一些提示吗？

谢谢！

我正在处理一个有趣的问题.

我有生物识别系统,使用John Daugman的算法将人类虹膜转换成二进制代码(对于我们大学的一些研究).

虹膜代码是"平坦的"(它不是存储为圆形,而是转换为矩形):

column 1 | column 2 | column 3 | ...

10011001 ...
10110111
01100010
...

其中列代表30位.问题是每次虹膜扫描都有自己的噪声掩模(眼睑,反射......),匹配不是100%,但最好是96-98%左右.

到目前为止,我们正在使用这样的算法(汉明距离匹配):

mask = mask1 & mask2;
result = (code1 ^ code2) & mask;

// ration of 1 bits allowed by mask
double difference = (double)one_bits(result)/one_bits(mask); 

问题是我们现在正在构建真实的虹膜数据库(大约1200-1300个主题,每个3-5个虹膜样本,你必须计算轮换,所以你需要为每个进行大约10次测试).我们需要将当前样本与整个数据库进行比较(在80*30位上进行65000次比较),结果显示速度很慢.

问题:是否存在反映数据结构的哈希函数(当几位变化时稍微改变一下)或"容错"？我们需要在整个数据库中构建快速搜索算法(因此我们正在寻找可能的方法来索引它).

更新:我想它应该通过某种"最近邻居"查找来实现,或者使用某种类型的聚类(其中类似的虹膜将被分组,并且在第一轮中仅检查一些代表).

我在Weka中使用决策树并且我有一些连续数据,所以当我使用Weka时它会自动为我找到阈值但由于某种原因我想自己实现决策树,所以我需要知道使用什么方法来查找离散我的连续数据的门槛？