用于将整数映射到给定范围的散列函数？

Question

我有一组整数,每个整数有8,9或10位数.我有数百万.我想将它们中的每一个映射到1到1000范围内的整数.我不能对整数进行简单的修改,因为这些数字的发布方式存在系统性偏差(例如,偶数数字比奇数),所以

$id % 1000

会产生更频繁的偶数和更少的奇数.是否有任何简单的函数(数学或棘手的函数进行按位运算),这有助于我在Perl或R中进行映射？非常感谢提前.

Answer 1

你基本上要求一个哈希函数将数字映射到0到999之间的值.

要构造它,您可以首先使用散列函数去除映射到的值中的任何系统模式,然后使用mod将输出限制为0到999之间的值.

这是该想法的R实现:

library(digest)
set.seed(1)

(x <- sample(1e9, size=6))
# [1] 265508664 372123900 572853364 908207790 201681932 898389685

## To hash R's internal representation of these numbers
strtoi(substr(sapply(x, digest), 28, 32), 16L) %% 1e3
# [1] 552 511 233 293 607 819

## Or, for a hash mapping that's comparable to other programs' md5 hash 
## implementations
strtoi(substr(sapply(as.character(x), digest, serialize=FALSE),28,32),16L) %% 1e3
# [1] 153 180 892 294 267 807

将单行内容分解为碎片应该会使它更清晰:

## Compute md5 hash of R representation of each input number
(sapply(x, digest))
# [1] "a276b4d73a46e5a827ccc1ad970dc780" "328dd60879c478d49ee9f3488d71a0af"
# [3] "e312c7f09be7f2e8391bee2b85f77c11" "e4ac99a3f0a904b385bfdcd45aca93e5"
# [5] "470d800a40ad5bc34abf2bac4ce88f37" "0008f4edeebbafcc995f7de0d5c0e5cb"

## Only really need the last few hex digits
substr(sapply(x, digest), 28, 32)
# [1] "dc780" "1a0af" "77c11" "a93e5" "88f37" "0e5cb"

## Convert hex strings to decimal integers
strtoi(substr(sapply(x, digest), 28, 32), 16L)
# [1] 903040 106671 490513 693221 560951  58827

## Map those to range between 0 and 999
strtoi(substr(sapply(x, digest), 28, 32), 16L) %% 1e3
# [1]  40 671 513 221 951 827

Answer 2

除非您可以定义可用数字的数学属性(例如,它们是偶数,指数分布或其他),否则任何确定性函数都无法将这些数字均匀地映射到任何给定范围.

您选择的每个函数都必须将某类数字映射到输出范围内的小区域.如果散列函数很复杂,则可能难以确定将被错误处理的类的先验.当然,这是散列函数的一般问题.你总是要在输入上假设一些东西.

理论上,唯一的解决方案(如果您对数字一无所知或无法对其进行分析)是使用真正随机的序列对输入数字进行xor,然后使用mod操作.

在实践中,Josh的解决方案可能会奏效.

注意:如果您在散列数字时可以分析生成的数组,则可以更改散列函数以均匀分布结果.这可能适用于创建哈希表以供以后搜索.但是,这似乎不是您的应用程序.