标签: pruning

我目前有一个大约2000万行的MySQL表,我需要修剪它.我想删除其updateTime(插入时间戳)超过一个月的每一行

前.我没有亲自对表的顺序进行任何更改,因此数据应该按插入顺序排列,并且UNIQUE在两个字段上有一个键,id并且updateTime.我如何在短时间内完成这项工作？

让我从我想做的事情开始,然后提出一些问题.

我想开发一个通用的Java程序,它是许多程序的超集(让我们称之为程序变体).特别地,通用程序具有仅由一个或多个程序变体(但不是全部)使用的方法.给定一个特定的配置,我想删除不必要的方法,并为一个程序变量保留最小的方法集.

例如,我有一个通用程序如下:

public class GeneralProgram {

    // this method is common for all variants
    public void method1() {};

    // this method is specific to variant 1
    public void method2() {};

    // this method is specific to variant 2
    public void method3() {};
}

然后在基于变体1的配置修剪程序之后,结果是

public class GeneralProgram {

    // this method is common for all variants
    public void method1() {};

    // this method is specific to variant 1
    public void method2() {};
}

结果类名称是否与原始类名称相同无关紧要.我只想修剪课程内容.

所以,这是我的问题:

1. 除了低级文本处理之外,您是否知道如何实现这一目标？

2. 我知道我可以使用aspectJ在运行时禁用/启用特定方法,但我真正想要做的是在部署程序之前执行此任务.为此目的,Java中是否有任何技术？

我有 sklearn 随机森林回归器。它非常重，有 1.6 GB，并且在预测值时工作很长时间。

我想把它修剪一下，让它变得更轻。据我所知，决策树和森林没有实施修剪。我无法自己实现它，因为树代码是用 C 编写的，而我不知道。

有谁知道解决方案吗？

我的模型中有 30 个自变量。我想根据变量的重要性修剪神经网络。我试过使用 RSNNS 包的 mlp 函数，但我不知道可以给 "pruneFunc" 和 "pruneFuncParams" 提供什么参数？
有没有其他方法可以修剪神经网络？

以下问题不是如何在 Pytorch 中应用分层学习率？因为这个问题的目的是冻结训练中张量的子集而不是整个层。

我正在尝试用 PyTorch 实现彩票假设。

为此，我想将模型中的权重冻结为零。以下是正确的实施方法吗？

for name, p in model.named_parameters():
            if 'weight' in name:
                tensor = p.data.cpu().numpy()
                grad_tensor = p.grad.data.cpu().numpy()
                grad_tensor = np.where(tensor == 0, 0, grad_tensor)
                p.grad.data = torch.from_numpy(grad_tensor).to(device)

我的应用程序使用 CoreData 和 iCloud 作为后端。多个设备可以访问 iCloud 数据库，因此.public。
本地 CoreData 存储与 iCloud 使用NSPersistentCloudKitContainer.
我根据Apple 的建议使用历史跟踪。
在那里，Apple 建议在可能的情况下修剪历史记录。他们说

由于持久历史跟踪事务会占用磁盘空间，因此请确定清除策略以在不再需要它们时将其删除。在修剪历史记录之前，单个看门人应确保您的应用程序及其客户端已经使用了他们需要的历史记录。

最初这也是在 26:10 开始的WWDC 2017 演讲中提出的。

我的问题是：我如何实现这个单一的看门人？

我认为这个想法是单个实例知道应用程序的每个用户最后一次同步他们的设备的时间。如果是这样，则可以修剪该日期之前的交易历史记录。
但是，如果用户同步了本地数据，然后很长时间不再使用该应用程序怎么办？在这种情况下，在该用户再次同步本地数据之前，无法修剪历史记录。所以历史数据可以任意增长。在我看来，这是一个我不知道如何解决的核心问题。

上面引用的 Apple 文档建议：

与获取历史记录类似，您可以使用 deleteHistory(before:) 删除早于令牌、交易或日期的历史记录。例如，您可以删除超过 7 天的所有事务。

但这并不能解决我心中的问题。

除了这个一般问题，我的想法是在公共 iCloud 数据库中有一个 iCloud 记录类型，它直接为每个设备存储（即没有 CoreData）本地数据库更新的最后日期。由于所有设备都可以读取这些记录，因此很容易确定所有本地数据库的最后一次更新时间，并且我可以在此日期之前修剪历史记录。

这是处理问题的正确方法吗？

我正在修剪一个模型，并遇到了一个 TensorFlow 模型优化库，所以最初，我们有

我在默认数据集上训练了这个模型，它的准确率达到了 96%，这很好。然后我将模型保存在 JSON 文件中并将其权重保存在 h5 文件中现在我将此模型加载到另一个脚本中以在应用修剪和编译模型后修剪它我得到了此模型摘要

尽管模型剪枝得很好并且参数显着减少，但这里的问题是为什么在应用剪枝后参数会增加，甚至在移动不可训练的参数之后，剪枝后的简单模型仍然具有相同数量的参数请解释一下这是正常现象还是我做错了什么。另请解释为什么会发生这种情况。预先感谢大家:)

已尝试以下命令，但都没有删除图像。

sudo docker images prune --filter "dangling=true"
sudo docker images prune --all
sudo docker images prune -a
sudo docker images prune

两个命令的输出：

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE

码头工人版本：

$ sudo docker version
Client:
Version:      1.12.6
API version:  1.24
Go version:   go1.6.4
Git commit:   78d1802
Built:        Tue Jan 10 20:26:30 2017
OS/Arch:      linux/amd64

Server:
Version:      1.12.6
API version:  1.24
Go version:   go1.6.4
Git commit:   78d1802
Built:        Tue Jan 10 20:26:30 2017
OS/Arch:      linux/amd64 

Docker 文档建议使用此命令，但我遇到了错误

$ sudo docker image …

我使用sklearn.tree.DecisionTreeClassifier来构建决策树.使用最佳参数设置,我得到一个有不必要叶子的树(参见下面的示例图片 - 我不需要概率,所以标记为红色的叶节点是不必要的分割)

是否有任何第三方库用于修剪这些不必要的节点？还是代码片段？我可以写一个,但我无法想象我是第一个有这个问题的人......

要复制的代码:

from sklearn.tree import DecisionTreeClassifier
from sklearn import datasets
iris = datasets.load_iris()
X = iris.data
y = iris.target
mdl = DecisionTreeClassifier(max_leaf_nodes=8)
mdl.fit(X,y)

PS:我尝试了多次关键词搜索,并且很惊讶地发现什么都没有 - 在sklearn中是否真的没有后期修剪？

PPS:响应可能的重复:虽然建议的问题可能对我自己编码修剪算法有帮助,但它回答了一个不同的问题 - 我想摆脱不改变最终决定的叶子,而另一个问题想要一个拆分节点的最小阈值.

PPPS:显示的树是一个显示我的问题的例子.我知道创建树的参数设置不是最理想的.我不是要求优化这个特定的树,我需要进行后修剪以摆脱可能有用的叶子,如果一个人需要类概率,但如果一个人只对最可能的类感兴趣则没有帮助.

有一个损坏的图像阻止了进一步的拉动。我无法删除或删除它

我做了什么：

- stopped all containers ("docker ps -a" shows empty list)
- cleaned everything with "docker system prune -a")
- "docker image ls -a" shows an empty list

当我基于 PHP7.3 提取某些内容时，出现以下错误：

$ sudo docker pull wordpress
Using default tag: latest
latest: Pulling from library/wordpress
bc51dd8edc1b: Already exists 
a3224e2c3a89: Already exists 
be7a066df88f: Already exists 
bfdf741d72a9: Already exists 
a9e612a5f04c: Already exists 
c026d8d0e8cb: Already exists 
d94096c4941c: Already exists 
5a16031a7587: Already exists 
0cf1daf9efc0: Already exists 
b202acb13a6c: Already exists 
907001e30880: Already exists 
2e4b329c80b2: Already …