标签: federated-learning

如何从 CSV 文件创建联合数据集?

我选择了这个数据集:https : //www.kaggle.com/karangadiya/fifa19

现在,我想将此 CSV 文件转换为联合数据集以适应模型。

Tensorflow 提供了有关联邦学习的教程,其中使用了预定义的数据集。但是,我的问题是如何将此特定数据集用于联合学习场景?

tensorflow tensorflow-federated federated-learning

4
推荐指数
1
解决办法
1532
查看次数

联合平均和 TensorFlow

我是联邦学习的新手,刚刚了解 TensorFlow Federated TFF 框架。我脑子里有一些问题,如果有人能澄清这些问题,我将不胜感激:

  1. 联合平均算法是 TFF 支持的唯一聚合算法吗?它与联合随机梯度下降有何不同?
  2. 联合平均是否需要每个客户端接受神经网络培训?或者可以使用任何机器学习算法来训练本地数据?
  3. 我有大数据,我计划将数据划分为较小的数据集,并将每个部分作为一个客户端进行模拟?这在 TFF 中有效吗?它是否考虑水平或垂直联合学习?

提前致谢

tensorflow tensorflow-federated federated-learning

3
推荐指数
1
解决办法
466
查看次数

AttributeError:“模型”对象没有属性“_backward_hooks”

尝试实现研究论文: https://ieeexplore.ieee.org/document/9479786/ 使用架构训练单调网络:

class Model(nn.Module):
  def __init__(self, q, s):
    self.layer_s_list = [nn.Linear(5, s) for _ in range(q)]
    self.inv_w, self.inv_b = self.get_layer_weights()
      
  def forward(self, x):
    # print(inv_w[0].shape, inv_b[0].shape)
    output_lst = []
    for layer in self.layer_s_list:
      v, id = torch.max(layer(x), 1)
      output_lst.append(v.detach().numpy())
    output_lst = np.array(output_lst)
    output_lst = torch.from_numpy(output_lst)
    out, _ = torch.min(output_lst, 0)
    allo_out = F.softmax(out)
    pay_out = nn.ReLU(inplace = True)(out)
    inv_out_lst = []
    
    for q_idx in range(len(self.inv_w)):
      # print(inv_w[q_idx].shape, pay_out.shape, inv_b[q_idx].shape)
      y, _ = torch.min(torch.linalg.pinv(self.inv_w[q_idx]) * (pay_out - self.inv_b[q_idx]), 0)
      inv_out_lst.append(y.detach().numpy()) …
Run Code Online (Sandbox Code Playgroud)

machine-learning neural-network deep-learning data-science federated-learning

2
推荐指数
1
解决办法
2912
查看次数