组会-用神经网络做互信息估计(MINE)

但是终归还是太慢了，而且也就和kraskov2004那篇作了比较，求个互信息要动用神经网络挺费时的

♥ 4

确实很棒的论文，比较普适的那种方法，能给后面提供一个视角，好像现在也有不少其他估计互信息的方法

♥ 3 ↩ 3

请问有变分信息最大化求解互信息的代码吗？求分享，万分感谢。

♥ 2

目前的互信息估计器MINE、infoNCE等等都会出现估计大互信息的时候局部平衡，就是估计不上去大容量了。这个问题up主有考虑过吗？

这个和真正要更新的模型参数是交替训练的吗

输入1000个x进模型a，输出1000个y，先不更新模型a，将x,y送入mine的模型b,得到损失，然后用这个损失反向传播，就可以同时更新模型a和b吗

请问一下大佬，也没有什么计算互信息，并且最小化它的方法？我看别人说mine估算的是下界，最小化下界不能保证最小化互信息。说mine更多的是增大互信息

↩ 1

请问这篇文章的全称是什么

↩ 1

宝藏up主

请问 EP【T】 表示什么，函数T在P分布下的期望？什么意思？

↩ 1

MINE如何在GAN的训练中应用啊

想请问各位大佬，用mine计算互信息，比较其他计算互信息的方法，有什么优势呢？[保卫萝卜_哭哭]

大佬们，有代码吗，网上找不到呀[大哭]

↩ 1

MINE用于Loss可行吗？我觉得样本数不够是个问题 啊，示例代码用了一百万的样本，而通常我们的batchsize也就几千到头了

↩ 21