如果结果已知，条件熵
Conditional Entropy if outcome is known
我有一个关于熵和信息流的问题。假设 X = {-1, 1}；意味着它可以是 -1 或 1，Y 的赋值如下：
Y := X * X
我的问题是，赋值后Y的值永远是1，如果X=-1，那么Y=1，如果X=1，那么Y=1。知道了这个，我还能假设条件熵 H(X/Y) = 0，因为知道 X 总是会告诉你 Y 的值。另一方面，条件熵 H(Y/X) = 1.0 因为知道 Y 会不给我 X 的值。
我在思考正确的方向吗？请帮助
你部分正确，尽管你的符号和定义似乎 "swapped"。
H(X|Y) is entropy of X given Y rather than entropy of Y given X.
还有，你应该仔细看看这里的情况。由于 X 和 Y 之间的关系非常明确，这意味着 Y = f(X)。在那种情况下，正如您所说，条件熵是 always 0 （但是您的符号被交换了）。所以应该是
H(Y|X) = 0
另一方面，如果你有 Y，你完全不知道 X 是什么，-1 和 1 的概率 相等 。所以在这种情况下
H(X|Y) = 1
我有一个关于熵和信息流的问题。假设 X = {-1, 1}；意味着它可以是 -1 或 1，Y 的赋值如下：
Y := X * X
我的问题是，赋值后Y的值永远是1，如果X=-1，那么Y=1，如果X=1，那么Y=1。知道了这个，我还能假设条件熵 H(X/Y) = 0，因为知道 X 总是会告诉你 Y 的值。另一方面，条件熵 H(Y/X) = 1.0 因为知道 Y 会不给我 X 的值。 我在思考正确的方向吗？请帮助
你部分正确，尽管你的符号和定义似乎 "swapped"。
H(X|Y) is entropy of X given Y rather than entropy of Y given X.
还有，你应该仔细看看这里的情况。由于 X 和 Y 之间的关系非常明确，这意味着 Y = f(X)。在那种情况下，正如您所说，条件熵是 always 0 （但是您的符号被交换了）。所以应该是
H(Y|X) = 0
另一方面，如果你有 Y，你完全不知道 X 是什么，-1 和 1 的概率 相等 。所以在这种情况下
H(X|Y) = 1