在 OS X 上加载表面时 SDL2 预乘 alpha 通道?

SDL2 pre-multiplying alpha channel when loading surface on OS X?

我正在通过 OS X Sierra 上的 SDL2 2.0.7 和 SDL2_image 2.0.2 加载 32 位 RGBA 法线贴图纹理,并在 alpha 通道中编码高度图。

这些纹理中的每个像素都有一个非零的 RGB 值,编码方向法向量。 (0, 0, 0) 的方向向量(即 black)无效。

然而,当我通过 SDL2_image 加载这样的纹理时,alpha 值为 0 的纹理区域也 产生 RGB 值 0。我认为 SDL 可能会预乘这些像素的 alpha 值?

附件是这些法线贴图纹理之一。您可以通过打开纹理来确认它是有效的,例如GIMP 并在其中一个透明区域上使用颜色选择器。您会看到,实际上,透明区域仍然具有偏蓝的 RGB 颜色(编码的法向量)。

下面是一个最小的测试用例,说明了附加 PNG 文件的问题:

#include <SDL_image.h>
#include <assert.h>

int main(int argc, char **argv) {

    SDL_Surface *s = IMG_Load("green3_2_nm.png");
    assert(s);

    for (int i = 0; i < s->w * s->h; i++) {
        const Uint32 *in = (Uint32 *) (s->pixels + i * s->format->BytesPerPixel);

        SDL_Color color;
        SDL_GetRGBA(*in, s->format, &color.r, &color.g, &color.b, &color.a);

        assert(color.r || color.g || color.b);
    }

    SDL_FreeSurface(s);

    return 0;
}

我正在用 gcc $(pkg-config --cflags --libs sdl2_image) test.c

编译这个测试用例

第 15 行的断言将使图像中的几行失败——即 alpha 值恰好下降到 0 的位置。

我已经尝试过 TGA 和 PNG 图像格式,但 SDL 对这两种图像格式都做同样的事情。

这是 SDL 中的错误,还是我遗漏了什么?我很好奇人们是否也在其他平台上看到了同样的问题。

===

答案:Core Graphics,Apple OS X 上 SDL2_image 的默认图像加载后端,确实预乘 alpha -- 总是。解决方案是在没有 Core Graphics 支持的情况下重新编译 SDL2_image,而是启用 libpng、libjpeg 和您需要的任何其他图像编解码器:

./configure \
--disable-imageio \
--disable-png-shared \
--disable-tif-shared \
--disable-jpg-shared \
--disable-webp-shared

在我的系统上,我必须禁用 Core Graphics (imageio) 以及 其他编解码器的共享库加载,如您所见。这产生了一个 fat SDL2_image.so,它静态链接到 libpng、libjpg 等。但按预期工作。

SDL_image 是特定于平台的图像加载代码的包装器,而不是在所有平台上使用相同的图像加载器。

  • Linux: LibPNG, LibJPEG
  • macOS,iOS:核心显卡
  • Windows: WinCodec

这样做的好处是减小了 SDL_image 的大小,因为它不需要附带任何图像解码代码,而是可以 link 动态地针对可能安装在您的设备上的东西系统已经。但是,在 macOS 和 iOS 上,Core Graphics 不支持非预乘 alpha,所以 SDL_image 必须反转它。

参见:mac-opengl - Re: kCGImageAlphaFirst not implemented (Was: (no subject)) 2007 年 5 月(来自 Wayback 机器):

Honestly, I wouldn't expect CGBitmapContextCreate() to support non- premultiplied alpha any time soon.

...

I'm not sure if using ImageIO + CoreGraphics was ever really targetted at being used for an image loading scheme for OpenGL applications.

此行为是在 LibSDL bug #838 - OSX SDL darkens colours proportional to increase in alpha and a workaround was introduced in SDL_image changeset 240 中发现的。

您可以看到解决方法只是取消预乘 alpha,这是一个非常有损的过程。

为了解决这个问题,您可以在使用 LibPNG 的 macOS 上构建您自己的 SDL_image 版本。这应该可以通过配置来实现,您不必对 SDL_image 代码本身进行任何更改。为此,请使用 --disable-imageio 选项。 SDL_image 附带了自己的 LibPNG 代码副本,因此您无需安装 LibPNG 即可使其正常工作。