使用 Numpy 数组操作将 RGB 格式化为十六进制
Format RGB to Hex using Numpy Array Operations
我的目标是尽快将像素列表从 RGB 转换为十六进制。格式是 Numpy 维数组(rgb 颜色空间),理想情况下它将从 RGB 转换为 Hex 并保持其形状。
我尝试使用列表推导来解决这个问题,除了性能之外,它解决了这个问题。在性能方面,添加 ravel 和列表理解确实会减慢速度。不幸的是,我对数学的了解不够,无法知道如何加快速度的解决方案:
已编辑:更新代码以反映最近的更改。当前 运行 在 35,000 像素图像上大约 24 毫秒。
def np_array_to_hex(array):
array = np.asarray(array, dtype='uint32')
array = (1 << 24) + ((array[:, :, 0]<<16) + (array[:, :, 1]<<8) + array[:, :, 2])
return [hex(x)[-6:] for x in array.ravel()]
>>> np_array_to_hex(img)
['afb3bc', 'abaeb5', 'b3b4b9', ..., '8b9dab', '92a4b2', '9caebc']
我用 LUT ("Look Up Table") 尝试了它 - 初始化需要几秒钟,它使用 100MB (0.1GB) 的 RAM,但那是支付超过一百万张图片的小代价:
#!/usr/bin/env python3
import numpy as np
def np_array_to_hex1(array):
array = np.asarray(array, dtype='uint32')
array = ((array[:, :, 0]<<16) + (array[:, :, 1]<<8) + array[:, :, 2])
return array
def np_array_to_hex2(array):
array = np.asarray(array, dtype='uint32')
array = (1 << 24) + ((array[:, :, 0]<<16) + (array[:, :, 1]<<8) + array[:, :, 2])
return [hex(x)[-6:] for x in array.ravel()]
def me(array, LUT):
h, w, d = array.shape
# Reshape to a color vector
z = np.reshape(array,(-1,3))
# Make array and fill with 32-bit colour number
y = np.zeros((h*w),dtype=np.uint32)
y = z[:,0]*65536 + z[:,1]*256 + z[:,2]
return LUT[y]
# Define dummy image of 35,000 RGB pixels
w,h = 175, 200
im = np.random.randint(0,256,(h,w,3),dtype=np.uint8)
# %timeit np_array_to_hex1(im)
# 112 µs ± 1.1 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
# %timeit np_array_to_hex2(im)
# 8.42 ms ± 136 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
# This may take time to set up, but amortize that over a million images...
LUT = np.zeros((256*256*256),dtype='a6')
for i in range(256*256*256):
h = hex(i)[2:].zfill(6)
LUT[i] = h
# %timeit me(im,LUT)
# 499 µs ± 8.15 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
所以这似乎比你最快但不起作用的慢 4 倍,比你最慢但起作用的快 17 倍。
我的下一个建议是使用多线程或多处理,这样你所有的 CPU 核心就会并行忙碌,并且假设你有一个相当现代的 4,将你的总时间减少 4 倍或更多+核心CPU.
我的目标是尽快将像素列表从 RGB 转换为十六进制。格式是 Numpy 维数组(rgb 颜色空间),理想情况下它将从 RGB 转换为 Hex 并保持其形状。
我尝试使用列表推导来解决这个问题,除了性能之外,它解决了这个问题。在性能方面,添加 ravel 和列表理解确实会减慢速度。不幸的是,我对数学的了解不够,无法知道如何加快速度的解决方案:
已编辑:更新代码以反映最近的更改。当前 运行 在 35,000 像素图像上大约 24 毫秒。
def np_array_to_hex(array):
array = np.asarray(array, dtype='uint32')
array = (1 << 24) + ((array[:, :, 0]<<16) + (array[:, :, 1]<<8) + array[:, :, 2])
return [hex(x)[-6:] for x in array.ravel()]
>>> np_array_to_hex(img)
['afb3bc', 'abaeb5', 'b3b4b9', ..., '8b9dab', '92a4b2', '9caebc']
我用 LUT ("Look Up Table") 尝试了它 - 初始化需要几秒钟,它使用 100MB (0.1GB) 的 RAM,但那是支付超过一百万张图片的小代价:
#!/usr/bin/env python3
import numpy as np
def np_array_to_hex1(array):
array = np.asarray(array, dtype='uint32')
array = ((array[:, :, 0]<<16) + (array[:, :, 1]<<8) + array[:, :, 2])
return array
def np_array_to_hex2(array):
array = np.asarray(array, dtype='uint32')
array = (1 << 24) + ((array[:, :, 0]<<16) + (array[:, :, 1]<<8) + array[:, :, 2])
return [hex(x)[-6:] for x in array.ravel()]
def me(array, LUT):
h, w, d = array.shape
# Reshape to a color vector
z = np.reshape(array,(-1,3))
# Make array and fill with 32-bit colour number
y = np.zeros((h*w),dtype=np.uint32)
y = z[:,0]*65536 + z[:,1]*256 + z[:,2]
return LUT[y]
# Define dummy image of 35,000 RGB pixels
w,h = 175, 200
im = np.random.randint(0,256,(h,w,3),dtype=np.uint8)
# %timeit np_array_to_hex1(im)
# 112 µs ± 1.1 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
# %timeit np_array_to_hex2(im)
# 8.42 ms ± 136 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
# This may take time to set up, but amortize that over a million images...
LUT = np.zeros((256*256*256),dtype='a6')
for i in range(256*256*256):
h = hex(i)[2:].zfill(6)
LUT[i] = h
# %timeit me(im,LUT)
# 499 µs ± 8.15 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
所以这似乎比你最快但不起作用的慢 4 倍,比你最慢但起作用的快 17 倍。
我的下一个建议是使用多线程或多处理,这样你所有的 CPU 核心就会并行忙碌,并且假设你有一个相当现代的 4,将你的总时间减少 4 倍或更多+核心CPU.