于 岗 熊建设 中国海洋大学 266100
【文章摘要】
文章简要介绍了几种常用的图像放大算法,包括时域内和频域内的不同方法,并介绍结合图像边缘检测技术进行图像放大。最后提出一种基于扩大采样范围的图像放大处理算法,通过搜索6*6 范围内图像像素点相关性,对图像进行放大,改善图像放大效果。
【关键词】
图像缩放;双线性插值;双立方插值;边缘检测;扩大采样
1 图像缩放处理
图像在屏幕上显示是通过点对点的对应来实现,例如屏幕的物理分辨率是1920*1080,那么就需要有1080 行,每一行上有1920 个点的图像数据来将其点亮。而现实中的图像分辨率各种各样,在固定分辨率的屏幕上显示这些图像时,就需要对其进行放大或缩小的处理。图像的缩放处理,可以认为是一个对源图像进行重采样的过程,该过程可以表示成离散像素点(原图像)采样与一个连续的2 维滤波器H2D 的卷积。即:
其中x,y 是实数,k,l 是整数,H2D 是重采样滤波器(插值滤波器)。理想的滤波器的频谱在通带内的增益应为0 dB,阻带的增益为- 。而实际的滤波器达不到该目标,其在通带内的衰减造成图像模糊,相应的在阻带泄露造成图像边缘出现锯齿。在设计滤波器时需要在清晰度和失真之间折中。
2 常见缩放处理方法
2.1 双线性插值
双线性插值算法采用和目标像素点相邻的四个源像素点数值乘以其权重系数,再做求和得到。如图1 所示,黑色圆点“● ”为源图像素点,菱形“◆”是产生的目标像素空间格点。假设为源图像第i 行,第j 列的Y 值,是目标图像的第n 行,第m 列的Y 值。则:
图1 双线性插值示意图
其中, hcoef 是水平方向的权重系数, vcoef 是垂直方向的权重系数。计算时可分离为横向和纵向,对单一方向需两个像素计算一个插值像素。
假设相邻两个源像素点之间(水平或垂直方向)单位距离为L。 源像素点与目标像素点距离水平方向为y, 垂直方向为x ( 其中 x, y 在0 到L 范围内取值)。源像素点与目标像素点的距离x,y 越大,该源像素点的权重越小。
2.2 双立方插值
双线性插值仅用到目标点周围的四个采样点,在处理过程中丢掉与更大范围内图像的相关性,所以该算法的处理效果一般。双立方插值算法按照立方形式的权重系数,使用目标点周围 16 个采样点进行计算,可以得到比双线性插值更平滑的图像边缘、更接近高分辨率图像的放大效果。
图2 为在水平方向,利用相邻4 个像素计算一个插值像素的示意图,垂直方向同理计算。其中黑色圆点为源图像素空间格点,菱形点是产生的目标像素空间格点。设相邻两个源像素点之间(水平或垂直方向)单位距离为1, 为源图像第i 行,第j 列的Y 值,源像素点与目标像素点的水平距离为v, 垂直距离为u ( 其中 )。目标像素点在水平方向的四个相邻点对应的权重为。且应满足。
图2 水平方向的插值示意图
则目标像素点水平方向的Y 值为:
同理扩大到16 邻域,可得目标像素点的Y 值为:( 公式1)
其中,是垂直方向的权重系数, 是水平方向的权重系数。计算时可分离为横向和纵向,对单一方向需4 个像素计算一个插值像素。
权重系数k 取sinc 函数的近似,即偏移量的分段立方形式,最常用的插值基函数是:
该函数具有连续的一阶和二阶导数,插值基函数对应的曲线如图3 所示:
图3 常用的双立方插值的权重系数曲线
可以看出,该函数关于的轴对称,由于,因此、,所以只考虑权中系数曲线中的部分即可。
2.3 傅里叶变换插值
对图像数据f(x,y) (x=0,1,… , M -1 ; y=0,1,… ,N-1)。则其离散傅立叶变换定义可表示为:
式中,u=0,1,…, M-1;v= 0,1,…, N-1
其逆变换为
式中,x=0,1,…, M-1;y= 0,1,…, N-1
在频域里对图像进行缩放的处理,通常是通过傅里叶变换找出图像中细节突出(高频)的部分,结合采样算法对细节突出部分或图像边缘进行补偿,从而提高图像缩放之后的效果。
3 图像边缘检测算法
图像边缘是影响图像缩放之后清晰度的一个重要因素,为有效提升缩放后画质,可在采样处理算法之后使用图像边缘检测结果对插值图像进行补偿处理,从而提升图像处理效果。常见的边缘检测算法有Roberts 算子和Sobel 算子等。
3.1 Roberts 边缘检测算子
Roberts 边缘检测算子根据任意一对
公式1055
实验研究
Experimental Research
电子制作
互相垂直方向上的差分可用来计算梯度的原理,采用对角线方向相邻两像素之差,即:
它们的卷积算子, ,
得到, 之后,计算出Roberts 的梯度幅值,适当取门限TH,作如下判断: >TH, (i, j) 为阶跃状边缘点。{ } 为边缘图像。
Roberts 算子采用对角线方向相邻两像素之差近似梯度幅值检测边缘。检测水平和垂直边缘的效果好于斜向边缘,定位精度高,对噪声敏感。
4 扩大采样范围的图像插值算法
在显示由FHD(1920*1080)过渡到UHD(3840*2160)的过程中,对图像放大处理提出了更高的要求。原有图像插值算法不能满足UHD 显示需求,往往出现图像边缘锯齿、振铃等效应,影响显示效果。鉴于此,我们提出更大搜索范围的图像插值算法,搜索图像在更大范围内时域上的相关特性获得目标像素点值,从而提升画质效果。
我们将图像相关性的搜索范围扩展到36 个像素点,即水平方向上6 个点,垂直方向上共6 行。在进行目标像素点计算之前,采用各种方法找到36 个源像素中和目标像素点最相关的像素点,并按其相关性进行计算。如图4 所示,空白圆圈表示的点是源图像像素点,实心圆点表示目标图像像素点。以S33 点为中心(非对称), 共计36 个源像素点数据组成我们需要的源数据(S),在S33 中心点周围使用这36 个源像素点数据计算产生四个目标图像的像素点值D1~D4,将这个计算循环遍历整副源图像,即可实现了图像放大4 倍的处理。
图4 目标像素相关源像素点
该方法关键是找出和目标像素点最相关的源像素点,并确定其相关关系。我们采用遍历的方法,在目标像素点的水平方向,19 度方向、27 度方向、45 度方向等各个方向计算斜率、标准差、平均差等参数,通过比对这些计算结果确认最大相关性参数和相关像素点,并据此生成目标像素点值。以水平27 度方向为例,在该方向上有相关性的点如图中实线所示。通过计算获得S32、S33、S34 在该方向上的相关度,对比其他方向参数,找出最大相关性,并用于D1、D2、D3、D4 等目标点像素值的计算。
如下图所示,其中左侧图像是扩大采样范围的计算结果,右图为双立方插值计算结果。可以看到在图像中的围栏处,双立方插值有明显的锯齿,而扩大采样范围的计算方法获得的图像效果要更光滑。
图6 图像放大效果
【参考文献】
[1] 魏洛刚. 一种二值图像的快速细化方法. 华中理工大学学报
[2] 李秀英. 几种图像缩放算法研究 现代电子技术
[3] 侯国强. 基于阶梯细化的图像放大算法. 中国科技论文在线
【作者简介】
于岗. 中国海洋大学在职研究生,从事图像处理与显示相关研究