像素刻刀软件纹理增强工具

pixelknife enhance

1 背景

在卫星遥感中对空间分辨率的追求是无止境的，纹理细节对于对于人类视觉有最直接的作用。而且随着计算机视觉等自动分析技术的进步，更好的纹理细节对于自动分析也很重要。

纹理增强（超分）是像素刻刀软件新进开发的功能。纹理增强目前主要有两个实施路径，一个是通过大数据机器学习、AI技术实现，一个是通过信号处理实现。机器学习方案需要事先进行大量的训练工作，而且模型的迁移性也是一个考验，不同卫星不同地区的训练出来的模型，可能换一个卫星另外一个地区表现就不好。而且这确实是引入了目标图像以外的信息，既可能增加有用信息，也可能添加了干扰信息，形成实际不应该有的纹理形状。信号处理的完全是在目标图像自己的基础上开展的，主要目标是要在控制噪声的基础上改善纹理信息。

目前像素刻刀软件主要使用的是成熟的信号处理的方案，而基于机器学习的方案也在开发中，未来可能用其来实现4倍以上的超分能力。 

2 基于信号处理的纹理增强

2.1 基于全色多光谱的纹理增强

目前绝大多数高分辨率卫星都是采用全色和多光谱组合的模式，这样纹理信息主要来自于全色PAN的部分。

通过信号处理实现纹理增强（超分）的程度主要依赖于目标卫星的信噪比，这一方面上和卫星的位深有关，另一方面也与图像内部的噪声状态有关。比如高分卫星系列中较早发射的GF1A和GF2的位深是10位，也就是数值范围是0~1023，而高分六号的位深是12位，数值范围是0~4095。高分六号就有更好的纹理增强的条件，甚至可以允许超分3倍展示（2米到0.65米）。高分二号还存在数据下行时候压缩率很高、实际信噪比差的因素。

以下是我们测试过的常用卫星数据源

机场测试

点对配准

阿布扎比测试

卷帘比较

卷帘比较：高分6号2米当0.65米用

卷帘比较：WorldView3超分HD产品再升级 15CM->7.5CM

2.2 基于多波段的纹理增强

还有不少卫星只有多光谱，波段越多纹理增强的能力越大。注意这里还涉及一个波段之间配准的问题，只有完成波段间精细配准之后这样的纹理增强才比较可行。

2.2.1 欧比特

5米32波段

2.2.2 PlanetScope

2米8波段

2.2.3 Skysat

卷帘比较：0.5米到0.25米

2.2.4 GF4

案例

2.3 多时相合成的纹理增强

一些数据产品是由多时相合成，实际上提高了信噪比，因此也可以进一步实现纹理增强。

2.3.1 SENTINEL1合成产品

SAR月度产品：10米->5米

2.3.2 NPP夜光产品

夜光月度产品：500米->250米

2.4 基于多分辨率融合的纹理增强

通过同一时相或者相近时相的多个不同分辨率传感器的逐次融合，形成高空间分辨率高波谱分辨率的融合数据集。

2.4.1 SENTINEL2

5米10波段

2.4.2 SENTINEL2+PlanetScope

2米10波段

2.4.3 欧比特+PlanetScope

2米32波段

3 基于AI学习的的纹理增强

AI超分本质上是实施了一种映射，不同的算法本身可能也就是五十步和百步的差别，不是根本性问题。但是超分增强生成的内容和作为训练的内容紧密相关，因此训练内容的选择和有效组织成为关键。

3.1 硬件构造的训练集

我们设计一个PAN幅宽小于MS幅宽的卫星，这样中间的部分PAN和MS是完备的可以用来作为训练集，而其他部分的MS可以通过算法得到对应仿真的PAN。这样在传感器尺寸可以更小、传输信道可以更低，总之让成本降低而产品可以接受。

目前这样的硬件还没有投入，但是可以用现有卫星来仿真。
下面就是用高景的2米MS来输出0.5米产品的超分4倍的仿真测试结果。

交互式卷帘比较

3.2 软件构造的训练集

如果不具备特定的硬件，那么就需要自行制备训练集。因为训练集的输入和输出可能来自两个不同的卫星，理想情况下希望他们成像时间很接近，相互之间定位精度很高。但是实际工作中，理想情况很难出现。高层楼房的角度和阴影等都会导致图像内容的不一致。所以除了有意选择平坦的区域以外，软件也需要能够自动扣除两者差异较大的区域。

联系方式

陈甫 副研究员
中国科学院空天信息创新研究院
chenfu@aircas.ac.cn
13811147935