说明文档
SUPERIX:超分辨率对比实验
简介
超分辨率(SR)技术在提升免费卫星影像(如Sentinel-2和Landsat)的空间分辨率方面正变得越来越受欢迎。SR可以显著提高各种遥感下游任务的准确性,包括道路检测、作物勾绘和目标识别。然而,一些研究人员认为SR的好处主要是美观性的,暗示其主要价值在于创建更具视觉吸引力的地图或辅助视觉解译。
对SR的另一个批评是它可能会降低原始输入数据的质量,可能导致错误的结论。然而,一些SR方法在保持反射率完整性方面似乎比其他方法更加保守。鉴于此,一个可靠的基准对于提供对当前最先进技术的定量评估至关重要。如果没有这样的基准,仍然很难确定地判断SR技术对遥感数据的真正影响。
为了建立一个可靠的框架,我们提议创建一个专门的工作组,旨在对Sentinel-2数据的超分辨率算法进行对比(SUPERIX)。我们鼓励来自大学、研究中心、工业界和航天机构团队开发的SR算法参与SUPERIX。该计划将使用OpenSR-test数据集和提出的指标来评估与原始输入数据的一致性以及SR模型引入的高频细节的可靠性。
总之,已经开发了多种方法来解决卫星影像中的超分辨率问题,但很少有研究对该领域最先进的方法进行定量对比。
- SUPERIX旨在对比ESA Sentinel-2任务的SR算法。
- SUPERIX将涉及定义参考数据集、指标和分析框架。
- SUPERIX应该能够识别现有算法的优势和劣势以及潜在的改进领域。
团队和SR算法
您感兴趣吗?请联系我们!
验证数据集
准确的验证数据集将允许对SR的优势和劣势进行详细分析。
验证数据集可能在采样和生成方式上有所不同:
- 跨传感器或合成
- 空间尺度因子
- 地理分布
SR算法的性能也会因参考数据集而异,这可归因于辐射测量、光谱响应、空间对齐、有效空间分辨率、所考虑的景观等方面的差异。
关于高分辨率(HR)参考,我们正在考虑:
- naip: 一组62张主要来自美国农业和森林地区的RGBNIR正射影像。
- spot: 一组从Worldstrat获得的10张SPOT图像。
- spain_urban: 一组20张RGBNIR正射影像,主要来自西班牙的城市区域,包括道路。
- spain_crops: 一组20张RGBNIR正射影像,主要来自西班牙城市附近的农业区域。
- venus: 一组从SEN2VENµS获得的60张VENµS图像。
每个HR参考都包括预处理为1C和2A级别的相应Sentinel-2影像。以下是如何加载每个数据集的示例。
import opensr_test
dataset = opensr_test.load("naip")
lr, hr = dataset["L2A"], dataset["HRharm"]
质量指标
我们提出以下指标来评估SR模型的一致性:
-
反射率: 该指标评估SR如何影响LR图像的反射率,默认使用平均绝对误差(MAE)距离。较低的值表示更好的反射率一致性。SR图像使用三角形抗混叠滤波器按尺度因子下采样(双线性插样)降采样到LR分辨率。
-
光谱: 该指标测量SR如何影响LR图像的光谱特征,默认使用光谱角度距离(SAM)。较低的值表示更好的光谱一致性,角度以度为单位测量。SR图像使用三角形抗混叠滤波器按尺度因子下采样(双线性插值)降采样到LR分辨率。
-
空间: 该指标评估SR和LR图像之间的空间对齐,默认使用相位相关系数(PCC)。一些SR模型会引入空间偏移,该指标可以检测到这些偏移。SR图像使用三角形抗混叠滤波器按尺度因子下采样(双线性插值)降采样到LR分辨率。
我们提出三个指标来评估SR模型引入的高频细节。这些指标的总和始终等于1:
-
改进(im_score): 该指标量化SR和HR图像之间的相似性。值越接近1表示SR模型与HR图像密切对应(即改善了高频细节)。
-
遗漏(om_score): 该指标测量SR和LR图像之间的相似性。值越接近1表明SR模型与使用双线性插值下采样的LR图像密切比较(即遗漏了HR中存在但LR中不存在的高频细节)。
-
幻觉(ha_score): 该指标评估SR与HR和LR图像之间的相似性。值越接近1表示SR模型与两个参考都有显著偏差(即幻觉引入了HR中不存在的高频细节)。
拟议实验
我们计划为x4和x2尺度因子进行两个实验。鼓励参与者提交两种尺度的SR模型。此外,仅为x4尺度设计的模型将通过将SR图像下采样2倍来在x2尺度下进行评估。
在每个实验中,我们将采用两种不同的方法来评估SR模型引入的高频细节。第一种方法使用平均绝对误差(MAE)作为评估高频细节的距离度量。或者,第二种方法使用LPIPS。虽然MAE对高频细节的强度敏感,但LPIPS对其结构差异更敏感。对比这两个指标的结果可以全面理解SR模型引入的高频细节。LPIPS指标始终在HR图像的32x32块上运行,而MAE在x2尺度评估的2x2块和x4尺度评估的4x4块上计算。
拟议协议
-
SUPERIX工作组应首先就适合SR的验证数据集、最佳质量指标的定义以及如何量化幻觉达成一致。
-
每个团队将在截止日期前提交其SR模型。
-
我们将有两种不同类型的模型:开源和闭源。 要被视为开源,代码必须在此存储库中以模型名称命名的文件夹中提供。 保持代码尽可能简单。请参阅使用torch、diffuser和tensorflow库的示例这里、这里和这里。 闭源模型要求仅以GeoTIFF格式提供结果。请参阅示例这里。
-
提交将通过对此存储库的拉取请求进行。拉取请求必须包含
metadata.json文件和GeoTIFF格式的结果。结果必须与HR图像具有相同的分辨率。 我们期望metadata.json文件中包含以下信息:
{
"name": "model_name",
"authors": ["author1", "author2"],
"affiliations": ["affiliation1", "affiliation2"],
"description": "A brief description of the model",
"code": "open-source" or "closed-source",
"scale": "x2" or "x4",
"url": "[OPTIONAL] URL to the model repository if it is open-source",
"license": "license of the model"
}
-
SUPERIX工作组将在截止日期后使用上述讨论的指标评估SR模型。
-
在指标估算之后,我们将首先独立联系提供结果的团队。如果提交存在任何问题,我们将要求澄清,团队将有两周的时间提供必要的更正。
-
问题和讨论将在本存储库的讨论部分进行。 SUPERIX工作组的进展将通过讨论部分和电子邮件通知。
-
在所有参与者提供必要的更正后,结果将在本存储库的讨论部分发布。
预期成果
-
预计没有任何方法在所有指标上都具有明显的优势。
-
将对算法之间存在重大差异的验证场景进行分析。
-
将准备一个专门的网站和技术报告来展示结果和建议。
-
将向遥感期刊提交研究论文。
-
论文将在overleaf中准备,所有参与者将被邀请为其做出贡献。
isp-uv-es/superIX
作者 isp-uv-es
创建时间: 2024-05-19 09:20:12+00:00
更新时间: 2024-05-28 07:31:00+00:00
在 Hugging Face 上查看