优化的NPP夜光月度数据下载

NPP 夜光

之前发表了中科院版的全球夜光数据集。
但是不少科研课题还是需要从较前端的产品开始做，因而之后有同事联系我批量拷贝原始数据。
在我们的研究工作中发现原始的数据格式可用性较差。我们这里在格式上做了一些改动，而且提供一个国内较快速的下载途径。

原始数据

美国国家海洋大气管理局NOAA下属的国家环境信息中心NCEI下有专门对夜光数据加以处理的小组，他们发布每个月份的合成产品。

但是使用他们的数据存在以下问题：

1)下载速度慢，很可能只有几十KB或者上百KB，而目前整个数据集的大小是180GB；

2)界面上下载文件需要逐个点击，如果需要全球全序列，必须要做大量无聊的人机操作；

3)下载的格式是.tgz压缩，解压费时很长，解压后是标准无压缩的2.5GB的TIFF文件，这样前完整的全球数据集占用盘空间大小超过1TB。

总而言之，这个原始数据集文件较大，而且在美国的服务器上下载速度很慢，缺少简单的一次性下载的功能，而且下载后还要解压，解压后文件要占用超过1T的硬盘空间，这样一般的电脑还不容易开展研究工作。

改进数据

为了更好的服务中国的科技人员，我们将原始数据集做了一些优化处理。

第一，将数据的格式改成内在无损压缩的TIFF格式，它的大小甚至比原始下载压缩文件还要小一些；
第二，把文件名做了简化处理，更容易拼写，更容易查找，更容易使用。

例如，下面的一个TILE的原始下载文件的大小是389MB，解压后要占2580.1MB，而我们处理完可以直接使用的两个TIF文件是364MB，相比原始下载文件还减小了6.5%，而又比解压后的标准TIFF文件小了90%。另外文件名也缩短到原来的1/4长度。

原始文件 261.7MB 以此为基础即 100%

SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.tgz 261.7MB

解压后 2580.1MB 是原始文件的 986%

SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.avg_rade9h.tif  2073.7MB
SVDNB_npp_20170601-20170630_75N180W_vcmcfg_v10_c201707021700.cf_cvg 506.4MB

我们处理后 246.3MB 是原始文件的 94%

201706_75N180W_AVE.TIF 199.3MB
201706_75N180W_CNT.TIF 47.0MB

采用我们的新格式后，经测试使用上没有什么问题。

无需解压，下载后直接可以用PHOTOSHOP、ENVI等软件打开操作

可以用matlab等科学软件包读入，文件名大幅度缩短，而且读入速度变快了（因为文件大小只有原始格式解压后的10%左右）。

测试表明，原来读取解压后文件大概要100秒，而读取我们改进后的格式只要33秒。

百度盘地址

https://pan.baidu.com/s/17UqS7P66_6AMdr-a4sfUXA

联系方式

陈甫 副研究员
中国科学院遥感与数字地球研究所
chenfu@radi.ac.cn
13811147935