总局煤航大数据中心:处理数据的“超级大脑”

租用服务器Q78664972 2个月前 (12-01) 数据中心 45 0
TAGS:
国内服务器大促销查看详情

总局煤航大数据中心:处理数据的“超级大脑”-第1张图片-新之洲IDC资讯





每天除过巡检服务器、接待来访客户等工作外,中国煤炭地质总局煤航大数据中心工程师陈卫斌还有一项重要工作:在“大数据中心资源使用统计表”上作登记,调配计算资源,满足各项目的数据计算需求。“目前已经排到2020年12月底。”陈卫斌边登记边说,需要使用大数据中心计算的项目逐渐增多。

数据计算是煤航大数据中心针对实景三维、地质灾害遥感识别、多元遥感影像的集成与整合等高密计算而提供的一项服务功能。批处理、速度快、算力大幅提升,为数据处理如同装上“超级大脑”,运行近五个月,经不断测试,煤航大数据中心计算功能完全满足超密数据计算需求,“分配的计算资源让数据计算效率至少提高3倍”,优势明显且具有行业较高水平。该大数据中心超算功能将为企业产品和服务模式的转型升级奠定基础,助力总局“数字地球”建设,促进地理信息行业进步。


总局煤航大数据中心:处理数据的“超级大脑”-第2张图片-新之洲IDC资讯

实现计算资源集成,超密数据计算是煤航大数据中心功能之一



破行业瓶颈 促转型升级





响应国家战略需要。党的十八大以来,习近平总书记作出建设网络强国、数字中国的战略部署,地理空间数据犹如“地基”发挥着重要作用。同时,伴随云计算、5G、人工智能等信息技术不断发展,我国“数字化”“智慧化”进程加快,其对地理信息行业的生产效率及其产品丰富性的要求越来越高。而数据计算作为数据处理重要环节,提高地理空间数据的计算效率尤为迫切。

解决行业痛点。作为总局从事地理信息技术研发与应用的高科技企业,煤航不断生产遥感、测绘等地理空间数据,并且每年以100TB速度增长。与大多数国有企业类似,煤航曾存在“数据孤岛”现象,大部分数据分散在基层企业,数据处理由下属企业自行完成。煤航航测工程分公司作为测绘数据主要生产单位,近年来承接的实景三维模型项目不断增多,涉及到大量的倾斜航摄像片数据处理,对计算资源要求更高,“以前都是在公司作业室完成,一台主机分发给多个分机。”航测工程分公司三维中心主任赵帅说,有时项目时间要求紧,这种计算方式存在设备配置低、稳定性不好、分机占用速度慢等不足和问题,严重影响生产效率。

煤航积极响应国家“数字化”“新基建”“智慧社会”等战略,结合信息技术,建成地理空间大数据中心。“建立服务器集群和‘数据湖’,实现资源统一调配和管理,打造敏捷高效的数据接收、存储、处理和分析平台,以实现设施资源最大化集成利用。”煤航集团党委书记、董事长赖百炼介绍,最大限度地整合计算资源、存储资源和网络资源,提升算力,是煤航大数据中心功能之一。


总局煤航大数据中心:处理数据的“超级大脑”-第3张图片-新之洲IDC资讯

航测工程分公司作业员通过一台计算机向大数据中心分配的计算资源发布指令



速度快效率高 赋能大数据





大数据中心建成后随即投入测试。测试结果显示,一个房地一体化项目的4万多张无人机倾斜影像,如果按照以往计算模式,大概需要12天才能完成,而使用大数据中心分配的计算资源,大概需要4天时间。数据处理环节效率至少提升了3倍。架构稳定、容错能力强、效率高,能够满足现行三维实景生产的需求,运行效率能够达到业内较高水平。目前,该公司承接的项目中涉及到高密数据计算均由大数据中心完成。


总局煤航大数据中心:处理数据的“超级大脑”-第4张图片-新之洲IDC资讯

遥感信息公司工作人员对藏东南地区地灾隐患点调研





大数据中心的超算功能对地质灾害项目中的光学遥感、雷达遥感数据处理也发挥重要作用。煤航遥感信息公司承担的“藏东南地区地质灾害隐患综合遥感识别与调查”项目涉及16万平方公里地质灾害早期识别,大约2000景SAR数据。“该项目涉及到数据量大,时间任务紧,高性能数据计算成为重中之重。”该公司水工遥感所所长罗东海介绍,公司常规的计算机难以承担如此大面积的数据计算,“以前都是先将数据裁剪成多个子区块进行处理,然后对处理后的值区块进行拼接,需要180天才能完成,而借助大数据中心分配的计算资源,批处理这些数据,同等条件下仅需60天就可以完成,数据处理效率提高3倍,且几何精度优于传统方法。”通过项目验证,罗东海给出结论:批处理、运行速度快,多线程处理之间相互不影响。煤航大数据中心能够为我国地质灾害监测项目顺利实施提供保障。

截至目前,煤航大数据中心已为航测、遥感、地信、智慧铁路、工程监理等企业的数据处理提供了计算服务,对实景三维、地质灾害遥感识别、多元遥感影像的集成与整合等高密数据具备高效处理能力,且具有较高水平。“目前主要是分配计算资源,一旦遇上重大紧急项目,大数据中心可以集中软硬件资源,集中力量办大事,处理速度将比现在更快,效率也将更高。”陈卫斌对大数据中心超算优势充满信心。

作为创新驱动发展的新动能新引擎,煤航大数据中心将围绕总局“透明地球”“数字地球”“美丽地球”建设要求,借助大数据、5G、人工智能等信息技术,形成地理空间大数据新产品和服务新模式,促进煤航转型升级发展,助力总局健康、可持续、高质量发展。

来源:中国煤炭地质总局

总局煤航大数据中心:处理数据的“超级大脑”-第5张图片-新之洲IDC资讯

资料免费送(点击链接下载)

史上最全,数据中心机房标准及规范汇总(下载)

数据中心运维管理 | 资料汇总(2017.7.2版本)                                                    

加入运维管理VIP群(点击链接查看)

《数据中心运维管理》VIP技术交流群会员招募说明

扫描以下二维码加入学习群

文章来源: 数据中心运维管理

版权声明:部分文章内容、图片来源于互联网获取,如有侵权请联系删除,发送邮件:server889#qq.com 请将#改为@,我们将第一时间审核处理!

相关推荐

网友评论

  • (*)

最新评论

相关推荐

php源码论坛源码香港vps数据中心西丽机房江阴数据西安机房win7腾讯管家门户整站PHP系统小程序香港服务器服务器租用电影网站SEO迅雷看看装修网站装饰整站系统NAS和服务器香港主机海外服务器香港机柜江阴市云计算数据中心高防服务器deituiCMS得推分类香港服务器cn2香港机房下载网站游戏服务器国外服务器端口描述香港 GIA-VPS宜兴国际数据中心网站服务器linux系统服务器屏蔽网站外贸公司韩国服务器独立服务器韩国高配低价服务器西安高新电信机房大型商城超市PHP专用服务器建设网站采集站网站站群广渠门IDC机房香港CN2CDNDDoS防火墙香港固定IP专线新之洲数据韩国机房CDN加速自动采集免费源码高清壁纸香港美国VPSBGP多线国内服务器黑客攻击访问速度高防云主机本溪市南地IDC机房服务器机房区块链小说网站维护网站西安联通机房服务器托管棋牌游戏棋牌服务器服务器配置企业服务器香港将军澳CN2 VPS北京大兴大族机房BGP服务器硬件网站建设云服务器大连黑石礁机房香港数据中心数据库服务器数据库系统香港云服务器襄阳联通枢纽楼IDC机房广告联盟联盟服务器WSTShop个人网店人才网独立云服务器企业云服务器服务器访问速度中国移动(广东湛江)数据中心交友网站婚恋网站主机网站优化香港日本韩国中国移动安徽(淮南)数据中心小程序服务器衡阳服务器租用