img img img img
ss

 EN

imgboxbg

新闻资讯
了解最新资讯,掌握行情领先一步

分类列表

大数据GIS核心技术有哪些?

  • 分类:常见问题
  • 作者:司南导航GNSS
  • 来源:网络
  • 发布时间:2021-04-28 11:11
  • 访问量:

【概要描述】大数据GIS是在大数据浪潮下,GIS从传统迈向大数据时代的一次变革。大数据GIS能为空间大数据的存储、分析和可视化提供更先进的理论方法和软件平台,促进了传统GIS的产业升级,为地理信息产业发展提供新的渠道和原动力,服务于我国“十三五”期间的大数据产业发展和部署。

大数据GIS核心技术有哪些?

【概要描述】大数据GIS是在大数据浪潮下,GIS从传统迈向大数据时代的一次变革。大数据GIS能为空间大数据的存储、分析和可视化提供更先进的理论方法和软件平台,促进了传统GIS的产业升级,为地理信息产业发展提供新的渠道和原动力,服务于我国“十三五”期间的大数据产业发展和部署。

  • 分类:常见问题
  • 作者:司南导航GNSS
  • 来源:网络
  • 发布时间:2021-04-28 11:11
  • 访问量:
详情

  司南导航:大数据GIS是在大数据浪潮下,GIS从传统迈向大数据时代的一次变革。大数据GIS能为空间大数据的存储、分析和可视化提供更先进的理论方法和软件平台,促进了传统GIS的产业升级,为地理信息产业发展提供新的渠道和原动力,服务于我国“十三五”期间的大数据产业发展和部署。

  大数据GIS的产生

  • 大数据

  近几年,大数据(Big Data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。

  一般认为,大数据具备体量大、变化快、种类多和价值密度低等特征。而大数据区别于单纯海量数据的根本在于:大数据是随着互联网、移动互联网、物联网等高新技术的发展,能够自动化获取的数据,例如手机信令数据、导航定位数据、电商交易数据、搜索引擎数据、社交媒体数据、公交刷卡数据等等。我们能够从这些数据中分析挖掘出有价值的信息和规律,从而帮助我们在各个行业的应用中辅助决策,甚至预测未来。

  • 空间大数据

  业界常说,日常生活中80%的数据和空间位置有关。而在大数据领域,由于数据主要来自互联网、移动互联网、物联网等自动采集的数据,其带有空间位置的比例更高。例如:手机信令数据由通讯基站与手机之间的信令链接所产生,通过手机与基站的相对关系就能计算出手机的位置;社交媒体数据中,用户分享的文字、图片、视频等,通常标注有从用户终端获取的位置信息;公交刷卡数据能够从车辆定位系统中获取位置信息;即便是电商交易数据,也能从IP地址获得其大致的位置信息。

  总的来说,空间大数据就是大数据中带有(或者隐含)空间位置的数据。由于获取方式的特殊性,空间大数据与经典的海量空间数据有所差别,空间大数据带有大数据的价值密度低的特征,在大数据技术发展前,使用常规手段无法处理,更无法有效分析和挖掘这些数据的价值。

  随着大数据技术的发展,开采空间大数据的价值成为可能,对于空间大数据的挖掘,让我们能从一个新的视角,即空间位置关系和时空变迁的角度,去发掘大数据中的规律和趋势,从而打开大数据应用的另一扇窗。

  • 大数据GIS

  大数据领域已经出现了许多实用的IT技术,例如分布式文件系统、分布式数据库、分布式计算框架、流处理框架等。这些技术使我们能够使用普通机器对大数据进行处理和挖掘,但多聚焦于通用的非空间数据领域,对空间数据的专业分析能力不足。而传统GIS由于受其IT技术框架的限制,并不能很好地应对大数据对分布式存储与计算、流数据处理等的技术要求。

  大数据GIS就是把大数据技术与GIS技术进行深度融合,把GIS的核心能力嵌入到大数据基础框架之内,并打造出完整的大数据GIS技术体系。大数据GIS的核心技术如下图所示:

  大数据GIS核心技术

  1、分布式技术

  (1)空间数据的分布式存储。在原有分布式存储系统之中,嵌入分布式空间索引、空间数据的分片处理和管理等技术,通过空间数据的横向扩展(Scale-Out),实现单表过亿、乃至数十亿空间数据的存储与管理。常用的分布式存储系统有HDFS、HBase、Elasticsearch等。

  (2)分布式空间计算。以Spark分布式计算框架为基础,把原有地理空间分析算法进行分布式改造,实现在数小时完成原有GIS无法完成的上亿条空间面对象之间的空间分析计算。

  (3)分布式地图渲染。通过矢量金字塔、分布式渲染、自动缓存和前端渐进加载等技术,实现超大规模空间数据的“免切片”渲染效果(具体内容请点击《超图高性能分布式地图渲染技术解密与应用》进行查看)。

  2、流数据的实时处理技术

  基于Spark Streaming流计算框架的基础能力,扩展实现流式数据的实时接入、过滤、转换、计算、可视化与输出等相关能力。

  3、空间大数据可视化技术

  不同于传统GIS中直接把所有地物绘制到地图上,大数据动辄就是千万、上亿条数据,直接展示如此大量的数据既无必要,也没有可能。空间大数据的可视化更强调的是,在对数据进行分析计算之后,来表达其空间分布情况、聚合程度及连接关系等。

  总的来看,大数据GIS主要解决了两个方面的问题:

  • 新数据:大数据GIS扩展了GIS所管理空间数据的边界,除了经典的,如矢量、栅格等基础空间数据,大数据GIS还能管理实时发生的流数据,以及存档下来的空间大数据,这也为空间大数据的挖掘和应用提供了有效的工具。

  • 新技术:大数据GIS也扩展了传统GIS的技术边界,通过与大数据IT技术的融合,极大地提升了GIS对超大规模空间数据的存储容量、计算性能和渲染能力。

  然而,仅仅做到攻克大数据GIS技术还是不够的,要想真正服务好社会,更重要的是如何能够通过大数据GIS为各个行业的相关业务提供多元思维、多元决策,为行业迎合新技术的冲击,为行业发展提供坚实的技术基础。

  1.文章部分文字与图片来源网络,如有问题请及时联系我们。

  2.涉及转载的所有文章、图片、音频文件等资料,版权归版权所有人所有。

  3.本文章内容如无意中侵犯了媒体或个人的知识产权,请联系我们立即删除。

扫二维码用手机看

COPYRIGHT@2016 上海司南卫星导航技术股份有限公司 版权所有 (沪ICP备12032689号)

400-630-2933

周一至周五 9:00-18:00

 

这是描述信息

访问商城