即使它看起来就像一堵墙的数字,一个数据集可以描绘出一个引人注目的画面。例如,你的五天的天气预报。计算归结大量的细节——他们中的一些人来自美国雷达网络调用NEXRAD——让你看到你的即将到来的天气。但当天气的NEXRAD归档数据最近成为可以在Amazon Web服务,康奈尔大学的一个研究小组没有看到雨,阳光,风模式。
他们发现了完全不同的东西。
访问数据的天气雷达允许他们探索一个鲜为人知的现象发生在美国的夜空:鸟类迁徙。他们的研究跟踪超过40亿只鸟在秋天南移动,获得的洞察力,他们去哪一个活了下来,和导致他们称之为“一个最大的数据集描述动物运动编译过。”
的亚马逊可持续性数据倡议扩展访问数据,旨在推动可持续性创新——托管数据档案如NEXRAD在AWS上。主动让天气预报模型、卫星图像、空气质量测量,和其他公共数据集更容易在云中,也提供了分析计算工具。
这一行动在一起几个月的团队之间的对话亚马逊的可持续性和亚马逊网络服务(AWS)。随着时间的推移,团队实现共同努力改善数据集,亚马逊需要通知我们的可持续发展目标也可以赋予更广泛的社区非营利组织、企业和学术研究人员可以使用这些数据。主动给任何人成立致力于可持续发展问题如何使用云计算的知识和访问数据集,可以提供新的见解和驱动的解决方案相结合。
康奈尔大学的论文在鸟类迁徙是一种“绝对惊人的研究,”艾德·卡恩斯说,首席数据官国家海洋和大气管理局(NOAA)NEXRAD的联邦机构。“这是,老实说,如果这些数据集将不可能做没有可用在亚马逊平台上。”
云的力量
亚马逊的可持续性团队开始使用AWS去年开始大量的仓储公共数据描述我们的地球。雷竞技官网欢迎你虽然这些数据一直是免费的,研究人员可能没有必要的计算能力来利用这些资源通过他们自己的内部数据中心。
“如果你幸运,有一个良好的网络连接和大量的存储,你可以下载1 tb大约一天半,”杰德Sundwall说,开放数据AWS的全球领先。NEXRAD档案,例如,300字节(tb是1024字节)。把到的角度来看,可以满足500小时的电影在一个tb。
当数据在云,在远程网络服务器,任何人都可以看到它,分析它,而无需获得自己的复制或担心使它保持最新。“这确实是强大,”Sundwall说,“因为它允许研究人员试验更迅速,以较低的成本,从而导致更多的见解。它并不少见,我们听到顾客说他们现在能够做的事情是科幻小说仅仅几年前。”
虽然亚马逊可持续性数据倡议开始聚合资源云的想法,很快就变成了更多的东西。
“几乎立即,我们发现我们几乎抓我们可以提供的表面价值,“Dara O ' rourke说,亚马逊的可持续性团队和资深首席科学家环境和劳工政策的副教授的加州大学伯克利分校。
在与研究者的对话,很明显他们需要不仅仅是访问数据本身,而是专业技术和计算工具,这两个亚马逊已经能够提供。例如,美国国家航空航天局最近使用机器学习技术在AWS估计飓风风速快六倍比他们先前的方法。
“气候研究人员很少会有任何接触最近的,先进的机器学习和人工智能工具,但它们可能非常有价值的,”O ' rourke说。“我们试图得到这个数据在这个地方更容易访问和给这些研究人员一套工具,他们从来没有。”
聚焦的眼睛在天空中
一起,AWS提供的访问和计算工具推动可持续性项目领导的组织运行从大学的研究人员到地方政府、联邦机构的私人公司。卫星图像的五个国家在非洲,例如,已编译的非洲区域数据立方体全球伙伴关系旨在与土地利用相关的问题,水,和城市化。
在加纳,非法矿工突袭补丁的土地在过去的一个月,清理树木和留下水坑受污染的水。“这是一场环境灾难,”布赖恩说Killough,世卫组织正在帮助领导通过NASA的数据立方体的工作。
当局在加纳只能监视地面用直升机和飞机。但“每两到三天卫星图像和一些花哨的算法去用它,你可以找到瞬间的变化,“Killough说。可以通过AWS,数据cube-so命名是因为它堆栈层卫星数据随着时间的推移,对于一个给定的位置也帮助通知农业和城市规划。规模Killough说,他希望非洲和世界其他地区的努力。
AWS还提供了150万美元的云抵免地球观测组织(GEO),一个政府间组织,政府机构和发展中国家的研究团体可以使用大数据通知可持续发展决策。格兰特在11月底刚刚宣布,将广泛的项目提供资金,但是史蒂文•拉梅奇GEO的对外关系负责人表示,相关的多个请求已经在减少灾害风险的工具和服务。
“我们想帮助人们帮助自己,”拉梅奇说,“这样做,使我们解决一些我们作为人类所面临的最大挑战。”
全球影响力,当地的影响
有些这样的工作显然是大,它可以简单地归结到一个街区。在弗吉尼亚,易发洪水城镇使用传感器来监测水位并上传至云的一部分StormSense项目。当地居民可以问问Alexa水位在特定的地方或者订阅应用程序与警告危险的洪水。
数据还被用来预测可能发生洪水和最终权力迹象表明能告诉司机掉头时巷道洪水,bloom Katragadda说,弗吉尼亚海滩市数据官参与该项目。
StormSense收集数据从沿海城市如弗吉尼亚海滩,和纽波特纽斯汉普顿道路。Katragadda指出,每个地方都可能有自己的系统捕获和水位,和那些需要和好项目的增长。
“你可以规模的唯一方法就是通过在云中,”他说。“不同的城市可以使用不同的传感器,但我们可以聚集在一个地方的数据。”
在加州,Cal-Adapt主动使用AWS开放气候数据从国家的科研界——细节海平面上升,火灾发生率,积雪的水平,和其他指标。
“下一代的全球气候模型比以往更高的空间和时间分辨率,和模型输出包括变量比以往任何时候都多,”南希·托马斯说,Cal-Adapt的执行董事。
托马斯表示,该集团正在使用AWSλ增加计算能力研究人员可以适用于日常气候参数,如高温天的数量,在一个交互式的地图格式,可以强调气候异常在空间和时间。
“开放数据访问使复杂的气候研究可以理解至关重要,访问,和可行的,”她说。
有时测量是深奥的,他们当前的应用程序并不明显,但与我们的专家讨论后,人去,“啊哈!这是如何使用这些数据。对我们来说这是非常激动人心的。
构建一个数据社区
NOAA,举办NEXRAD云中的数据和其他资源减少了压力在自己的服务器上。
“有什么很好的亚马逊所做的是他们提供这些NOAA数据没有明显的限制多少数据有人可以使用,”美国国家海洋和大气管理局的卡恩斯说。
他补充说,亚马逊和NOAA专家之间的持续对话有助于塑造上演什么机构。亚马逊客户传达了哪些数据集是有趣的,和NOAA有助于解释数据集和如何使用它们。
“有时测量是深奥的,他们立即应用程序并不明显,”他说,“但与我们的专家讨论后,人去,“啊哈!这是如何使用这些数据集。这对我们来说非常有意思。”
随着亚马逊可持续性数据倡议的增长,它会创建一个飞轮效应:更多的数据带来更多的用户,从而带来更多的数据和更多的用户。许多用户都是公民科学家、企业家、或从康奈尔大学的研究人员,提出完全意想不到的和创造性的见解一直难以达到的数据。
“当我们与NOAA合作开放访问他们的天气雷达数据,我们从来没有认为这是作为一个数据集来描述动物的运动,“Sundwall说鸟的研究。
“如果你能获取数据的更多的人用不同的视角,不同的优先级,不同的方法,你会得到更多。”
