2023-08-10 15:53:26 来源:中关村在线
伴随着气象技术的发展以及城市气象设施的完善,气象监测服务能力在不断提高,实现短期甚至中长期的气象预测成为可能。
(资料图片仅供参考)
短期、长期的天气形势预测,不仅能帮助相关行业、有关部门针对性地进行极端天气防范准备,降低气象灾害带来的影响;还可以提升对风力、水力等可再生能源的利用效率,实现可持续发展,推动环境保护。
而大地量子正是这样一家深耕气象领域的公司。作为定位为AI大模型与数字孪生的公司,大地量子通过对PB级卫星遥感数据、气象数据的AI开发,打造业界领先的天气预测、清洁能源功率预测、绿电交易预测、碳汇碳排等技术产品,并利用自有的AI与超算优势,完成下一代气象预报系统。
预测一个地理位置的气象情况,实际是根据周围的观测站点的大量信息,做重合面积的地理信息查询,包括经纬度、温度、湿度等具体数值。除此之外,大自然中变幻莫测的风、雨、云、电,也会为数据的计算能力和实时查询也带来了巨大的难点。具体可以包括以下三点:
第一,地理信息数据处理能力,业务需要丰富的geo函数,用于整合海量的历史气象数据,对目标点位/区域实现天气预测;第二,高时效性查询需求,风场、云层预测等模型需要实时查询能力,快速做到结果反馈;第三,由于查询的接口众多,高并发扩展也是交互式业务不可或缺的能力之一。
如何解决这些痛点?大地量子选择了与火山引擎云原生数据仓库ByteHouse进行合作。
随着字节跳动业务的快速发展,产生了海量的产品使用数据分析需求。这类场景数据指标计算相对复杂、数据总量大且查询模式多变,要求底层数据计算引擎具备高可用性,以及具备应对超大数据规模下交互式实时响应的能力。ByteHouse的极致性能和强大计算能力,正是源于内部场景的多年积累和检验。
在字节跳动内部实践场景和海量数据打磨下的技术能力也复制在大地量子上,并进行了进一步升级。
据介绍,ByteHouse起初是基于开源ClickHouse引擎进行技术架构重构和优化。但相比起原生的ClickHouse,火山引擎ByteHouse基于独家自研的高可用引擎及查询优化器,可以为企业提供快速、稳定、安全的查询服务和数据写入性能。
从技术层面看,ByteHouse 提供了 PB 级数据秒级响应,通过增强的自研引擎,确保95%以上的查询均可在秒级返回,同时通过自研的HAEngine和元数据持久化等优化,ByteHouse提供了新的生产级高可用方案,能够保障其在大数据量场景下依然不会影响到查询分析体验。
大地量子通过将现场采集及大模型生成的气象数据导入到ByteHouse中,通过ByteHouse的多边形计算、方差、平均值等计算函数能力,支撑GEO查询和空间计算,满足其对预测系统以及交互式查询需求。另外,针对大地量子不同阶段数据波动情况,ByteHouse也提出了定制化解决方案。例如,在业务数据低谷期,ByteHouse提供集群节点进行自助升级能力,在保持产品功能更新的同时,能更灵活帮助大地量子控制产品版本,降低运维负担。
在降本增效层面,大地量子也利用ByteHouse进行了极致优化。ByteHouse 能支持用户自定义冷存储的比例,该能力帮助大地量子将查询频次较少的历史数据进行冷存,起到降低存储成本的作用,最终实现查询效率和成本之间的平衡。
目前,在业务实践中,平均查询任务时长始终保持在50毫秒以内,同时可以做到400QPS的峰值并发,火山引擎ByteHouse的高效率表现为大地量子提供了最有力的用数支持。
未来,大地量子将把部分功能作为API接口对外开放,ByteHouse的高查询性能足以满足预测系统及后续交互式查询需求,进一步为大地量子提供了查询并发的保障,为业务扩展提供基础。除此之外,由于ByteHouse 支持无损和自助水平扩容,随着数据量持续增加,大地量子也计划通过 ByteHouse 集群的水平扩容来动态调整和支持计算、存储能力,为高性能查询提供更强保障。
除了在气象领域落地,火山引擎ByteHouse还与中国地震台网中心、海王集团、莉莉丝游戏、极客邦科技等诸多行业企业达成了深度合作,凭借新一代的云原生架构,高效方便的运维模式,以及高性能更灵活的实时查询能力,为企业抓稳数字化机遇建立了夯实的地基,推动企业的数智化转型升级。(作者:李维)
标签:
- 加快虚拟仿真实训基地建设 启动职业学校信息化建设试点很必要
- “双减”后如何在满足学生多样需求方面做“加法”?
- 处于生理活跃期且心理发展不成熟 高校开设公共卫生必修课很必要
- 价格低于相应蔬菜零售价 西安投放约1万吨政府储备蔬菜
- 深受年轻消费群体所青睐 国潮风商品成为年货新选择
知识
- 他把银行卡卖给骗子,“黑吃黑”“截胡”十万元
- “老司机”4S店试驾豪车 结果油门当刹车撞了
- 新开工改造城镇老旧小区5.34万个
- 发动巡河志愿者2万余名 “用心护好每一条河”
- 假客服的套路:伪装成大平台客服,层层布局引人上钩
人物
- 浙江两轮核酸检测结果均为阴性 无新增本土阳性感染者
- 新疆阿克苏地区库车市发生4.1级地震 震源深度18千米
- 抵返哈尔滨人员须持48小时内核酸检测阴性证明
- 浙大紫金港校区已解封 有7337人有序离开该校区
- 2021年广东省第七届风筝锦标赛落幕
- 黑龙江讷河市启动全员核酸检测 目前讷河市全员核酸检测结果均为阴性
- 【同心粤港澳 携手大湾区】南头古城,搭建深港澳三地文化创意活动交流平台
- 重庆入河排污口整治工作推进至全市26个区县
- 四川省第二批政法队伍教育整顿:立案审查调查省级政法机关干警58人
- 长三角区域生态环境部门“云签约”长江大保护倡议书
- 古老长城重焕新生机
- 藏不住了!你同事里有许多“武林高手”……
- 浙江杭州2例无症状感染者系感染德尔塔变异株
- 喜马拉雅的深情和誓言
- 浪漫之城打造山海城一体新地标
- 让老年人更适应数字生活
- 内蒙古通辽市新增1例本土确诊病例、1例无症状感染者
- 徐州无新增确诊病例 核酸检测55515人结果均为阴性
- 甘肃培树“农家巧娘”增技能:返乡创业掌勺又“掌柜”
- 内蒙古通辽市科尔沁区一地调整为中风险地区
- 上海本轮疫情涉及闭环管理的医疗机构全面恢复门急诊
- 青年学生成艾滋病感染高发人群 “社会疫苗”如何打?
- 内蒙古满洲里新增本土确诊病例1例 当地开展第二轮大规模核酸检测
- 江西无新增本土确诊病例 上饶全面恢复正常生产生活秩序
- 中老铁路上会四国语言的列车长:用心维护中老友谊的桥梁
- 海南首次发现有环志的世界极危鸟种勺嘴鹬
- 一场“网络劝生者”和“网络劝死者”的战役
- 内蒙古通辽新增本土确诊和无症状感染者各1例 轨迹公布
- 江西中烟工业有限责任公司原总经理姚庆艳接受审查调查
- 宁夏45例新冠肺炎确诊病例均已治愈出院
- 内蒙古通辽市科尔沁区发现2名初筛阳性人员
- 生活在闹钟里的丈夫:自己迟一秒,渐冻症妻子就会多一分疼
- 辽宁新冠肺炎确诊病例零新增
- 11月28日16-24时,内蒙古新增本土确诊病例1例
- 奥密克戎毒株为何“需要关注”?现有防疫工具还有效吗?
- 黑龙江新增本土无症状感染者1例
- 这辈子一定要去趟这个公园 在这里“有种爱叫放手”
- 那年今日 | 一张漫画涨知识之11月29日
- 寒潮预警!我国中东部迎大范围降温 黑龙江等地降幅可达12℃
- 冷空气继续影响我国中东部 华北黄淮等地有雾和霾天气
