第2024章 AI人物观点：算力十问，大模型将横扫所有垂直行业
《Kimi人工智能月度报告丨AI人物观点》
关键词：算力十问
1.沈向洋：大模型将横扫所有垂直行业
“大模型大到一定地步以后就涌现出来。多大才涌现出来？没人讲得清楚。”3月23日，2024全球开发者先锋大会在上海开幕，美国国家工程院外籍院士沈向洋在《大模型时代的机遇和挑战》的演讲中分享了关于大模型的五方面思考。
第一，大模型的到来，强迫人类重新思考人机关系。“我们受到的冲击，到底有多少是机器智能的发展，有多少是人机交互的震撼。”他认为，不管是什么技术，最终目的是帮助人更好运用机器，不忘初心。
第二，大模型将横扫所有垂直行业。大模型可分为通用大模型、行业大模型、企业大模型和个人大模型。“一个通用大模型如果没有万卡、不上1万亿参数，基本上以后就不太好意思说这是一个通用模型了。行业大模型大致上是千亿参数、千亿卡的训练规模。企业大模型可能只需要100张卡、百亿参数。最有意思的是个人大模型，利用个性化参数，结合云和端，这是非常有意义的。”
第三，算力是门槛。影响算力的两大因素是模型大小和数据规模，随着参数增加，对算力的需求几乎是几何级的。“千卡万卡是钱堆出来的。以前有一句话叫贫穷限制想象力，现在贫穷可能扭曲想象力，因为如果没有卡，能想象要做的项目可能就不太一样了。”
第四，AI带来社会冲击。这些冲击包括对民众的冲击、企业的冲击、政府监管的冲击、社会发展的冲击，带来一本正经胡说八道、深度伪造等伦理问题，很多国家开始立法，这需要共同推动治理、向前发展。
第五，智能的本质。人工智能蓬勃发展，但人们对智能的本质并没有清晰认知。“大模型大到一定地步以后就涌现出来。多大才涌现出来？没人讲得清楚。”沈向洋表示，“很多人相信scaling law（规模法则），但今天的深度学习，理论非常欠缺。从宇宙到量子，物理学有一套大一统的理论统一起来，叫作Theory of Everything。今天深度学习没有这样的理论，所以叫作Theory of Anything。”
2.中国工程院邬贺铨院士：《算力十问》
在第二届“华彩杯”算力创新应用大赛启动会上，中国工程院邬贺铨院士发表题为《算力十问》的主旨报告
就超算、通算、智算三类算力是否存在合理比例的问题，邬院士认为，不同地区需求不同，不可能有固定的比例。通常国家与区域创新中心城市对超算有较大需求；机 密性和时延敏感性决定了城市政务数据和重要企业关键数 据尽量在同城通算；东部地区的AI训练任务重、智算比例高；西部算力枢纽也需要增加智算能力，但一般西部地区以配置通算为主。
关于算存比，邬院士强调，存力与算力需配合，避免因存力短缺造成算力等待而影响处理效率。而存力按位于服务器内外分为内存与外存，对于CPU密集型计算任务，影响算力效率与性能的主要是内存，据分析合理的算存比是GFlops/GB为 1；对 I/O 密集计算任务，需频繁访问外存，如何考虑计入外存力的算存比合理取值，值得商榷。邬贺铨同时指出，存力有HDD机械硬盘和SDD固态硬盘之分，后者可节能 70%，但我国SDD仅占24.7%，不及美国一半。
就边缘与终端算力运用的问题，邬院士认为，当边缘/终端具有70亿参数以上的推理能力时，边缘/终端可离线进行推理任务，目前手机可支持130亿参数，2024 年还会出现支持千亿参数的手机。当边缘/终端仅具有10亿参数的推理能力时，需要与云端协同提供智能能力。邬院士提出，单终端算力小，数以亿计的终端算力集合就非常可观，但跨终端的协同计算是否可行值得商榷。
关于异地算力节点的协同，邬院士认为，将算力集群扩展到跨域，多个异地的算力节点共同承担一个计算任务，实时性的交互要求光传输系统无损和确定性时延，任何丢 包和抖动都无法保证计算效率；在异属异构的场景下异地 协同计算的实施可操作性更是挑战。他强调，集约化建设大型算力节点比分布异地协同能够显着提升能效和算力效 率，东数西算和数据灾备都需要在异地算力枢纽间建立广 域连接，但这仅是算力任务的转移而不是异地实时协同计算。
关于算网协同，邬院士认为，算力与网络往往属于不同的运营主体，跨运营商的协同调度也有管理难题。而且网络通常并不感知所承载的数据属性。当前，首先要厘清算网协同的标准与方法，发挥IPv6的分段选路、SRV6作为算网协同统一承载协议的作用，通过编程空间实现云网/算网的融通。
就如何解除中小企业使用算力的顾虑，邬院士建议，政府站台主导建设面向中小企业的云智平台，降低企业利用算力的门槛和对安全的担心。
——总结·点评——
沈向洋博士和邬贺铨院士的观点分别从大模型的发展趋势和算力的多维度问题出发，为理解AI技术演进和基础设施建设的现状与未来提供了深刻洞察。
沈向洋观点概览：
沈向洋认为，大模型（large language models）将在所有垂直行业中扮演颠覆性角色，强调了模型规模的重要性。他指出，未来的通用大模型将以万亿参数为常态，而针对特定行业的模型则可能达到千亿参数级别，即便是企业内部使用的模型也将达到百亿参数量级。沈向洋的观点预示着大模型技术不仅将继续推动自然语言处理等领域的进步，还将广泛渗透至医疗、金融、教育等各行各业，成为推动数字化转型的关键力量。
邬贺铨观点概览：
邬贺铨院士的《算力十问》报告则从算力的需求、分配、效率、协同等多个角度进行了深入探讨。他指出，不同类型的算力（超算、通算、智算）需求因地区而异，强调了存算比优化的重要性，并区分了不同类型计算任务对内存与外存的不同依赖。邬贺铨还讨论了边缘计算与终端算力的潜力，提出随着终端设备推理能力的增强，边缘计算与终端协同将成为趋势，但也面临跨终端协同计算的挑战。关于算力节点的异地协同，他认为虽然存在技术与管理上的挑战，但算网协同和标准化工作对于提升整体效能至关重要。针对中小企业，邬贺铨建议政府应发挥作用，通过构建云智平台来降低算力使用门槛，增强安全性信心。
两位专家的观点综合展示了AI技术发展与算力基础设施建设的广阔前景及面临的实际挑战，指明了技术创新与政策支持对于推动行业发展的关键作用。
(https://www.shubada.com/44108/11111241.html)
1秒记住书吧达：www.shubada.com。手机版阅读网址：m.shubada.com