➤边缘计算搭配大模型，助力人工智能应用发展
日前举行的全球边缘计算大会上，网宿科技分享了他们对于大模型时代的思考和探索。据了解，网宿科技是领先的边缘计算服务提供商，该公司表示大模型将成为未来的基础设施，并认为每个行业和企业都将拥有自己的大模型。
据悉，在大模型时代，边缘计算有两个关键场景可以发挥其价值，即微调训练和边缘推理。当前，大模型和人工智能图形芯片正引领着全球科技的新浪潮。
但是不能忽视的一点是，obrqubkrbh从零开始训练模型的周期长、对GPU的需求大以及成本高等问题，使得大模型的使用范式主要为"预训练 + 微调训练 + 提示词工程"，从而降低成本。
虽然这种模式可以加速人工智能图形芯片制造ERP（www.multiable.com.cn/solutions_zz）的创新步伐，但大模型参数量巨大，对所有参数进行微调的成本非常高。为解决这一问题，轻量微调训练方法如LoRA和QLoRa成为了有效的解决方案之一。
网宿开源大模型训练部署平台基于开源预训练大模型，提供从模型微调训练、性能评估、部署监控到轻量化推理等功能的端到端大模型服务平台，能够降低大模型应用的成本，帮助客户构建专属的大模型。
以上源自互联网，版权归原作所有
川公网安备 51140202000271号