敖飞寺云重
量子比特|公众号QbitAI
2022年底，OpenAI的大模型ChatGPT正式上线，并将在2023年引领全球“大模型热潮”。
谷歌、微软等全球科技巨头相继推出了自己的人工智能大模型。中国企业也掀起了“百款大战”，国产大型车型频频亮相，加速迭代。大型车型快速发展，助力产业创新升级。大模型商业化现状如何？新入行者该如何选择大模型赛道？
2024年是设备端智能爆发元年吗？模型训练和推理方面有哪些新的技术进展？
为了帮助大家更好地了解AI技术的发展趋势，为用户提供解决实际问题的思路和方法，阿里云特意推出了AI领域首个问答专栏————【AI问答】。每期专栏中，阿里云AI专家问答团队都会解答网友提出的各种关于AI的问题。你可以向他们询问任何关于AI产品使用、大规模模型应用落地等问题。
截至目前，已有5位AI专家做客专栏，共解答了40个问题，内容涵盖大模型商业化的挑战、端侧智能的现状、模型训练和模型推理的技术路线、快速入门等。智能编码。方面。
接下来，如果您对开源大模型的最新技术进展、视频生成中的具体问题、数字人技术的实现、GPU计算能力等有疑问，我们邀请了.
薄烈峰—— 阿里巴巴统一实验室应用视觉实验室负责人
阿里巴巴统易实验室应用视觉团队负责人。曾任亚马逊首席科学家、华盛顿大学计算机科学与工程学院联合教授。研究范围涵盖机器学习、深度学习、计算机视觉、自然语言处理、语音等领域。
周文猛—— 阿里巴巴同益实验室研发总监
ModelScope开源社区和DashScope灵机模型服务平台模型技术负责人，旨在创建简单易用的SDK和API接口，方便开发者定制和部署大型模型并构建应用程序。负责阿里云机器学习平台PAI上的算法框架，支持搜索推荐等核心业务，服务多个BU核心业务，在多项竞赛中取得前三名的成绩，在EMNLP、CVPR、IJCAI发表多篇论文。
届时将揭晓一位神秘嘉宾。您还有什么问题需要专家团队解答吗？欢迎提问！
如何参与？
1、访问专栏官网“开始提问”；
2.关注阿里云云栖账号，获取专栏最新动态；
3.也可以直接在评论区留言提问。
我们将通过邮件联系提问者送上一份礼物，而被栏目组选出的回答问题的提问者还将获得额外的惊喜！
前期内容节选
问：传统企业和新企业如何选择大模型赛道？
A：在水涨船高的阶段如何造船，而不是造山，因为水涨山可能会被淹没，所以如何用好模型可能是最重要的。这是企业和新玩家必须思考的问题。首先是对业务进行梳理，封装知识，用Agent来体现。还需要了解业务应用场景是实时链路还是离线链路，这会影响模型的选择和Agent的构建。
问：如何保持AIGC内容的原创性和个性化，避免千篇一律的输出？
A：电商目前使用的大模型可能主要是两个方向。一种是使用部分语言模型，例如标记产品、提取评论等。另一种是生成内容并直接通过渠道分发，例如在富媒体中。使用AIGC生成内容时，最重要的是准确性。事实上，如果你不想改变所有的内容，就不要改变它。你希望它尽可能地改变。可控发电是我们正在努力的一个方向。
Q: AI生成视频的技术难点是什么？商业化的可能性有哪些？
A：我认为视频生成可以分为两种类型。一是类似文胜视频，根据语义生成视频，二是对视频内容进行编辑。我们观察到，如今视频剪辑的需求特别大，尤其是人体和面部表情的剪辑作为最重要的方向。一个画面是根据人的四肢动作来驱动的，另外一个是针对人的脸部，驱动他的整个面部表情，甚至上半身的手势。我认为第二条技术路线对于视频编辑控制的方向来说具有很大的商业化能力。可能性。所以我们会在这方面做更多的事情，我相信它可以和Vincent Video结合起来。
Q: 目前实现大型模型最大的挑战是什么？
A:当前终端模型的实现面临的一个非常大的挑战是性能、资源和功耗之间的平衡。无论是手机、PC，甚至是汽车，计算能力都是有限的，内存也是有限的。精度要求不低于云端。场景也很复杂。如果使用大尺寸的模型，内存和推理速度就无法满足。如果选择小尺寸型号，整体效果会变差。现在所谓的小尺寸模型，本质上就是非常大的模型。其资源使用和推理性能面临非常大的瓶颈。
Q: 当前模型推理的最新技术方向是什么，突破点是什么？
A:模型部署和推理性能挑战的根源当然是模型规模。模型的规模和上下文的规模不断增长，并且远高于硬件计算能力和显存的增长速度。因此，这对于基于分布式架构的模型部署权重、上下文压缩、计算加速和可扩展性具有重要影响。大家都提出了非常高的要求。如今的大型语言模型通常具有非常全面的理解、推理和生成能力，甚至同一个模型可以在很多场景下解决不同领域的问题。对于模型部署和推理计算来说，各种场景会带来各种性能需求和计算特性，这就要求模型推理引擎和模型部署平台具备非常全面的能力。
Q:模型训练需要昂贵的成本支持。那么在训练或者微调的过程中，如何提高训练性能来节省训练成本呢？
A:首先必须确定优化目标。一般来说，优化目标是训练一批代币的总时间。具体指标是token/s。
具体到硬件上，token/s其实就是硬件资源的有效利用率，也就是我们常说的指标MFU。计算量确定了，怎么做这个优化呢？需要根据各个硬件单元的吞吐量，从理论上估计模型训练的瓶颈和性能优化的空间。具体来说，我们可以从计算、通信和显存三个大方向入手。
从计算的角度来看，计算运算符大致可以分为内存访问密集型运算符和计算密集型运算符。内存访问密集型运算符的计算时间与内存访问时间有关。该算子的执行时间理论上可以根据内存访问量和内存访问的带宽来估计。计算密集型算子的计算时间是根据其峰值算力和计算量来估算的。可以通过对比实际的执行时间来评估各个算子的占比和优化空间。
显存方面，模型占用显存的大小必须根据模型的结构和其中激活的大小进行理论上的估计，并且必须结合分布式策略、卸载策略等视频使用的内存优化策略。
在通信方面，需要结合分布式策略对应的算子，其理论通信带宽不同。它在机器内和机器间的执行速度也必须根据机器内和机器间的带宽进行理论上的估计。这样估计出通信时间后，就可以根据计算时间、计算算子和通信算子之间的依赖关系来估计算子是否可以重叠。如果没有屏蔽，我们需要估计未被屏蔽的通信比例，这可以帮助我们改进分发策略。
有了这些瓶颈点位置、优化空间和评估数据，我们就可以从具体的瓶颈点入手。
Q: AI程序员有哪些产品形态？和统一灵玛有什么关系？
A:的人机交互模式分为三个阶段。第一阶段是人机合作，以人为主，机器为补充。我们称之为副驾驶模式。接下来，它将进入Agent模式，单个Agent将自主完成任务。小任务，例如编写测试用例；最后，多Agent协作模式可以完成一件非常复杂的事情。
AI程序员是基于多智能体协作架构的产品。人机交互模式发生了质的变化，变得以机器为主、以人为辅助。在这个过程中，人们更有可能提出诉求，对AI程序的运行进行及时修正，并验证其最终结果。编程的生产力将会大大提高，发生质的变化。通易灵马更多的是第一阶段，也就是副驾驶模式。说到Multi-Agent或者机器化，产品形态一定是AI程序员。
Q: 市场上有很多智能编码工具。有没有什么标准可供开发商选择？
A: 据我们观察，程序员对Code Assistant IDE插件的第一要求是准确，采用率要高；第二是代码生成必须足够快并且不能太滞后；三是能否与企业内部规范或个人发展习惯相结合；最后，需要考虑安全性。
Q:代码的RAG知识库有什么作用？应该如何管理才能提高代码编写的准确性呢？
A: 搜索增强是我们最近为企业版推出的一项重要功能。这有两种类型。第一个是用于代码补全的RAG，主要用于辅助代码延续。可以模仿我们原来写的业务逻辑来生成，也可以按照原来自研的组件库或资源来生成。使用框架生成服务，或者按照原来的API调用范式生成。
编写代码时，自动到企业的知识库中调用相似的代码。二是企业知识问答。您可以上传企业内部的研发文档或API定义文档。只需通过#team docs，大模型就可以实时搜索企业知识库中的问题并联合生成。
Q: 如何使用智能编码助手辅助开发者阅读代码，快速理解代码？
A: 大量开发者使用代码解释功能来快速理解整个代码的含义。除了简单的代码解释之外，圈出代码即可完成。另外，我们还可以使用@workspace函数让大模型读取整个库，然后给出相应的解释。我们可以让它定位某个文件，甚至某个类或者某个目录，并让它去读取。快来帮助我们理解吧。
– 超过-
量子比特QbitAI·今日头条
关注我们，第一时间了解前沿技术动态
版权声明：本文转载于网络，版权归作者所有。如有侵权，请联系本站编辑删除。