为什么要这么做？因为文本的数据覆盖面更广，全量，而且是高知识量的。以此为基础，就可以获得更快的学习收敛速度。这里可以类比人，人学习的过程最重要的三大来源：说话、眼睛看世界、耳朵听东西，这三个信息可能最开始要引导的教育过程，是引导他讲东西，这也就是分阶段对齐的核心要义。从图来看，LLM Backbone以语言对齐为核心，分阶段去做多模态大模型的信息压缩，找到其中的信息系规律。</p>
第二大类型，端到端对齐结构。就是对不同模态的数据同时学习，同时输入图像、文本各种各样的信息，直接把所有信息交叉并发，把所有的信息进行压缩，抽取里面的规律，最终达到理解这个世界，去驱动跟这个世界进行交互。</p>
三、解读大模型技术发展三阶段，场景反哺技术阶段仍面临挑战</p>
大模型能够帮我们做什么？我们很清楚大模型技术只是一个工具，从技术的角度去看，它帮我们把很多信息压缩，更高效地找出其中的规律。大模型要体现出价值，就要落实到各行各业、各种业务的闭环应用里面去。</p>
借鉴AI技术发展的路径，我们认为大模型技术发展定义也有三个阶段。这三个阶段实际上也是技术跟数据或者算法的关系。</p>
一开始，我们设计算法时通常会使用少量数据进行验证，这被称为技术找场景。在第二阶段，场景反哺技术，我们则采用更多数据来提升算法和技术的能力。第三阶段，场景找技术，即所有应用和需求都能通过同一个算法、模型来解决，这标志着我们迈入AGI时代的大道。</p>
那么，技术找场景现在的进展如何？我们已经走完了技术找场景在大模型技术发展应用的这段路。许多应用，例如智能问答、文生成图以及像ChatGPT这样的生成式大模型单点应用，已经验证了大模型技术的应用和算法成熟度。</p>
目前，我们正处于第二阶段，即场景反哺技术的阶段。我们可以看到，多模态大模型的落地还有很长一段路要走，其困难之处在于行业场景的复杂性。尽管我们希望在各行各业中广泛应用大模型，但行业场景的知识深度对大模型的能力提出了严峻的考验，仍存在着参差不齐、远未满足需求的情况。</p>
因此，我们需要积极推动多模态大模型技术的落地，并应对挑战寻找解决方案。</p>
四、如何打破大模型应用的“三角约束”？云天励飞提出“算法芯片化”</p>
我们要考虑主要的变量是什么？从智慧城市中的城市治理、智慧交通，我们归纳出，要在多模态大模型进行落地变现，应注意三个变量的“三角约束”。</p>
如今，对话系统备受关注，其精度已经接近人类，跟人没有差异，但在对垂域的深度支持和行业的价值，大模型没法去做。在真实生产环境中，很多任务是很复杂的，由于对垂域专业知识的不足，以及数据优化结构的增加，大模型面临着成本和效率方面的挑战。</p>
因此，我们需要在精度、成本和效率之间寻找平衡点，以推动多模态大模型技术在对话系统中的落地应用。我们相信，我们正在积极解决这一问题，并与AI领域的同仁一道不断推进技术进步。</p>
云天励飞是如何突破“三角约束”的？我来分享一下我们的解决方案。</p>
自2014年云天励飞建立之初，我们就定义了“算法芯片化”的技术发展路径。算法芯片化不仅仅是简单地将算法应用于芯片，还需要高度专业的人才，需要专家人才对算法有深刻理解，对不同场景和行业数据有专业认知，并能够通过协同设计算法与场景，最终体现在芯片侧、算子侧，包括推进可伸缩的指令集、优化计算架构以及工具链的优化。</p>
这样的技术支持使得我们能够应用包括Transformer、各种深度学习算法框架等多种算法。最重要的一点，它的成本、效率是制约多模态大模型落地的关键。</p>
过去打造的云天天书多模态大模型包含了几个维度，包括语言、CV、文本问答、目标检测分割等。这些大模型的落地采取了分层解耦的策略，通过设计算法芯片化平台，我们构建了一个通用大模型。这个通用大模型具备基础能力，它在行业知识和场景经验方面可能只达到60到70分，但在通用性方面可以达到80分、90分甚至满分。</p>
再往上走就是行业大模型、场景大模型，要在具体的场景业务里面拿到90分，需要低成本的算子层面优化，并通过与边缘侧数据的高效迭代训练来满足客户需求。</p>
过去十年，云天天书算法研究经历了长时间的迭代发展。从2017年之前研究以ResNet卷积神经网络的深度学习，到Transformer结构起来之后，我们第一批启动了Transformer结构适配整个算法芯片化的平台。去年公司上市后，我们加大了对大模型技术的研发投入，并持续跟进海内外的先进技术。我们成功地研发了从百亿级到千亿级的语言多模态大模型。</p>
上个月，我们发布了云天天书3.5V的大模型。在图文理解、生成以及问答等方面，这些模型表现非常可观。在语言大模型方面，我们去年已经多次获得了权威榜单的第一名。</p>
五、云天励飞是怎么取得可观成绩的？背后有4项关键技术</p>
我们如何实现这些可观的成绩？尽管我们面临了诸多挑战，但我们总结归纳后认为有四个关键点值得分享：</p>
第一，解决成本的问题。精度可以通过数据堆积解决，在真正落地的时候，推理的成本是绕不过去的，我们的核心要义是解决高效的推理引擎问题。</p>