具有固定上下文长度n的SLM也称为n-gram语言模型，例如二元和三元语言模型。 NVIDIA表示，在TLT平台的支持下，相比非迁移学习，用户只需要使用十分之一的数据进行训练，模型部署效率提升10倍。今年4月8日，在人工智能大模型技术高峰论坛上，京东副总裁何晓东透露，京东今年将发布新一代大模型ChatJD，定位为工业版大模型。聊天GPT。

混元NLP万亿大模型引入了额外的词向量用于专家路由、解耦路由和Attention层输出。 2017年7月，PLATO-2发布，这是基于课程学习的对话生成模型，进一步刷新了旷场对话效果。腾讯AI Lab将致力于通用人工智能研究的发展，通过AI+游戏模拟现实世界，构建虚拟世界，探索通用人工智能的发展。

国内大规模模型相对成熟后，大部分互联网产品可能会进行AI能力改造（例如阿里巴巴宣布所有产品将接入统一钱文大规模模型）。大模型增强了AI技术的通用性，让开发者能够以更低的成本、更低的门槛开发出更适合场景的AI模型，帮助实现普惠AI。

实验证明这种预训练方法非常有效。模型大小不需要很大，预训练数据不需要很大。仅具有216M 参数的X-VLM 就可以在广泛的多模态任务上取得非常好的性能，例如：图像文本检索、基于图片的问答或推理、视觉定位和图片描述生成。一站式AI计算开发服务：阿里云为用户提供一站式通用推理优化工具，对算法模型进行量化、剪枝、稀疏化、蒸馏等操作，推理效率提升6倍以上。

Tongyi-M6从2020年6月的3亿参数基础模型逐步发展到2021年10月全球最大的10万亿参数预训练模型，再到2022年1月业界首个通用统一大模型M6-OFA。

在斯坦福大学发布的2022年全球顶尖2%科学家名单中，腾讯AI实验室共有5人入选。其中，张正友博士在全球终身科学影响力排行榜中排名第1002位，在中国排名第1002位。 Top 10. 阿里巴巴推出统一系列大模型，由统一基础层、通用模型层、行业模型层组成。它们不仅适用于各种任务，而且易于实施。其中B端的应用更有优势。

2019年，太极平台的机器学习研发能力再次升级为统一的云原生架构。平台服务腾讯广告、游戏、安全、金融等多个AI核心业务场景。结合对用户习惯的理解和功能积累，太极在产品层提供数据/特征工程、模型训练和模型服务。

尽管缩放主要发生在模型大小方面（具有相似的架构和预训练任务），但这些大型PLM 与较小的PLM（例如具有330M 参数的BERT 和具有1.5B 参数的GPT-2）表现出不同的行为。并表现出惊人的能力（称为涌现能力）来解决一系列复杂的任务。