悟道大模型-中国首个＋世界最大超大规模预训练模型

释放双眼，带上耳机，听听看~！

智源”悟道”人工智能大模型，连创中国首个+世界最大纪录，取得了国际尖端水平科研突破。2023年6月，悟道3.0进入全面开源全新阶段。悟道大模型是从“人炼模型“到”炼大模型”的积极推动者。

悟道团队在模型设计上，首先针对复杂任务设计模型，通过记忆机理或者类似于推理的机理，把一些更远的上下文信息加入到预训练中；其次，在把模型做大的过程中，要能加速模型收敛性；最后，在后端的微调算法上探索，提高模型的可用性，把下游任务的精度大大提高。

悟道团队在数据方面也做了很多工作，他们不仅为悟道项目提供了数据支撑，由于来源广泛及多样性，可广泛用于中文 NLP 领域中多种任务的模型训练，并使模型具有更好的泛化性。所有的NLP任务都是生成任务，唐杰认为超大规模预训练模型有三个关键：首先，模型本身，这也是团队智慧的体现；其次，大算力；第三，高质量的数据。

此外，悟道文汇团队还提出了全新的预训练范式GLM，以生成为核心，打破BERT和GPT瓶颈，同时在语言理解、生成和Seq2Seq任务上取得最佳性能。