GPT(Generative Pre-trained Transformer)全称天生式预训练变形器，是一种基于深度学习的模子架构，来自于人工智能领域的自然语言处置手艺。GPT模子的焦点是Transformer结构，通过预先训练大量的语言模子数据，可以在种种义务上举行迁徙学习，普遍应用于文本天生、机械翻译、对话系统等领域。
GPT模子的设计理念是通过使用Transformer编码器-解码器架构来处置输入序列，其中编码器认真将输入文本编码为示意，解码器认真从示意中天生输出，可以实现对自然语言的处置和明晰。GPT模子的优势在于能够处置大规模的语料库数据，通过学习大量的语言模子，模子可以自动天生连贯、有逻辑的文本内容。
GPT模子在语言天生、文本摘要、机械翻译等义务中取得了很好的效果。例如，在文本摘要领域，GPT模子可以通过展望下一个最可能的单词或短语，天生与原文相关的摘要内容；在机械翻译领域，GPT模子可以通过学习多种语言对之间的对应关系，实现准确的翻译。