GPT是“Generative Pre-training Transformer”的縮寫(xiě)，是一種基于深度學(xué)習(xí)的自然語(yǔ)言處理模型。它采用了Transformer框架和無(wú)監(jiān)督的預(yù)訓(xùn)練方式，可以學(xué)習(xí)自然語(yǔ)言的上下文關(guān)系和語(yǔ)義表達(dá)，從而實(shí)現(xiàn)生成文本、問(wèn)答、語(yǔ)言理解等多種自然語(yǔ)言處理任務(wù)。

GPT-3是目前最先進(jìn)的版本，擁有1.75萬(wàn)億個(gè)參數(shù)，可以進(jìn)行非常精確的語(yǔ)言處理。