Transformer 是預訓練語言模型 (PLM) 的基礎架構。它徹底改變了機器學習的建構和訓練方式，透過自監督學習技術，使模型能夠有效地從大型資料集中學習，從而改變了自然語言處理 (NLP) 領域。
Transformer 模型旨在處理序列數據，並利用自註意力機制來衡量句子中不同字詞的重要性，這使其能夠捕捉語言中複雜的關係和依賴性，這對理解上下文至關重要。
預訓練語言模型：BERT 和 GPT 等模型皆基於 Transformer 架構建構，例如，BERT 使用 Transformer 的編碼器部分進行遮罩語言建模，而 GPT 使用解碼器進行因果語言建模，這兩種模型都充分利用了Transformer的優勢，在各種自然語言處理（NLP），包括文字生成、翻譯和摘要等任務中，實現了高效能。
在預訓練語言模型（PLM）中使用Transformer可以有效率地訓練大型資料集，考慮到大量未標註文字的存在，這一點至關重要。這種效率相比先前的架構如循環神經網路（RNN），前者具有顯著優勢，RNN在捕捉長程依賴關係方面效率較低，並且需要順序處理。
一言以蔽之，Transformer是開發預訓練語言模型的基礎框架，它促進了NLP的發展，並使得在各種任務中以最少的額外訓練實現高效能成為可能。
