预训练语言模型通常在大规模无监督语料库上进行训练，以学习语言的通用表示，而不是依赖于标注数据。这种模型可以用于各种下游任务的微调。