AI大模型之旅-大模型中的input_ids,自注意力机制，灾难性遗忘

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
inputs = tokenizer(text, return_tensors="pt").to(device)
  output = model.generate(
        inputs.input_ids, 
        max_length=max_length, 
        do_sample=do_sample, 
        temperature=temperature, 
        top_p=top_p, 
        top_k=top_k
    )

什么是input_ids

input_ids 是语言模型生成过程中的核心，它表示了输入文本在经过**分词器（Tokenizer）**处理后的 token 序列
语言模型（如 GPT 系列）确实是通过这种序列来理解上下文和关联的

为什么 input_ids 能捕捉到关联性？

语言模型（如 GPT-3）基于自回归模型或**自注意力机制（Transformer）**来生成文本，它们会根据输入的 token 序列来预测下一个 token。这就是为什么 input_ids 不仅仅是单独的输入，而是模型用来理解上下文的一个核心机制。

1. 上下文理解和关联性