h1773655323的博客

在信息检索和NLP处理中，embedding和rerank模型是两种常见的技术，它们通常用于提高搜索引擎、推荐系统和其他相关应用的性能和准确性。

【代码】Embedding和Rerank模型类模板。

ValueError: The model's max seq len (19008) is larger than the maximum number of tokens that can be stored in KV cache (3840). Try increasing `gpu_memory_utilization` or decreasing `max_model_len` when initializing the engine.

在开始使用VLLM库之前，首先需要确保安装正确的版本。以下指南将帮助你完成安装和配置。

这个问题卡了有一天的时间，后来，在对于torch的每个版本进行测试后，发现torch 2.2会出现这个问题，将版本降到torch 2.1.0就可以解决。

近年来，语言模型（LLM）作为Agent的应用在人工智能领域引起了广泛关注。这些Agent不仅能理解和生成自然语言，还能在复杂场景中执行一系列操作。本文将通过具体的例子探讨几种主要的Agent类型，并分析它们的应用、挑战和未来发展。