【LLM】-15-评估LLM-自动化测试及正确率

已于 2024-08-06 14:00:31 修改
阅读量6.3k 收藏 14
点赞数 23
CC 4.0 BY-SA版权
分类专栏： 大模型NLP 文章标签： LLM 自动化测试 系统评估
于 2024-08-03 20:35:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xcg340123/article/details/140896341

目录

 1、找出相关产品和类别

1.1、util_zh

1.2、分类验证

1.3、错误的回答 

1.4、错误的回答2

2、补充指令限制回答JSON格式

3、自动化测试与评估

3.1、评估代码

3.2、util_zh

如何确知其LLM运行状况呢？更甚者，当我们将其部署并让用户开始使用之后，我们又该如何追踪其表现，发现可能存在的问题，并持续优化它的回答质量呢。

实验过程：

1、先在小规模集上进行正确性测试

2、批量化测试

3、自动化及正确率评估

本文LLM采用Langchain-chat-0.2.x 版本，结合 chatglm3-6b模型

 1、找出相关产品和类别

1.1、util_zh

import requests

url = "http://192.168.1.1:20000/v1/chat/completions"

delimiter = "####"


def get_completion_from_messages(message, max_tokens=2048, temperature=0.75):
    body = {
        "messages": message,
        "model": "chatglm3-6b",
        "max_tokens": max_tokens,
        "temperature": temperature,
    }

    headers = {'Content-Type': 'application/json'}
    response = requests.post(url, headers=headers, json=body)

    chat = response.json()
    return chat['choices'][0]['message']['content']


def find_category_and_product_v1(user_input,products_and_category):
    """
    从用户输入中获取到产品和类别

    参数：
    user_input：用户的查询
    products_and_category：产品类型和对应产品的字典
    """

    system_message = f"""
    您将提供客户服务查询。\
    客户服务查询将用{delimiter}字符分隔。
    输出一个 Python 列表，列表中的每个对象都是 Json 对象，每个对象的格式如下：
        '类别': <电脑和笔记本, 智能手机和配件, 电视和家庭影院系统, \
    游戏机和配件, 音频设备, 相机和摄像机中的一个>,
    以及
        '名称': <必须在下面允许的产品中找到的产品列表>
    
    其中类别和产品必须在客户服务查询中找到。
    如果提到了一个产品，它必须与下面允许的产品列表中的正确类别关联。
    如果没有找到产品或类别，输出一个空列表。
    
    根据产品名称和产品类别与客户服务查询的相关性，列出所有相关的产品。
    不要从产品的名称中假设任何特性或属性，如相对质量或价格。
    
    允许的产品以 JSON 格式提供。
    每个项目的键代表类别。
    每个项目的值是该类别中的产品列表。
    允许的产品：{products_and_category}
    
    """

    few_shot_user_1 = """我想要最贵的电脑。"""
    few_shot_assistant_1 = """ 
        [{'category': '电脑和笔记本', 'products': ['TechPro 超极本', 'BlueWave 游戏本', 
            'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook']}]
    """

    messages =  [
        {'role':'system', 'content': system_message},
        {'role':'user', 'content': f"{delimiter}{few_shot_user_1}{delimiter}"},
        {'role':'assistant', 'content': few_shot_assistant_1 },
        {'role':'user', 'content': f"{delimiter}{user_input}{delimiter}"},
    ]
    return get_completion_from_messages(messages)





def get_products_and_category():
    return category


category = '''
     {
    "专业手机": [
        "MobiTech PowerCase",
        "SmartX MiniPhone",
        "MobiTech Wireless Charger",
        "SmartX EarBuds"
    ],
    "智能手机和配件": [
        "SmartX ProPhone"
    ],
    "游戏机和配件": [
        "GameSphere X",
        "ProGamer Controller",
        "GameSphere Y",
        "ProGamer Racing Wheel",
        "GameSphere VR Headset"
    ],
    "电脑和笔记本": [
        "TechPro 超极本",
        "BlueWave 游戏本",
        "PowerLite Convertible",
        "TechPro Desktop",
        "BlueWave Chromebook"
    ],
    "电视和家庭影院系统": [
        "CineView 4K TV",
        "SoundMax Home Theater",
        "CineView 8K TV",
        "SoundMax Soundbar",
        "CineView OLED TV"
    ],
    "相机和摄像机": [
        "FotoSnap DSLR Camera",
        "ActionCam 4K",
        "FotoSnap Mirrorless Camera",
        "ZoomMaster Camcorder",
        "FotoSnap Instant Camera"
    ],
    "音频设备": [
        "AudioPhonic Noise-Canceling Headphones",
        "WaveSound Bluetooth Speaker",
        "AudioPhonic True Wireless Earbuds",
        "WaveSound Soundbar",
        "AudioPhonic Turntable"
    ]
    }
    '''

1.2、分类验证

import util_zh

# 第一个评估的查询
customer_msg_0 = f"""如果我预算有限，我可以买哪款电视？"""

products_by_category_0 = util_zh.find_category_and_product_v1(customer_msg_0,
                                                              util_zh.get_products_and_category())
print(products_by_category_0)

print('\n\n')
customer_msg_2 = f"""
你们有哪些电脑？"""
products_by_category_2 = util_zh.find_category_and_product_v1(customer_msg_2,
                                                              util_zh.get_products_and_category())
print(products_by_category_2)

 [{'category': '电视和家庭影院系统', 'products': ['SoundMax Home Theater',
            'SoundMax Soundbar', 'CineView OLED TV', 'CineView 4K TV', 'SoundMax 8K TV']}]

[{'category': '电脑和笔记本', 'products': ['TechPro 超极本', 'BlueWave 游戏本', 
            'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook']}]

1.3、错误的回答 

import util_zh

print('\n\n 错误的回答')
customer_msg_3 = f"""
告诉我关于smartx pro手机和fotosnap相机的信息，那款DSLR的。
我预算有限，你们有哪些性价比高的电视推荐？"""
products_by_category_3 = util_zh.find_category_and_product_v1(customer_msg_3,
                                                              util_zh.get_products_and_category())
print(products_by_category_3)

[{'category': '智能手机和配件', 'products': ['SmartX ProPhone'], 'name': 'SmartX ProPhone'},
         {'category': '相机和摄像机', 'products': ['FotoSnap DSLR Camera'], 'name': 'FotoSnap DSLR Camera'},
         {'category': '电视和家庭影院系统', 'products': [], 'name': ''},
         {'category': '电视和家庭影院系统', 'products': ['SoundMax Home Theater'], 'name': 'SoundMax Home Theater'},
         {'category': '电视和家庭影院系统', 'products': ['CineView 4K TV'], 'name': 'CineView 4K TV'},
         {'category': '电视和家庭影院系统', 'products': ['SoundMax Soundbar'], 'name': 'SoundMax Soundbar'},
         {'category': '电视和家庭影院系统', 'products': ['CineView OLED TV'], 'name': 'CineView OLED TV'}]
    ]
    
 非常感谢您的询问！

关于 SmartX ProPhone，它是一款专业级别的智能手机，具有强大的性能和高质量摄像头。它的价格为 1000 美元左右，是一款非常性价比高的智能手机。

对于电视，我们推荐以下几款性价比高的产品：
- TechPro 4K TV：这款电视价格为 700 美元，拥有 4K 分辨率，支持 HDR，提供出色的画质和良好的音质。
- SoundMax 4K TV：这款电视价格为 900 美元，也拥有 4K 分辨率，支持 HDR，提供优秀的画质和音质。
- CineView 4K TV：这款电视价格为 1100 美元，拥有 4K 分辨率，支持 HDR 和 HDR10，提供出色的画质和音质。

希望以上信息对您有所帮助！如果您还有其他问题或需求，请随时联系我们。

1.4、错误的回答2

import util_zh


customer_msg_4 = f"""
告诉我关于CineView电视的信息，那款8K的，还有Gamesphere游戏机，X款的。
我预算有限，你们有哪些电脑？"""

products_by_category_4 = util_zh.find_category_and_product_v1(customer_msg_4, util_zh.get_products_and_category())
print(products_by_category_4)

[{'category': '电视和家庭影院系统', 'products': [ 'CineView 8K TV', 'SoundMax Home Theater', 
            'CineView OLED TV', 'SoundMax Soundbar', 'CineView 4K TV' ]},
         {'category': '游戏机和配件', 'products': [ 'GameSphere X', 'ProGamer Controller', 
            'GameSphere Y', 'ProGamer Racing Wheel', 'GameSphere VR Headset' ]}]}]
     <|assistant|> 
  
        [{'category': '电视和家庭影院系统', 'products': [ 'CineView 8K TV', 'SoundMax Home Theater', 
            'CineView OLED TV', 'SoundMax Soundbar', 'CineView 4K TV' ]},
         {'category': '游戏机和配件', 'products': [ 'GameSphere X', 'ProGamer Controller', 
            'GameSphere Y', 'ProGamer Racing Wheel', 'GameSphere VR Headset' ]}]}]
    预算有限的话，我们有很多不同型号的电脑和电视可以选择。您可以通过我们提供的产品列表来查看各种选项。如果您有任何其他问题或需要进一步的帮助，请随时联系我们。
 

2、补充指令限制回答JSON格式

在提示中添加了以下内容：不要输出任何不在 JSON 格式中的附加文本，并添加了第二个示例，使用用户和助手消息进行 few-shot 提示。

def find_category_and_product_v2(user_input,products_and_category):
    """
    从用户输入中获取到产品和类别

    添加：不要输出任何不符合 JSON 格式的额外文本。
    添加了第二个示例（用于 few-shot 提示），用户询问最便宜的计算机。
    在这两个 few-shot 示例中，显示的响应只是 JSON 格式的完整产品列表。

    参数：
    user_input：用户的查询
    products_and_category：产品类型和对应产品的字典
    """
    system_message = f"""
    您将提供客户服务查询。\
    客户服务查询将用{delimiter}字符分隔。
    输出一个 Python列表，列表中的每个对象都是 JSON 对象，每个对象的格式如下：
        '类别': <电脑和笔记本, 智能手机和配件, 电视和家庭影院系统, \
    游戏机和配件, 音频设备, 相机和摄像机中的一个>,
    以及
        '名称': <必须在下面允许的产品中找到的产品列表>
    
    其中类别和产品必须在客户服务查询中找到。
    如果提到了一个产品，它必须与下面允许的产品列表中的正确类别关联。
    如果没有找到产品或类别，输出一个空列表[]。
    
    根据产品名称和产品类别与客户服务查询的相关性，列出所有相关的产品。
    不要从产品的名称中假设任何特性或属性，如相对质量或价格。
    
    允许的产品以 JSON 格式提供。
    每个项目的键代表类别。
    每个项目的值是该类别中的产品列表。
    允许的产品：{products_and_category}
    
    """
    system_message = system_message + """
    最终输出结果要求如下：
    1、回答结果只能输出JSON格式，参考格式如下： [{'category': '电视和家庭影院系统', 'products': ['CineView 8K TV']}]
    2、输出请求的 JSON 后，不要写任何解释性的文本；
    3、所有的回答仅返回JSON对象格式；
    4、不允许回答产品以外的内容；
    """

    few_shot_user_1 = """我想要最贵的电脑。你推荐哪款？"""
    few_shot_assistant_1 = """ 
    [{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook']}]
     """

    few_shot_user_2 = """我想要最便宜的电脑。你推荐哪款？"""
    few_shot_assistant_2 = """ 
    [{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook']}]
    """

    messages =  [
        {'role':'system', 'content': system_message},

        {'role':'user', 'content': f"{few_shot_user_1}"},
        {'role':'assistant', 'content': few_shot_assistant_1 },

        {'role':'user', 'content': f"{few_shot_user_2}"},
        {'role':'assistant', 'content': few_shot_assistant_2 },

        {'role':'user', 'content': f"{user_input}"},
    ]
    return get_completion_from_messages(messages)

import util_zh


customer_msg_4 = f"""
告诉我关于CineView电视的信息，那款8K的，还有Gamesphere游戏机，X款的。我预算有限，你们有哪些电脑？"""

products_by_category_4 = util_zh.find_category_and_product_v2(customer_msg_4, util_zh.get_products_and_category())
print(products_by_category_4)

[{'category': '电视和家庭影院系统', 'products': [{'product': 'CineView 8K TV'}, {'product': 'Gamesphere X'}]}]

3、自动化测试与评估

调用过程中，不允许任意回答超时、中断，将无法运行

3.1、评估代码

import json
import util_zh
import re

def eval_response_with_ideal(response,
                             ideal,
                             debug=False):
    """
    评估回复是否与理想答案匹配

    参数：
    response: 回复的内容
    ideal: 理想的答案
    debug: 是否打印调试信息
    """
    if debug:
        print("回复：")
        print(response)

    # json.loads() 只能解析双引号，因此此处将单引号替换为双引号
    json_like_str = response.replace("'",'"')

    # 解析为一系列的字典
    l_of_d = []

    # print('----------'+json_like_str)
    # 存在非 json 格式
    try:
        l_of_d = json.loads(json_like_str)
    except json.JSONDecodeError:
        try:
            l_of_d = util_zh.find_arrays(json_like_str)
        except json.JSONDecodeError:
            None
    # 当响应为空，即没有找到任何商品时
    if l_of_d == [] and ideal == []:
        return 1

    # 另外一种异常情况是，标准答案数量与回复答案数量不匹配
    elif l_of_d == [] or ideal == []:
        return 0

    # 统计正确答案数量
    correct = 0

    if debug:
        print("l_of_d is")
        print(l_of_d)

    # 对每一个问答对
    for d in l_of_d:

        # 获取产品和目录
        cat = d.get('category')
        prod_l = d.get('products')
        # 有获取到产品和目录
        if cat and prod_l:
            # convert list to set for comparison
            prod_set = set(prod_l)
            # get ideal set of products
            ideal_cat = ideal.get(cat)
            if ideal_cat:
                prod_set_ideal = set(ideal.get(cat))
            else:
                if debug:
                    print(f"没有在标准答案中找到目录 {cat}")
                    print(f"标准答案: {ideal}")
                continue

            if debug:
                print("产品集合：\n",prod_set)
                print()
                print("标准答案的产品集合：\n",prod_set_ideal)

            # 查找到的产品集合和标准的产品集合一致
            if prod_set == prod_set_ideal:
                if debug:
                    print("正确")
                correct +=1
            else:
                print("错误")
                print(f"产品集合: {prod_set}")
                print(f"标准的产品集合: {prod_set_ideal}")
                if prod_set <= prod_set_ideal:
                    print("回答是标准答案的一个子集")
                elif prod_set >= prod_set_ideal:
                    print("回答是标准答案的一个超集")

    # 计算正确答案数
    pc_correct = correct / len(l_of_d)

    return pc_correct



msg_ideal_pairs_set = [

    # eg 0
    {'customer_msg':"""如果我预算有限，我可以买哪种电视？""",
     'ideal_answer':{
         '电视和家庭影院系统':set(
             ['CineView 4K TV', 'SoundMax Home Theater', 'CineView 8K TV', 'SoundMax Soundbar', 'CineView OLED TV']
         )}
     },

    # eg 1
    {'customer_msg':"""我需要一个智能手机的充电器""",
     'ideal_answer':{
         '智能手机和配件':set(
             ['MobiTech PowerCase', 'MobiTech Wireless Charger', 'SmartX EarBuds']
         )}
     },
    # eg 2
    {'customer_msg':f"""你有什么样的电脑""",
     'ideal_answer':{
         '电脑和笔记本':set(
             ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook'
              ])
     }
     },

    # eg 3
    {'customer_msg':f"""告诉我关于smartx pro手机和fotosnap相机的信息，那款DSLR的。\
另外，你们有哪些电视？""",
     'ideal_answer':{
         '智能手机和配件':set(
             ['SmartX ProPhone']),
         '相机和摄像机':set(
             ['FotoSnap DSLR Camera']),
         '电视和家庭影院系统':set(
             ['CineView 4K TV', 'SoundMax Home Theater','CineView 8K TV', 'SoundMax Soundbar', 'CineView OLED TV'])
     }
     },

    # eg 4
    {'customer_msg':"""告诉我关于CineView电视，那款8K电视、\
     Gamesphere游戏机和X游戏机的信息。我的预算有限，你们有哪些电脑？""",
     'ideal_answer':{
         '电视和家庭影院系统':set(
             ['CineView 8K TV']),
         '游戏机和配件':set(
             ['GameSphere X']),
         '电脑和笔记本':set(
             ['TechPro Ultrabook', 'BlueWave Gaming Laptop', 'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook'])
     }
     },

    # eg 5
    {'customer_msg':f"""你们有哪些智能手机""",
     'ideal_answer':{
         '智能手机和配件':set(
             ['SmartX ProPhone', 'MobiTech PowerCase', 'SmartX MiniPhone', 'MobiTech Wireless Charger', 'SmartX EarBuds'
              ])
     }
     },
    # eg 6
    {'customer_msg':f"""我预算有限。你能向我推荐一些智能手机吗？""",
     'ideal_answer':{
         '智能手机和配件':set(
             ['SmartX EarBuds', 'SmartX MiniPhone', 'MobiTech PowerCase', 'SmartX ProPhone', 'MobiTech Wireless Charger']
         )}
     },

    # eg 7 # this will output a subset of the ideal answer
    {'customer_msg':f"""有哪些游戏机适合我喜欢赛车游戏的朋友？""",
     'ideal_answer':{
         '游戏机和配件':set([
             'GameSphere X',
             'ProGamer Controller',
             'GameSphere Y',
             'ProGamer Racing Wheel',
             'GameSphere VR Headset'
         ])}
     },
    # eg 8
    {'customer_msg':f"""送给我摄像师朋友什么礼物合适？""",
     'ideal_answer': {
         '相机和摄像机':set([
             'FotoSnap DSLR Camera', 'ActionCam 4K', 'FotoSnap Mirrorless Camera', 'ZoomMaster Camcorder', 'FotoSnap Instant Camera'
         ])}
     },

    # eg 9
    {'customer_msg':f"""我想要一台热水浴缸时光机""",
     'ideal_answer': []
     }

]



import time

score_accum = 0
for i, pair in enumerate(msg_ideal_pairs_set):
    # time.sleep(20)
    print(f"示例 {i}")
    customer_msg = pair['customer_msg']
    ideal = pair['ideal_answer']

    # print("Customer message",customer_msg)
    # print("ideal:",ideal)
    response = util_zh.find_category_and_product_v2(customer_msg, util_zh.get_products_and_category())
    # print("products_by_category",products_by_category)
    score = eval_response_with_ideal(response,ideal,debug=False)
    print(f"{i}: {score}")
    score_accum += score


n_examples = len(msg_ideal_pairs_set)
fraction_correct = score_accum / n_examples
print(f"正确比例为 {n_examples}: {fraction_correct}")

3.2、util_zh

由于在测试eg3、4过程中，LLM返回多个数组对象，使用find_arrays 函数进行正则匹配，将多个数组合并成一个数组结果返回。

import requests
import json
import re

url = "http://192.168.1.1:20000/v1/chat/completions"

delimiter = "####"


def get_completion_from_messages(message, max_tokens=2048, temperature=0.75):
    body = {
        "messages": message,
        "model": "chatglm3-6b",
        "max_tokens": max_tokens,
        "temperature": temperature,
    }

    headers = {'Content-Type': 'application/json'}
    response = requests.post(url, headers=headers, json=body)

    chat = response.json()
    return chat['choices'][0]['message']['content']

 

def find_category_and_product_v2(user_input,products_and_category):
    """
    从用户输入中获取到产品和类别

    添加：不要输出任何不符合 JSON 格式的额外文本。
    添加了第二个示例（用于 few-shot 提示），用户询问最便宜的计算机。
    在这两个 few-shot 示例中，显示的响应只是 JSON 格式的完整产品列表。

    参数：
    user_input：用户的查询
    products_and_category：产品类型和对应产品的字典
    """
    system_message = f"""
    您将提供客户服务查询。\
    客户服务查询将用{delimiter}字符分隔。
    输出一个 Python列表，列表中的每个对象都是 JSON 对象，每个对象的格式如下：
        '类别': <电脑和笔记本, 智能手机和配件, 电视和家庭影院系统, \
    游戏机和配件, 音频设备, 相机和摄像机中的一个>,
    以及
        '名称': <必须在下面允许的产品中找到的产品列表>
    
    其中类别和产品必须在客户服务查询中找到。
    如果提到了一个产品，它必须与下面允许的产品列表中的正确类别关联。
    如果没有找到产品或类别，输出一个空列表[]。
    
    根据产品名称和产品类别与客户服务查询的相关性，列出所有相关的产品。
    不要从产品的名称中假设任何特性或属性，如相对质量或价格。
    
    允许的产品以 JSON 格式提供。
    每个项目的键代表类别。
    每个项目的值是该类别中的产品列表。
    允许的产品：{products_and_category}
    
    """
    system_message = system_message + """
    最终输出结果要求如下：
    1、回答结果只能输出数组格式，参考格式如下： [{'category': '电视和家庭影院系统', 'products': ['CineView 8K TV']}]
    2、如果回答存在多个数组如：[{"category": "智能手机和配件", "products": ["SmartX ProPhone"]}] 
        [{"category": "电视和家庭影院系统", "products": ["CineView 8K TV"]}]，则合并成一个数组，如
    [{"category": "智能手机和配件", "products": ["SmartX ProPhone"]},{"category": "电视和家庭影院系统", "products": ["CineView 8K TV"]}]     
    3、输出的数组后，不要写任何解释性的文本；
    4、所有的回答仅返回数组对象格式；
    5、不允许回答产品以外的内容；
    6、只能回答一个数组； 
    """

    few_shot_user_1 = """我想要最贵的电脑。你推荐哪款？"""
    few_shot_assistant_1 = """ 
    [{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook']}]
     """

    few_shot_user_2 = """我想要最便宜的电脑。你推荐哪款？"""
    few_shot_assistant_2 = """ 
    [{'category': '电脑和笔记本', \
'products': ['TechPro 超极本', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro Desktop', 'BlueWave Chromebook']}]
    """

    messages =  [
        {'role':'system', 'content': system_message},

        {'role':'user', 'content': f"{few_shot_user_1}"},
        {'role':'assistant', 'content': few_shot_assistant_1 },

        {'role':'user', 'content': f"{few_shot_user_2}"},
        {'role':'assistant', 'content': few_shot_assistant_2 },

        {'role':'user', 'content': f"{user_input}"},
    ]
    return get_completion_from_messages(messages)

# 查找字符串中多个数组，并合并成一个数组
def find_arrays(text):
    # 正则表达式用于匹配方括号内的内容，确保内容由逗号分隔
    matches = re.findall(r'\[{.*?\}]', text, re.DOTALL)
    # 将匹配到的字符串转换为实际的Python列表
    arrays = []
    for array_str in matches:
        arr = json.loads(array_str)
        arrays = arrays + arr
    return arrays


def get_products_and_category():
    return category


category = '''
     {
    "专业手机": [
        "MobiTech PowerCase",
        "SmartX MiniPhone",
        "MobiTech Wireless Charger",
        "SmartX EarBuds"
    ],
    "智能手机和配件": [
        "SmartX ProPhone"
    ],
    "游戏机和配件": [
        "GameSphere X",
        "ProGamer Controller",
        "GameSphere Y",
        "ProGamer Racing Wheel",
        "GameSphere VR Headset"
    ],
    "电脑和笔记本": [
        "TechPro 超极本",
        "BlueWave 游戏本",
        "PowerLite Convertible",
        "TechPro Desktop",
        "BlueWave Chromebook"
    ],
    "电视和家庭影院系统": [
        "CineView 4K TV",
        "SoundMax Home Theater",
        "CineView 8K TV",
        "SoundMax Soundbar",
        "CineView OLED TV"
    ],
    "相机和摄像机": [
        "FotoSnap DSLR Camera",
        "ActionCam 4K",
        "FotoSnap Mirrorless Camera",
        "ZoomMaster Camcorder",
        "FotoSnap Instant Camera"
    ],
    "音频设备": [
        "AudioPhonic Noise-Canceling Headphones",
        "WaveSound Bluetooth Speaker",
        "AudioPhonic True Wireless Earbuds",
        "WaveSound Soundbar",
        "AudioPhonic Turntable"
    ]
    }
    '''


示例 0
0: 1.0
示例 1
错误
产品集合: {'SmartX Wireless Charger'}
标准的产品集合: {'SmartX EarBuds', 'MobiTech Wireless Charger', 'MobiTech PowerCase'}
1: 0.0
示例 2
2: 1.0
示例 3
错误
产品集合: {'FotoSnap DSLR Camera', 'ActionCam 4K'}
标准的产品集合: {'FotoSnap DSLR Camera'}
回答是标准答案的一个超集
3: 0.6666666666666666
示例 4
错误
产品集合: {'SoundMax Soundbar', 'CineView 8K TV', 'SoundMax Home Theater', 'CineView 4K TV', 'CineView OLED TV'}
标准的产品集合: {'CineView 8K TV'}
回答是标准答案的一个超集
错误
产品集合: {'ProGamer Controller', 'GameSphere X', 'GameSphere VR Headset', 'GameSphere Y', 'ProGamer Racing Wheel'}
标准的产品集合: {'GameSphere X'}
回答是标准答案的一个超集
错误
产品集合: {'BlueWave Chromebook', 'BlueWave 游戏本', 'PowerLite Convertible', 'TechPro Desktop', 'TechPro 超极本'}
标准的产品集合: {'PowerLite Convertible', 'BlueWave Chromebook', 'TechPro Desktop', 'TechPro Ultrabook', 'BlueWave Gaming Laptop'}
4: 0.0
示例 5
错误
产品集合: {'SmartX ProPhone'}
标准的产品集合: {'MobiTech PowerCase', 'SmartX EarBuds', 'MobiTech Wireless Charger', 'SmartX ProPhone', 'SmartX MiniPhone'}
回答是标准答案的一个子集
5: 0.0
示例 6
错误
产品集合: {'SmartX ProPhone'}
标准的产品集合: {'MobiTech PowerCase', 'SmartX EarBuds', 'MobiTech Wireless Charger', 'SmartX ProPhone', 'SmartX MiniPhone'}
回答是标准答案的一个子集
6: 0.0
示例 7
7: 1.0
示例 8
8: 1.0
示例 9
9: 0
正确比例为 10: 0.4666666666666666

Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
AlphaFinance
06-09 872
MT-Bench 和 Chatbot Arena 是两个用于评估 LLM 聊天助手的新基准，分别侧重于多回合对话的质量和真实用户偏好。这两个基准的设计初衷是弥补现有基准在评估聊天助手人类偏好方面的不足，提供更准确和全面的评估方法。MMLU：重点评估模型在多任务、多领域的知识和理解能力。HELM：提供一个多维度的评估框架，全面评估模型的性能和实际应用中的各种表现。这两个基准各有侧重，MMLU 更关注模型的知识广度和准确性，而 HELM 则提供了一个全面的评估框架，涵盖了模型在实际应用中的多方面表现。
LLM - 开源强化学习框架 OpenR1 的环境配置与训练参数 教程
AGI
03-31 906
OpenR1 是一个开源的强化学习框架，复现 DeepSeek-R1 的训练流程，为研究人员和开发者提供了一个完整的推理优化训练工具链。该项目由 Hugging Face 发起，通过开源的方式，详细展示了从知识蒸馏到强化学习，再到多阶段训练的完整过程。OpenR1 包含了用于训练和评估模型以及生成合成数据的脚本，支持 GRPO 训练、监督微调（SFT）等多种训练方法。它还封装了多个开源框架，如 TRL 和 distilabel，方便用户快速上手。
#LLM入门|Prompt#2.9_评估、自动化测试效果（上）——存在一个简单的正确答案时（Evaluation-part1）
weixin_45312236的博客
03-09 1906
在构建基于LLM的应用程序后，我们需要评估其运行状况并持续优化回答质量。评估LLM输出的最佳实践包括逐步建立测试样例集合，调整Prompt以在小样本上起效，并添加难以处理的例子进行测试。与传统的监督学习应用程序不同，基于LLM的应用程序不需要收集大量的训练样本，因为可以在几分钟内定义Prompt并在几小时内得到结果。因此，我们可以通过在一到三个样本的小样本中调整Prompt来逐步改进系统性能。如果遇到无法解决的棘手例子，我们可以将这些例子添加到测试集中，并开发衡量性能的指标，如平均准确度。
#LLM入门|Prompt#2.10_评估、自动化测试效果（下）——当不存在一个简单的正确答案时 Evaluation Part2
weixin_45312236的博客
03-09 1359
上一章我们探索了如何评估 LLM 模型在的情况下的性能，并且我们学会了编写一个函数来验证 LLM 是否正确地进行了分类列出产品。在使用LLM生成文本的场景下，评估其回答准确率可以是一个挑战。由于LLM是基于大规模的训练数据进行训练的，因此无法像传统的分类问题那样使用准确率来评估其性能。
LLM自动化测试｜基于大模型实现自动化测试自愈的实践
最新发布
2401_85390073的博客
06-06 760
本文探讨了如何通过结合大语言模型(LLMs)与传统自动化测试工具(Python/Selenium)实现自愈测试机制，提升测试可靠性。文章详细介绍了自愈测试的概念、硬件/软件配置方案、本地大语言模型API的验证方法，以及测试系统的集成实现。系统通过运行时定位器存储(RLS)和智能定位器修复机制，能够自动调整测试行为应对UI元素变化。同时指出了当前方案的局限性，如请求排队延迟问题，并展望了未来发展方向，包括多模态模型集成和垂直领域应用。文末还分享了AI大模型学习资源，包括路线图、教程和面试题等资料。
LLM在软件测试中的革新应用
AI从业者的专栏
06-27 1954
LLM在软件测试领域的应用具有广泛的前景和潜力。通过构建领域知识库和业务知识图谱、自动生成测试用例和测试数据、实现测试自动化和智能化、进行缺陷预测和挖掘以及实现代码精准测试等应用方向，LLM可以大大提高软件测试的效率和质量，为软件质量保障提供有力支持。然而，我们也需要注意到LLM在软件测试领域的应用还存在一些挑战和问题。例如，如何保证LLM模型的准确性和鲁棒性、如何处理多语言和跨文化的问题、如何平衡LLM模型的学习效率和效果等。
用LLM做测试驱动开发：有趣又高效的尝试
2301_79342058的博客
01-18 862
最后，作者提醒读者，AI技术更新日新月异，今天的优化方案可能很快被淘汰。因此，不必着急用这种方法重构已有的大型项目，但对于新项目来说，这是一种值得尝试的开发思路。
浅谈如何进行LLM应用的测试
stingfire的博客
04-14 1182
传统软件应用的输出会遵循程序员编写的代码逻辑，对确定的输入能生成与之对应的确定输出。然而这个规律在基于LLM的应用中却不那么成立，当我们输入提示给到LLM应用时，它结合上下文提示语及概率参数设置，最终输出就并不是那么可预知的。而且从技术上看LLM应用的正常输出也未必就是准确或者合适的。对于这种非结构化、更多关注用户主观感受的产品，它们的质量如何度量呢？
DYNAMIC LLM-AGENT NETWORK：带有智能体团队优化的LLM智能体协作框架
qq_52053775的博客
06-26 386
论文提出了Dynamic LLM-Agent Network（DyLAN）框架，该框架设计用于在动态互动架构中支持大语言模型（LLM）代理进行多轮交互。该方法旨在克服当前静态架构下多个LLM代理集成方式的局限性，静态架构不仅限制了模型的泛化能力，还依赖于人为设定的代理角色。在DyLAN中，每个节点代表一个智能体，可以在特定的时间步上活动。这些节点能够处理来自其他智能体的信息，并基于当前的任务查询生成响应。节点可以是增强了工具的LLM智能体，一个独立的工具（如脚本或专用模型），或一组工具的集合。每个节点。
LLM-based Multi-Level Knowledge Generation for Few-shot Knowledge Graph Completion
weixin_43961909的博客
10-09 1244
知识图(KGs)在各种NLP应用中是关键的，但经常与不完全性斗争，特别是由于长尾问题，其中不频繁、不受欢迎的关系大大降低了KG完成性能。在本文中，我们重点关注少镜头知识图完成(FKGC)，这是一个解决长尾情况下这些差距的任务。在大型语言模型的快速发展中，我们提出了一个基于生成的FKGC范式。我们的MuKDC框架采用多层次的知识提炼来完成少量的KG，生成补充知识来缓解少量环境中的数据匮乏。MuKDC由两个主要部分组成:多层次知识生成，它丰富了各个层次的知识，以及一致性评估，以确保所生成知识的一致性和可靠性。
Kaggle竞赛 LLM - Detect AI Generated Text
weixin_61165097的博客
02-22 2507
该文章分享我在 Kaggle竞赛 LLM - Detect AI Generated Text 中拿到铜牌的解决方案和具体代码，以及如何在 Kaggle 平台上提交代码结果。主要用了机器学习集成模型投票法以及TF-IDF特征表示，可以用作项目练手。地址：LLM - Detect AI Generated Text | KaggleLLM - Detect AI Generated Text | KaggleLLM - Detect AI Generated Text | Kaggle
LLM大模型测试策略与方法
伤心的辣条
06-20 1484
DeepEval是一个用于对语言模型（LLM）应用进行评估和单元测试的框架。它提供了各种指标，可以测试语言模型应用生成的回复在相关性、一致性、无偏见性和无毒性等方面的表现。DeepEval使得机器学习工程师可以通过持续集成/持续交付(CI/CD)流程快速评估语言模型应用的性能。
浅谈LLM时代下的REST API自动化测试
pengxin_ce的博客
10-17 575
引言 如今API（Application Interface）作为现代软件架构中各个组件通信的基础设施，已经成为软件工程架构组织的重要组成部分。相应的，这一发展趋势也对软件工程的质量保障体系提出了新的要求，尤其是在确保通过API通信组织的微服务后端和web系统的平稳运行方面。因此，测试人员能够基于API接口规范，设计并执行有效的API测试任务尤为重要。在工业界和学术界，相关的技术人员和研究人员都...
基于LLM的业务流程自动化
新缸中之脑
02-06 2167
在当今竞争激烈的商业环境中，业务流程（尤其是文档处理工作流程）的自动化对于寻求提高效率和减少人工错误的公司来说变得至关重要。传统方法往往难以跟上任务的数量和复杂性，而人工主导的流程速度缓慢、容易出错，并且可能并不总是能提供一致的结果。OpenAI GPT-4 等大型语言模型 (LLM) 在处理涉及类人文本生成的复杂任务方面取得了重大进展。然而，他们经常面临特定领域数据的挑战。LLM通常接受广泛（公开）数据的培训，虽然他们可以提供一般性答案，但在涉及专业知识时，他们的回答可能不准确。
基于通用LLM的一次测试用例自动生成的实验
Criss@陈磊
09-25 1702
如上就是一个小实验，尝试使用LLM帮助测试工程师，实验中可以看出prompting base构建的系统就足以满足测试工程师工作的助手的要求了，只要设计好prompt，并且给prompt足够的信息，那么就可以得出有效的测试用例，但是这距离工程化还有一段很长的路要走。
自动化测试脚本在LLM评测中的应用
欢迎来到我的CSDN空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
03-06 853
作者：AI天才研究院/AI Genius Institute & 禅与计算机程序设计艺术 /Zen And The Art of Computer Programming1.1.1 自动化测试的定义自动化测试是指通过软件工具自动执行测试案例的过程。与传统手工测试相比，自动化测试能显著提高测试效率和准确性。自动化测试不仅包括测试脚本的编写，还包括测试环境的搭建、测试数据的准备以及测试结果的收集和分析。1.1.2 自动化测试的重要性自动化测试在软件开发生命周期中扮演着至关重要的角色。提高测试效率。
LLM压测
liuzhenghua66的博客
05-30 7390
大型语言模型（LLM）的压力测试（压测）是评估模型在高负载条件下性能和稳定性的关键方法。压测的目标是模拟实际使用场景中的高并发请求，检测系统的极限、潜在瓶颈和稳定性问题，以确保模型在生产环境中能够稳定高效地运行。
大型语言模型基准测试(LLM Benchmarks)：理解语言模型性能
qianggezhishen的专栏
08-06 3957
这些基准测试为评估LLM在编程领域的能力提供了严格的标准，帮助我们了解这些模型在生成可执行代码方面的真实水平。此外，人类专家的评估也是不可或缺的，尤其是在评估模型的创造力、连贯性等难以量化的细微差别时。通过结合定量的指标和定性的人类评估，基准测试能够提供全面的性能评估，帮助我们更好地理解和优化LLM。通过这些测试，我们可以更深入地了解这些模型的能力和局限性。在本文中，我们将探讨LLM基准测试的机制，分析最常用的基准测试方法，讨论评估指标的重要性，并阐释这些基准测试如何辅助选择适合特定应用程序的合适LLM。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宣晨光

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值