多模态中文LLaMA&Alpaca大语言模型.zip

# 中文测试集效果 我们将[LLaVA](https://github.com/haotian-liu/LLaVA)测试集和[OwlEval](https://github.com/X-PLUG/mPLUG-Owl)测试集翻译成了中文，并测试了模型在这两个数据集上的效果。 这里仅提供翻译后的文本，图片数据请移步至原项目地址下载： * `llava_test_zh_questions.json`：由英文LLaVA测试集翻译而来的中文LLaVA测试集 * `owl_test_zh_questions.json`：由英文OwlEval测试集翻译而来的中文OwlEval测试集 VisualCLA在两份测试集上的输出结果： * `llava_visualcla_7b_predictions.json`：VisualCLA 7B模型在中文LLaVA测试集上的输出结果 * `owl_visualcla_7b_predictions.json`：VisualCLA 7B模型在中文OwlEval测试集上的输出结果 为方便查看，下面的表格展示了模型的输出结果，内容与json文件一致。`question_id`与LLaVA和OwlEval原数据集中的`question_id`一一对应： ## LLaVA测试集结果 | <div style='width:80px'>question id</div> | Type | <div style='width:300px'>Instruction</div> | VisualCLA-7B-v0.1 | | -- | -- | --- | --- | | 0 | conv | 图像中的两个手提箱是什么颜色的？ | 图像中的两个手提箱是棕色的。 | | 1 | detail | 全面细致地分析图像。 | 图片上有一个手提箱，上面有各种纸张和贴纸。其中一张纸上写着“请勿触摸”。这似乎是一个警告，表明手提箱可能具有敏感或易碎的部件。手提箱上还附有一张卡片，上面写着“祝你好运”，暗示着它可能是一件珍贵的物品。 | | 2 | complex | 哪些潜在因素能让这些手提箱变得有价值？ | 有几个因素可能使手提箱变得有价值。首先，手提箱的外观，特别是其老式的设计和棕色皮革材料，可以唤起一种怀旧或复古的感觉，这可能会吸引收藏家或那些喜欢古董物品的人。其次，手提箱上的标签和贴纸可能表明它具有历史意义或与特定事件、地点或个人有关。这使得手提箱成为一件珍贵的文物或纪念品，对主人或潜在买家来说特别有价值。最后，手提箱的状况和功能也可能使其更有价值。如果手提箱完好无损，并具有原始的功能，例如锁和扣子，这会增加它的价值。此外，如果手提箱有独特的特征或设计，如复杂的细节或手工制作，则会进一步增强其价值。 | | 3 | conv | 图像中桌子上的主要物体是什么？ | 图像中桌子上的主要物体是盘子和玻璃杯。 | | 4 | detail | 描述以下图像。 | 图片显示了一张摆满脏盘子、杯子和餐具的桌子，上面放着一个空盘子。桌子上还有几个酒瓶和几个杯子。桌子上的一些物品似乎是用过的，比如刀叉勺等餐具。 | | 5 | complex | 最近在这个桌子周围可能发生了什么活动？其后果可能是什么？ | 桌子周围似乎正在进行一场聚会或晚宴，客人们聚在一起享用美食和饮料。一些明显的迹象表明这一点，如盘子里的食物、酒杯、餐具（如刀叉）以及瓶子和玻璃杯中的酒精饮料。桌子上也可能有装饰物品，如蜡烛或其他节日主题的装饰品，这进一步表明这是一次社交活动。然而，由于桌子上只剩下一个空盘子，这可能意味着已经吃完了饭菜或客人们在享受美味佳肴的同时休息了一段时间。此外，桌子上的酒杯和酒瓶表明，客人们可能还喝了一些饮料，但它们被清理干净了。 | | 6 | conv | 图像的主要焦点是什么？ | 图像的主要焦点是一只灰色的猫坐在笔记本电脑上。 | | 7 | detail | 这张照片是关于什么的？ | 图片显示，一只灰色的猫坐在打开的笔记本电脑上。这只猫似乎在盯着屏幕上的内容，可能是在观察或好奇地探索。笔记本电脑位于桌子上，周围是各种书籍和一个杯子。 | | 8 | complex | 猫对笔记本电脑感兴趣的原因可能是什么？ | 猫对笔记本电脑感兴趣可能有几个原因。它可能是因为笔记本电脑发出的温暖或声音，这吸引了猫的注意。此外，猫可能会被笔记本电脑屏幕上的移动图像、视频或其他视觉刺激所吸引。或者，猫可能只是觉得笔记本电脑是一张舒适的床，因为它可以蜷缩在上面，并享受电脑发出的声音和温暖。猫经常寻找舒适和安全的地方休息和睡觉，所以它可能会把笔记本电脑当成一个临时的休息场所。 | | 9 | conv | 图片中的狗是什么颜色的？ | 这张图片显示了一只黑色的狗躺在地板上。 | | 10 | detail | 描述以下图像。 | 这张照片显示，一只黑狗躺在厨房地板上，旁边是一碗食物和一些玩具。这只狗似乎在休息或放松，因为它躺在铺着瓷砖的地板上。可以看到狗的皮毛上有一条红色的项圈，可能是为了识别目的而戴的。除了狗，还有几个物体散落在周围，包括靠近狗的地方的一个瓶子、一个碗和两个玩具。这些物品的存在表明，主人可能正在照顾他们的宠物，并为他们提供必要的用品。 | | 11 | complex | 为什么狗会选择躺在这里的地板上？ | 图片中的黑狗可能出于各种原因选择在厨房的瓷砖地板上休息。这可能是因为它觉得这是一个舒适的地方，或者它正在等待它的主人回来喂它。此外，狗可能会被食物的味道所吸引，因为附近有碗和零食。此外，如果狗是室内外活动的混合品种，它也可能更喜欢在温暖、安全和熟悉的环境中休息。最后，狗可以从地板上吸收热量，这对于在寒冷或潮湿的天气里保持体温和干燥非常重要。 | | 12 | conv | 这辆装有行李袋的手推车在哪里？ | 手推车位于酒店大堂区域。 | | 13 | detail | 描述以下图像。 | 图片显示了一个行李架，上面放着几件行李。行李架似乎是为旅客准备的，因为有几件手提箱和背包放在那里。在背景中可以看到一些人，可能是在等待他们的行李或在机场休息区。 | | 14 | complex | 工作人员在大堂搬运行李时可能会遇到哪些挑战？ | 工作人员在大堂搬运行李时可能会面临几个挑战，包括有限的空间、拥挤的区域和可能需要携带多个行李箱。由于行李是移动的，因此工作人员必须小心地操纵他们的手提箱，以避免损坏物品或造成任何事故。此外，他们必须确保行李箱上没有任何危险物品，如易燃液体或尖锐物体，以防止火灾或其他安全问题。此外，工作人员必须注意其他旅客和酒店员工，并保持适当的礼仪，以避免干扰或妨碍其他人。最后，工作人员应仔细检查行李箱，以确认其内容符合航空公司规定的尺寸和重量限制，以避免延误或额外费用。 | | 15 | conv | 图片中的水体是什么？ | 图像中出现的水体是一条河或湖。它位于山丘和丘陵的背景中，为风景提供了自然美景。 | | 16 | detail | 你能详细说明所提供图片的元素吗？ | 这张照片描绘了一幅美丽的风景，一大片水域（可能是湖泊或河流）被群山环绕。在水边有一片郁郁葱葱的绿地，这片绿地似乎是一片草地，可能是一块牧场。附近有一条火车轨道，可能表明该地区有铁路运输系统。这一幕捕捉到了大自然和人类工程之间的和谐共存。 | | 17 | complex | 火车在这样一条风景优美的路线上行驶的可能原因是什么？ | 火车沿着这条风景如画的路线行驶，可能有几个原因。首先，它可能是为了运输货物或乘客到附近的城市或城镇。这条路线提供了一个风景优美和风景如画的环境，这可能会吸引游客或潜在客户。其次，列车可能用于给人们提供休闲体验，比如观光旅游或火车旅行，以欣赏美丽的自然风光和山脉。最后，这�