基于生成式人工智能的网络认知域安全技术（上）

前言

近年来，人工智能、大数据分析等前沿技术的应用与发展，尤其是生成式人工智能大模型的快速发展，加快了人—网络平台—物理空间的三元融合发展的趋势，促使物理空间、网络空间和认知空间的交织融合。网络空间认知领域存在恶意信息多、个体信息易泄露、信息传播易操纵等诸多安全风险，极易传导至物理空间引发社会问题。

基于“人工智能+”的思想，尝试分析基于生成式人工智能的安全防御技术，为促进未来网络安全产业发展提供新思路。

一、认知域面临的主要技术风险

在国际竞争日益激烈的大背景下，以美国为首的西方国家为实现其政治目的，组建专业的作战力量，在网络空间通过渗透与反渗透、干预与反干预、控制与反控制等认知战行动，影响他国民众的心理状态、价值观和行为决策。例如，美国成立专门的网络作战司令部，整合各军种认知作战力量；英国成立第 15 心理作战群，开展战场心理作战活动。近年来，网络空间面临的认知域威胁比以往更严重。从技术角度来看，网络空间认知域的安全主要受无处不在的恶意信息、隐蔽无形的信息操纵、真假难辨的网络水军等因素的威胁。

1.1 恶意信息

物理空间中存在政治宣传、认知战、商业营销、诈骗传销等多种意图，这些意图会在网络空间中产生大量的虚假新闻、诈骗信息、掺杂诱导性内容的事实阐述、阴谋论等恶意信息，进而影响民众的认知域安全。

生成式人工智能技术的发展与应用也给恶意信息的制造带来了一定的便利。随着美国开放人工智能研究中心（OpenAI）的“ChatGPT”、谷歌公司的“Gemma”、百度的“文心一言”、阿里巴巴的“通义千问”等智能大模型的推出和升级迭代，使得文本、图片、视频等内容的自动生成过程朝着效率越来越高、成本越来越低、真伪性越来越难以区分等方向发展，进而导致网络空间认知域风险越来越高。

1.2 信息操纵

国家、媒体平台、商业团体等组织为实现其政治、影响力、盈利等目的，利用人工智能、大数据分析等技术在网络空间实施信息操纵，影响公众的舆论、态度和行动。信息操纵包含用户特征画像、群体精准传播等关键环节。其中，用户特征画像主要是使用技术手段对网络主体的活动轨迹、行为方式、特点等进行数据化表示，最早被应用于电子商务的个性化推荐、针对性营销与服务等领域，后来被广泛应用于信息操纵、图书推荐、电子商务、旅游管理等领域。群体精准传播主要使用人工智能、机器学习等技术手段对目标群体进行建模，根据不同群体的特点，针对性地选取信息传播的内容数据、传播源、传播路径等，进而实现对特定群体的大面积、快速传播的目的。

2016 年的美国大选就是信息操纵的真实案例。大选前，剑桥分析公司在社交媒体平台“脸书”上获取了约 5 000 万个注册用户信息，融合 2007 年“脸书”上以“学术”为名收集的上千万用户的心理测试数据，分析脸书用户的心理特征和政治倾向，得到用户的特征画像。大选期间，剑桥分析公司实时收集用户言论，分析用户的支持倾向，基于用户的特征画像结果，使用智能技术向潜在支持民众、中立民众等不同类型群众精准推送定制化的竞选广告，致使一些民众的认知心理发生变化，进而左右民众的投票结果。

1.3 网络水军

在流量至上的互联网思维主导下，基于自主机器人、生成式人工智能等技术的网络水军应运而生。网络水军是指具有特殊目的的公关公司或组织，根据雇主或者委托方的需求，在网络空间中伪装成普通网民，针对特定内容、特定人群、特定话题等，发布、回复或者传播网络内容以炒作某个话题、人物或事件，进而达成影响网络空间用户认知、情感、行为、舆论倾向等目的的群体。

网络水军已经发展成为一种黑色产业链，给网络空间舆论环境、市场经济秩序、社会稳定甚至国家安全造成了严重的威胁。2013—2014 年，中央广播电视总台“3·15”晚会连续 2 年曝光网络水军黑色产业链。从作案工具来看，网络水军产业涉及隐藏真实身份的手机黑卡、网络 IP 地址秒拨工具、全球定位系统（Global PositioningSystem，GPS）定位模拟器、智能终端控制器，以及包含用户账号信息的智能终端设备等多种现代化工具。从技术特点来看，网络水军可以是各行业的普通用户，甚至是非自然人的社交机器人，其对计算机理论、内容制作、信息传播等行业知识的要求门槛低，可以通过在多个网络平台择时活动、模仿真实用户网络轨迹等方式隐蔽网络水军行为。

二、认知域安全防御技术

近年来，以生成式人工智能为代表的前沿技术的发展给网络空间的认知域安全带来了风险挑战。从解决技术问题的角度来看，生成式人工智能技术在网络空间认知的安全防御应用研究方面崭露头角；从学术研究的角度来看，生成式人工智能技术为网络安全技术产业的发展提供了新的思路。本文主要从恶意信息检测、传播影响力预警、网络水军识别、开源情报生成等方面，总结生成式人工智能技术如何用于认知域安全防御。

2.1 恶意信息检测

恶意信息通常具有内容颠覆性、情感极端性、阴谋诡辩性等特点，极易吸引人的眼球，通过社交媒体平台，这种“病毒式传播”方式能够在短时间内形成流行趋势。从网络空间认知域安全防御的需求来看，快速准确地检测出恶意信息，并在其传播早期采取相关管控手段，能够尽可能地减少受影响的人数，提高防御效果。从技术角度来看，生成式人工智能技术可以从 2 个方面实现恶意信息检测。一是生成恶意信息，提高恶意信息检测大模型的准确率。GPT、Sora 等生成式人工智能大模型，能够生成涉及领域广、规模大的文本及音视频类恶意信息数据样本，借助对抗神经网络技术训练这些样本数据，能够训练出恶意信息检测准确率高的大模型。二是提取恶意信息特征并对其进行分类。与传统手工提取恶意信息特征的方法相比，利用生成式人工智能技术自动学习恶意信息特征的方法能够节省大量的人力和时间消耗，并且能够处理更复杂的恶意信息。

在具体实现上，生成式人工智能在恶意信息检测中的应用可以结合自然语言处理、图像识别等其他技术手段。例如，对于恶意文本信息的检测，可以利用自然语言处理技术提取文本中的关键词、短语和语义特征，然后利用生成式人工智能进行特征匹配和分类。对于恶意图片和视频的检测，可以利用图像识别技术提取图像和视频中的特征，然后利用生成式人工智能进行异常检测和分类。

当前，国内外已出现一些基于生成式人工智能的认知安全防御技术工具。人民日报社成立的传播内容认知国家重点实验室发布了深度合成内容检测工具“AIGC-X”，该工具使用生成式人工智能技术从文本内容中捕捉困惑度、突现频次等隐式特征，能够学习到机器生成文本与人工生成文本的分布差异。此外，机器生成内容检测工具还包括普林斯顿大学推出的专门检测教育行业机器生成内容的 GPTZero 工具、美国创业公司推出的专门用于检测英文机器生成内容的 WordAi 工具等。

2.2 传播影响力预警

从认知域面临的技术风险来看，有目的的信息操纵会在短时间内产生大规模的舆情传播现象，具有危害范围广、极易传导至物理空间、易引爆次生舆情事件等特点，对舆情传播的影响力预警能够为信息操纵的及时发现、处置赢得时间。

从技术角度来看，生成式人工智能技术可以从 2 个方面实现传播影响力的预警。一是预测传播规模。借助循环神经网络等深度学习技术，设计能够模拟泊松过程等传播机制的数学模型，试图保留传播规律、传播影响力等主要特点，通过现有传播数据训练模型，以达到预测传播规模的效果。二是预测传播路径。首先，收集文本、图片、视频、社交媒体互动等多种形式的传播数据；其次，基于生成式人工智能网络结合用户之间的关系、传播时间等信息，从这些数据中学习信息的传播模式、用户的行为习惯和兴趣偏好等特征；最后，基于学习到的数据特征，生成式人工智能能够生成与现有内容相似或全新的内容，并通过模拟用户的反馈和行为预测这些内容的传播路径。

国内外对传播规模和传播路径的预测研究开展较早，主要基于特征工程、随机过程、图表示、深度学习等方法，对传播规律、用户特征、群体行为等进行建模，并根据所学到的模型预测传播规模和路径。与其他方法相比，基于深度学习方法的模型在通用性、对传播规律与用户的特征提取能力、预测准确率、预测效率等方面更具优势，因此，该方法颇受广大学者的关注。

基于“变换器”模型（Transformer）、生成式对抗网络、变分自编码器等生成式人工智能技术，作为深度学习的一种，也逐渐被广大学者所关注。该技术被用于对传播行为、用户特征等数据进行建模，以预测传播规模和传播路径。

2.3 开源情报生成

在网络空间安全领域，开源情报不仅是情报获取和分析的重要手段，更是构筑立体化、智能化安全防护体系不可或缺的基石。搜集、加工、生成开源情报能够在早期洞悉网络空间的安全风险，为防范化解认知域安全威胁提供时间优势和决策依据，是智能媒体时代网络空间认知域安全的关键资源。

网络空间开源数据规模爆发式增长，传统的以人工编目汇总、分析的方法难以满足现代情报生成需求。同时，相比于传统的机器学习、统计分析等方法，生成式人工智能技术具有高度自动化、智能化的特点，不仅能够理解情报文本的表面含义，还能通过跨文本、跨语言的情报关联手段分析情报数据的潜在关系和隐含意义，在减少人工参与、节约人力成本的同时，通过持续的自我迭代学习提升对复杂问题的理解和应对能力。

生成式人工智能在开源情报生成中的应用主要涉及文本摘要生成、文本翻译等。从技术角度来看，文本摘要生成主要基于 Transformer 架构捕捉文本中的序列依赖性和上下文信息，能够用于情报数据中的新闻摘要、文章概要、社交媒体内容提炼等场景；文本翻译也基于 Transformer 架构，捕获情报数据文本中的上下文信息，并生成流畅、准确的翻译。

以大语言模型 ChatGPT 为代表的生成式人工智能技术在金融、科技、教育等众多领域的通用性，以及在处理生成文本、图表、视频、代码等多源数据方面的能力，促使国内外学者积极探索融合生成式人工智能技术的开源情报处理、生成等问题。例如，Pęzik 等人基于谷歌 T5 模型框架，在开源数据语料库上，研究文本翻译、基于短文本的术语抽取等多任务情报处理问题；Hassanzadeh 分析 ChatGPT 等生成式人工智能技术对人员、企业和组织的知识管理影响，认为生成式人工智能将对未来知识情报管理产生重大变革；夏汇川等人从问题分类法视角评估生成式人工智能在情报工作中的应用效能，分析了生成式人工智能对情报工作者的优势和局限。