来源 :南方Plus2023-09-15
9月11日-17日是国家网络安全宣传周，大模型安全再次引发关注。安全对大模型企业来说，这一次有怎样的不同，安全重要性在哪里？深信服安全业务副总裁訾然接受南方+记者专访就此展开阐述。
他表示，大模型的安全分为两方面。一方面是大模型自身，由于幻觉问题、训练数据安全问题、推理数据泄密等问题，导致的安全风险。这一方面是大模型推广应用的关键，直接决定大模型这项技术能在细分领域运用走多远。
另一方面是将大模型用于网络安全的攻击或防守中。深信服的大模型落脚在第二方面，用于网络安全领域的攻击检测和事件研判、处置。大模型在安全领域的落地，和过去AI小模型的落地有很大不同。由于大模型具有更强的未知威胁检测能力，同时大模型更强的逻辑推理、上下文学习能力，能让大模型充当一个虚拟的安全专家，对复杂时延进行研判处置，协助安全人员应对更加复杂的挑战。
值得一提的是，大模型也容易“学坏”，这与安全有怎样的关系？
訾然对此表示，大模型“学坏”，很大程度是由于大模型的训练数据中存在不合理、不正常的数据，导致大模型对于一些问题和事物，存在不符合人类常识、道德观念的看法。这里的安全问题主要是要保障大模型训练数据的防篡改、保密，保证其安全可信。
同时，大模型对于人类的恶意指令一般来说缺乏判断能力，或其判断能力可以被绕过。这就使得大模型会被恶意人员利用，进行诈骗、网络入侵、网络钓鱼、制造病毒等恶意行为。针对大模型的恶意滥用，就需要有相应的反制措施。目前来看，能反制大模型的，只有大模型，也就是将大模型应用到网络安全的防守中，来检测由攻击大模型生成的病毒、钓鱼邮件、攻击行为。
那么，大模型是增强了人工智能算法的可解释性，还是进一步模糊了？
訾然解释，对于复杂场景，大模型可以根据人类指示，利用思维链的能力拆解复杂问题，并对拆解的步骤给出解释，同时人类还可以进行反问。从这个角度来看，是增强了可解释性。但对于具体单个问题的判断和内容生成，由于大模型仍然是神经网络，仍然属于一个黑客，其可解释性仍然不高。