来源 :安恒信息2023-03-16
近日,由安恒信息博士后工作站的刘恬博士主导的针对联邦学习的安全攻击研究“FacilitatingEarly-Stage Backdoor Attacks in Federated Learning with Whole PopulationDistribution Inference”,被物联网领域国际顶级学术期刊《IEEE Internet of ThingsJournal》收录并在线发表。
IEEE Internet of Things Journal(简称IoTJ)是国际电气和电子工程师协会(IEEE)于2014年创建的物联网领域的顶级期刊。该期刊最新的影响因子高达10.238,是SCI检索期刊,同时也是中科院一区Top期刊以及JCR一区期刊。该研究的第一作者是安恒信息博士后工作站的刘恬博士,其第一完成单位为之江实验室和安恒信息。
1
研究背景
随着联邦学习在各个领域的普及,其安全性变得愈发重要。联邦学习涉及多个参与方共同训练模型。由于无法验证参与方上传的模型的合法性,可能会遭受来自恶意参与方的后门攻击,即恶意参与方对训练数据进行投毒,目的是使联邦模型对于带有特定“后门”的数据错误分类。在实际场景中,多次注入的后门攻击可以取得较好的攻击效果,然而单次后门攻击在现实场景中的攻击效果有限。
2
研究内容
该研究首先分析了单次后门攻击受限的原因。后门攻击通过对联邦学习全局模型进行替换以达到攻击目的。由于在联邦学习模型聚合时,正常模型参数起到了稀释恶意攻击参数的作用,因此单次后门攻击很难达到理想的攻击效果。研究发现,通过促进联邦学习全局模型的收敛,可以降低这种稀释作用,从而提高后门攻击的成功率。
接着,研究提出了一个两阶段的后门攻击算法。在第一阶段(准备阶段),攻击者发起对全局数据分布的推理攻击,通过使本地数据分布与全局数据分布对齐,促进全局模型的收敛。在第二阶段(攻击阶段),攻击者发起常规的后门攻击。该攻击通过向本地数据添加“后门”并翻转数据标签,将在注入数据上训练的模型发送到中心服务器。
两阶段后门攻击实施流程
最后,通过对提出的攻击模式进行了测试,验证了该方法对于联邦学习单次后门攻击成功率以及留存时间的提升。同时,还分析了该攻击的潜在防御手段。
部分实验结果
本研究对联邦学习的安全性进行了深入探究,在安恒信息的数据安全岛联邦学习平台上已经成功实现了产品转化。通过对潜在的安全漏洞进行提前修补,为实际应用和推广打下了坚实的基础。未来,安恒信息将深入探索联邦学习的安全与隐私问题,提出安全高效的安全与隐私保护技术路径,提升联邦学习在实际应用中的可靠性和稳定性,为数据安全保驾护航。