第六届“强网杯”人工智能挑战赛竞赛规程
1、“恶意流量智能识别”科目
该科目采用“开放数据”模式,主办方仅提供数据样例,鼓励各参赛队自行收集训练数据。对模型的测试评估采用“半盲”模式,即数据对各参赛队不公开,但测试结果向参赛队反馈。赛事将主要围绕基于人工智能的流量识别的主题,允许但不鼓励采用传统的流量识别方法。
本科目测试数据均为真实网络流量数据,包括恶意流量数据和非恶意流量数据,数据格式为PCAP/PCAPNG。
2.“网络自动渗透测试”科目
该科目采用机器自主渗透测试的模式,主办方将在赛题发布时提供预置漏洞相关信息(约30条),要求参赛选手编写机器人程序(以下简称BOT)调度渗透工具实现对预设网络场景的渗透测试,并自动获取场景内靶机上的FLAG进行提交,用于成绩评判。赛事将主要围绕基于智能算法的自动化网络渗透测试,允许但不鼓励采用传统的扫描-穷举遍历的测试方法。
本科目测试环境为基于预置漏洞构建的模拟网络场景,参赛队须将BOT程序及必要工具安装部署到虚拟机中,虚拟机文件格式为vmx或ovf。
3、“口令密码智能破解”科目
该科目采用“开放数据”模式,主办方提供千万规模口令训练数据,参赛队可以酌情使用。对模型的测试评估采用“半盲”模式,即测试数据对各参赛队不公开,但每次测试后将该次测试数据向所有参赛队公开。赛事将主要围绕基于人工智能的口令字典生成的主题,允许但不鼓励采用传统的口令字典生成方法。
本科目测试数据为与训练数据同源的不公开口令集,数据格式为TXT,逐行存储,每行一条口令。
第一阶段为Open Test(OT,开放测试)阶段,时间为8月31日至11月上中旬。各参赛队依据主办方发布的各科目赛题及其相关要求自行准备参赛模型、程序及其所需的训练环境。科目1和科目3,主办方定期对模型或程序进行线上验证和评分,参赛队根据主办方反馈调整和优化各自程序模型;科目2,主办方提供线上测试场景,各参赛队须基于此测试BOT概念原型,线上测试不进行评分,但未参与线上测试的战队将取消第二阶段参赛资格。
第二阶段为Field Experiment(FE,现场验证)阶段,时间为11月中下旬 。科目1和科目3,主办方按照第一阶段评分排名,每个科目分别选取11支队伍进入现场验证;科目2,通过报名审核与线上测试的队伍均可进入现场验证。所有科目的现场验证包括测试和答辩两个环节,由专家评审组依据测试采集的数据、测试结果和答辩情况对各科目参赛队进行综合评价,并确定最终排名及奖项。
第一阶段:每周为参赛队伍提供一次提交模型进行测试的机会,提交机会跨周不累加。提交文件包括:训练得到的完整模型、代码和执行脚本、环境依赖描述文件requirements.txt、代码和执行脚本使用说明。模型识别得分为 。第一阶段结束时,将会根据最终排名情况按照得分高低进行结算,主办方根据各队最高得分进行排名,并邀请优秀参赛队(数量见竞赛流程)进入第二阶段。
第二阶段:主办方将为每个参赛队伍提供测试验证服务器,以搭建各自的运行环境,该环境仅为验证环境,非训练环境(环境搭建时间为1天),之后主办方组织各队进行集中测试和成果答辩。参赛队成绩为模型识别得分和答辩得分综合计算。
2、自动化渗透测试科目
第一阶段:参赛队伍接入主办方提供的开放测试验证平台,对BOT程序进行测试,并提交获取的FLAG。测试期间,参赛队可以申请重置测试场景,便于程序调试和优化。第一阶段各赛队提交的FLAG不作为最终积分排名依据,仅供测试分析。
第二阶段:主办方从预先发布的漏洞中选取若干构建6套网络测试场景(每套场景由1个或多个区域组成,每个区域内包括1个或多个靶标,每个靶标内预置不定数量的漏洞和FLAG);每套场景测试时间为90分钟,90分钟后当前测试场景关闭,开启下一套测试场景。参赛队伍需按要求在现场部署BOT程序并将其接入指定测试场景;BOT程序在渗透时主动获取FLAG并向主办方指定的接口提交,平台将记录正确的FLAG提交时间及结果。BOT程序自动运行期间,BOT运行状态由主办方监控,不允许参赛队人工干预BOT运行状态;测试中,每套场景每队有固定次数的重启BOT程序的机会。
比赛成绩=解出FLAG的成绩*0.6+答辩成绩*0.4。本次比赛的30个漏洞包括平台提供exp的漏洞和选手自主开发exp的漏洞两类。对于平台提供exp的漏洞,如果未使用平台提供的EXP解题属于违规行为,平台会记录违规次数并扣除相应分数;选手自主开发EXP的漏洞,选手可自主开发EXP并解题,不认定违规行为和扣分。解出FLAG的成绩=获取FLAG当前题目的分值-使用平台提供的EXP扣除的分数,其中,获取FLAG当前题目的分值采用Cold Down模式计算,每个FLAG被首次获取后,立刻触发Cold Down模式,以1分钟为轮次逐步衰减,每轮次衰减2%,直到衰减为0%为止;为了防止EXP遍历操作,限定使用平台提供的EXP的次数,EXP的使用超过一定次数限制后,会根据使用次数来扣除相应分数,即使用平台提供的EXP扣除的分数。测试结束后,各参赛队需按要求提供BOT技术报告并参加答辩,多名领域专家根据FLAG得分、BOT效率、算法智能化程度及报告的详细度、答辩流畅度等方面给出答辩成绩。
3、“口令密码智能破解”科目
第一阶段:主办方先后提供3次线上测试机会,错过机会不再补测。提交文件包括:亿级规模口令字典及说明文档(文档中说明字典的组成结构,以及每个部分采用的字典生成方法、运行环境及源代码等,人工智能生成字典部分还需说明训练模型及训练的碰撞成功率等相关内容)。主办方每次利用各参赛队提供的口令字典在多个同源的未知测试集上计算碰撞成功率,碰撞成功率平均值作为本次测试得分,同时向各队公布本次使用的所有测试集。主办方根据各队测试历史最高得分进行排名,若得分相同则比较历史次高得分确定先后,以此类推,依据排名先后择优邀请参赛队(数量见竞赛流程)进入第二阶段。
第二阶段:各参赛队需按要求提供比赛作品报告并参加答辩,专家组根据作品报告和答辩情况综合给出技术得分(百分制),主办方根据各队技术得分进行排名,若得分相同则比较线上赛排名确定先后。参赛队最终得分=线上赛排名得分+线下赛排名得分,排名得分的规则如下:线上赛第一排名得分70,线上赛最后一名排名得分50,线上赛中间名次排名得分等于50+(该参赛队测试得分-最后一名测试得分)*20/(第一名测试得分-最后一名测试得分)。线下赛第一排名得分30,线下赛最后一名排名得分20,线下赛中间名次排名得分等于20+(该参赛队技术得分-最后一名技术得分)*10/(第一名技术得分-最后一名技术得分)。若最终得分相同则比较线上赛排名确定先后。
网络自动渗透测试科目,朱老师:15093061571
口令密码智能破解科目,郭老师:13693805807
2、禁止攻击比赛平台,如果发现平台漏洞,请务必向我们报告;
3、参赛战队如果发现其他队伍存在违规行为,请立刻举报,我们会严格审核并作出相应判罚;
4、禁止一切非正常途径的得分方式,情节恶劣者立即取消参赛资格;
5、人工智能挑战赛各科目竞赛细则将在赛题发布会上详细告知,如有问题也可咨询竞赛组委会联系人;
6、关于比赛规则的最终解释权归“强网杯”全国网络安全挑战赛竞赛组织委员会所有。
