当前人工智能技术已广泛应用于智慧零售、医疗、交通、安防等领域，本赛项以国家《新一代人工智能发展规划》为背景，针对国家新职业“人工智能训练师”的岗位定义与典型工作任务，面向全国人工智能工程技术、人工智能技术应用、智能科学与技术、电子信息工程、计算机与软件工程等相应专业领域的职业从业人员，体现行业特色，围绕真实工作过程、任务和要求设计竞赛内容，重点考查选手人工智能工程技术能力、规范操作和创新创意水平，检验参赛选手的综合职业能力。
本赛项为单人赛，以实际工程应用为项目背景进行设计，针对在人工智能技术实际使用过程中进行数据库管理、算法参数设置、人机交互设计、性能测试跟踪及其他辅助作业方向，考察选手对计算机科学、数据科学、机器学习、深度学习等相关领域的基础理论知识以及编程技能，重点考察参赛选手数据采集、数据清洗、数据标注、训练环境搭建、模型训练、模型调优、模型验证、模型部署、人工智能系统运维等人工智能全链工具的工程应用技术的运用能力。
参赛选手完成本赛项的考核需要具备人工智能训师练相关基础知识与技能，见表 1 及表 2：
| 相关要求 | 权重比例(%) | |
|---|---|---|
| 1 | 基础理论知识 | 15 |
| 基本知识 | ——计算机硬件组成、指令集架构、存储器层次结构、输入输出设备等。 ——操作系统的基本概念、功能，掌握进程管理、内存管理、文件系统、输入输出管理等关键技术。 ——线性表、树、图、哈希表等常见数据结构，以及排序、查找、图遍历等基本算法。 ——熟悉至少一种高级编程语言（例如 Python、Java、C++），包括语言的基本语法、控制结构、函数、面向对象编程等。 ——计算机网络的基本概念、协议分层、TCP/IP 协议族、网络安全等。 ——线性代数、微积分、概率论等数学工具在计算机科学中的应用，掌握基本的数值优化方法。 ——人工智能的基本概念、历史发展、应用领域，掌握人工智能的基本原理与技术。 ——计算机科学中的伦理与法律问题，如数据隐私、安全、知识产权等。 ——信息安全知识 ——生产安全和环境安全知识 | |
| 2 | 数据处理 | 20 |
| 基本知识 | ——数据库基础概念，数据库管理系统的功能，数据库系统的组成，数据库技术的发展历程 ——常用 SQL 语言 ——数据库的并发控制、事务管理和隔离级别 ——数据库设计知识，了解实体-关系模型、存储结构选择 ——数据库备份与恢复、数据库性能调优、 ——数据文件、分布式数据库、云数据库、大数据技术、数据仓库、数据挖掘等等人工智能数据处理知识 | |
| 工作能力 | 能够使用常用编程语言和数据库，实现数据读取和可视化、数据集划分、数据基础处理以及数据增强等常用操作 | |
| 3 | 机器学习 | 15 |
| 基本知识 | ——机器学习基础概念 ——监督学习、无监督学习和强化学习的概念 ——机器学习的基本流程 ——分类、聚类、回归、关联规则常用算法 ——采样、降维、特征选择等特征工程方法 ——机器学习中过拟合与欠拟合、数据不平衡处理等常见问题与解决方案 | |
| 工作能力 | 能够使用常用编程语言和工具库，进行特征提取、模型构建、模型训练和模型验证等操作 | |
| 4 | 深度学习 | 15 |
| 基本知识 | ——神经网络的结构与工作原理 ——卷积神经网络、循环神经网络等深度学习的基本概念 ——强化学习的基本概念和常见方法 ——深度学习模型的模型评估 ——超参数调优方法 | |
| 工作能力 | 能够使用常用深度学习框架对图像、视频集进行目标识别、对象分类等工作 | |
| 5 | 深度学习 | 15 |
| 基本知识 | ——生成式模型基础架构，包括 BERT、GPT、Diffusion 等 ——生成式模型的数据准备，包括去重、过滤、隐私处理、数据配比等 ——生成式模型的训练方法，包括经典优化器和分布式优化器 ——生成式模型的微调与对齐，包括参数高效微调、思维链、人类反馈的强化学习 ——生成式模型的应用技术，包括智能代理(agent)和检索增强生成(RAG) ——生成式模型的评估技术，了解评估语言生成、知识运用、复杂推理等能力的方法 | |
| 6 | 人工智能进行应用开发 | 20 |
| 基本知识 | ——使用人工智能进行应用开发的知识 ——问题定义与数据收集 ——数据预处理与清洗 ——特征工程与模型选择 ——模型训练与评估 ——模型部署与监控 | |
| 工作能力 | 能够使用常用人工智能开发框架进行应用开发、应用维护、性能优化等操作，了解人工智能在行业中的典型应用 | |
| 合计 | 100 | |
| 相关要求 | 权重比例(%) | |
|---|---|---|
| 1 | 数据准备及处理 | 20 |
| 实操能力 | ——数据采集原理、安全法规及义务 ——数据清洗安全法则、数据安全的原则 ——数据采集工具与设备基础知识 ——数据标注工程基础 ——图片数据清洗 | |
| 2 | 模型选型能力 | 10 |
| 实操能力 | ——根据特定任务（如图像识别、语言理解或预测分析）选择合适的机器学习算法和模型 | |
| 3 | 模型调参 | 10 |
| 实操能力 | ——熟练数据预处理、样本评估、算法参数调优的方法 | |
| 4 | 模型训练 | 25 |
| 实操能力 | ——掌握专业领域特征提取基础理论及方法 ——设计算法模型训练、算法模型验证及评测等技术流程 ——灵活使用 jupyter notebook、Vscode 等 IDE 软件 ——灵活使用 PyTorch 等深度学习框架 | |
| 5 | 模型性能评估 | 10 |
| 实操能力 | ——熟悉模型评估的方法和指标，包括准确性、召回率、精确率、ROC 曲线、AUC 值等 | |
| 6 | 模型部署应用 | 20 |
| 实操能力 | ——掌握模型转换流程设计 ——自主人工智能产品交互流程设计 ——制定人工智能产品应用解决方案 ——监控及分析人工智能产品应用数据 ——跟踪人工智能产品应用数据管理 | |
| 7 | 安全意识与职业素养 | 5 |
| 实操能力 | ——网络安全意识、数据保护法律与伦理、团队合作与沟通技巧 ——对数据安全、用户隐私保护以及职业行为规范的了解和重视程度 | |
| 合计 | 100 | |
本项目比赛形式为单人实操比赛。
本赛项专家组根据本竞赛技术规则要求组织命题。大赛全国组委会技术委员会组织有关专家参照现行《人工智能训练师国家职业技能标准》（三级）应知应会的知识与技能、结合企业生产、院校教学实际和人工智能训练的发展状况，并借鉴世界技能大赛相关项目的命题方法和考核内容，适当增加相关新知识、新技术、新设备、新技能等内容，进行编制技术文件和命题。
本次比赛分为理论知识和上机实操两部分。
理论知识比赛以在计算机上答卷（闭卷）的方式进行。比赛时间为90分钟。题型包括 200 道单项选择题、40 道判断题、30 道多项选择题，共270道题。
其中，单项选择题每题 0.5 分，判断题每题0.5 分，多项选择题每题1分，共计 150 分。
参赛选手凭本人身份证和参赛证进入考场，按规定登录竞赛平台答题。试题答案按要求在线回答，草稿纸由现场人员统一提供。参赛选手自带签字笔，其他任何资料和电子产品禁止带入考场，否则成绩无效。
本赛项为实操模拟行业人工智能技术开发与应用的整个流程，考察参赛选手对数据的处理、算法模型的应用熟练程度。赛项总用时480 分钟，共分为3道题，共 350 分。
| 实操竞赛模块 | 时长 |
|---|---|
| 模块 A：数据分析与挖掘 | 90 分钟 |
| 模块 B：大语言模型特定任务的微调 | 180 分钟 |
| 模块 C：智能自动驾驶场景综合应用 | 210 分钟 |
| 安全意识与职业素养 | 全过程 |
| 总时长 | 480 分钟 |
分为三个步骤：数据探索、数据挖掘、模型评估调优，具体如下：
步骤一：数据探索，参赛选手根据任务书要求，使用考试平台提供的原始数据完成数据清洗和可视化任务。
步骤二：数据分析与挖掘，导入步骤一制作好的训练级、测试集、验证集，选择合理算法训练，输出算法在验证集的结果。
步骤三：调参与优化，用合理的方法评估上述模型效果，可视化展示评估结果，如有需要，可进行算法调优调参。
按照步骤得分：第一步 20 分，第二步 20 分，第三步10 分：
第一步：3 项数据探索、5 项数据清洗和2 项数据可视化任务。每项任务2分。每项任务成功运行且正确得 2 分；未运行正确则视过程得0-1分
第二步：5 项任务，每项任务 4 分。每项任务成功运行且正确得4分；未运行正确则视过程得 0-3 分。
第三步：3 项任务；每项任务分别 3 分、4 分、3 分，每项任务成功运行且正确得 3-4 分；未运行正确则视过程得 0-3 分。
f1 值排名，前 10%加 5 分，前 10%-20%加3 分，前20%-30%加1分。
考试内容说明:本次比赛的主办方将向参赛者提供一个大语言模型(如Gemma-2B 或其它相似大小的模型)以及 3 种下游任务数据集（如MRPC或RTE）。参赛者需要利用高效参数微调技术,在下游任务数据集上分别对大模型进行微调，使大模型在这些下游任务数据中取得较好的精度。
选手操作步骤:
步骤 1: 将主办方提供的每种下游任务数据集进行预处理，并分别制作训练集和验证集
步骤 2: 选择合适的微调算法(如适配器微调、前缀微调、LoRA等)，将主办方提供的大模型对某种下游任务进行微调。
步骤 3: 当完成微调后，将大模型在主办方提供的测试数据集上进行推理，得到大模型在该项任务的准确率。
步骤 4：重复步骤 2 和步骤 3，直到完成全部下游任务的微调。
评分标准: 本次评分分为三部分：数据准备(10 分)，模型微调(30分)，精度排名(60 分)。
第一部分(数据准备)。分别为每种下游任务数据制作训练集和验证集。完成一种任务的数据处理是 3 分，完成 2 种是6 分，完成全部3 种任务得10分。
第二部分(模型微调)。每次针对下游任务进行微调完成得10 分。全部完成得分 30 分。
第三部分(精度排名)。每项下游任务都会对选手提供的微调模型按精度进行排名，并根据排名进行打分:前 5%给 20 分，前5%至前10%给15分，前10%至前 30%给 10 分，前 30%至前 60%给 5 分，剩余选手中，如果提交模型比没有经过微调的基础模型效果好给 3 分，不如基础模型不给分。全部三项任务最高给分60 分。
考察以图像分类、目标检测技术为主的图像类深度学习算法训练，主要分为四个步骤：
步骤一：数据采集，使用虚拟场景沙盘采集需要的标识，导出数据集。
步骤二：数据标注，利用组委会提供的数据标注平台根据比赛题目任务进行数据集标注，按命名规范、文件目录、文件格式等题目要求保存。
步骤三：模型训练与评估，导入制作好的训练集、测试集、验证集，选择合理算法训练，输出算法在验证集的结果。用合理的方法评估上述模型效果，可视化展示评估结果，如有需要，可进行算法调优调参。模型可以在一批未标注的的测试集上进行推理。
步骤四：模型部署，在组委会指定服务器上部署上述模型，在虚拟场景沙盘中进行验证。基于提供的虚拟智能自动驾驶场景应用接口程序，通过对人工智能部署及验证平台的配置、编程与调试，结合灯光系统、语音交互、界面交互等功能，通过不同的灯光显示、语音模块、界面交互等方式，完成规定场景下道路路况的识别，实现对素材中道路环境的自主检测，并根据识别结果，控制人工智能部署及验证平台做出相应的动作，实现虚拟智能自动驾驶场景综合应用。
按照步骤得分：第一步 30 分，第二步 50 分，第三步60 分，第四步60分。
第一步：对数据集的数量（15 分）及完整性统计（8 分），并进行结果可视化展示（7 分）。
第二步：数据标注质量 45 分（系统自动判断），数据保存格式5分。
第三步：算法训练 50 分，结果可视化 10 分。
第四步：模型部署应用 60 分。
每项任务最终结果按照 maP 值和推理速度排名。
各项竞赛模块及分值权重见下表。
| 竞赛模块 | 分数 | 评分方法 |
|---|---|---|
| 模块 A：数据分析与挖掘 | 50 | 结果评分 |
| 模块 B：大语言模型特定任务的微调 | 100 | 结果评分 |
| 模块 C：智能自动驾驶场景综合应用 | 200 | 结果评分 |
| 安全意识与职业素养 | 0 | 违规扣分，最多不超过扣20 分 |
| 总分 | 350 | 各项任务得分之和 |
竞赛评判方式及标准借鉴世界技能大赛的评分标准，以确保评分的客观性、公正性和准确性。明确规定每个竞赛项目的任务和技能要求，列出具体的评分指标，从技术准确性、质量、时间效率等多个方面进行评估。设定时间限制、安全要求、使用材料和工具规定，确保公平竞争和参赛选手的安全。实际操作是评分的基础，建立明确的评分流程和阶段，对评委进行培训，提高评判水平。设定不同的评分等级或标准，不断完善和更新评分标准以适应技术和行业标准的发展。在借鉴世界技能大赛评分标准时，根据人工智能训练竞赛项目的特点和需求进行相应的调整和细化，同时保障评委的专业性和公正性，确保评分体系科学可靠。
理论比赛评分由比赛平台自动打分，实操比赛模块A、模块B 根据提交结果由比赛平台自动打分。
实操比赛模块 C 评分由结果评分、过程评分两部分组成。
安全意识与职业素养分数由违规扣分组成。
（1）结果评分：
结果评分至少由 3 名裁判根据评分细则进行客观评分，并记录评分结果。
采用结果评分的任务，将根据任务书要求的竞赛任务，对参赛队完成调试、设计、训练、检测、决策的质量进行评判。
（2）过程评分：
过程评分至少由 3 名不同参赛团裁判员根据评分细则，共同对选手的操作进行现场评分；若现场评分裁判对选手的评分有分歧时，由现场裁判长裁决。
采用过程评分的任务，将根据工具、量具、仪器的选择和使用、操作步骤、操作方法、操作规范性、操作结果等诸方面进行评分。
（3）违规扣分选手竞赛中有下列情形者将予以扣分：
1）在完成工作任务的过程中，因操作不当导致事故，扣总分10～15%，情况严重者取消竞赛资格；
2）因违规操作损坏赛场提供的设备，污染赛场环境等严重不符合职业规范的行为，视情节扣总分 5～10%，情况严重者取消竞赛资格；
3）扰乱赛场秩序，干扰裁判员工作，视情节扣总分5～10%，情况严重者取消竞赛资格；
4）没有按照竞赛规程和任务书设定赛项赛题进行的，比赛现场工具摆放不整齐、作业流程混乱、着装不规范、资料归档不完整，视情节扣总分5～10%；
（4）评分方法和过程要求规范、统一、标准，保证对所有选手一致公平。
比赛项目最终成绩按 500 分制计分。理论成绩150，实操成绩350分。最终成绩经复核无误，由裁判长、监督人员、选手共同签字确认。最终竞赛成绩及排名由组委会统一公布（参赛选手在组委会公布成绩前，只知道自己成绩）。
名次的排序根据选手竞赛总分评定结果从高到低依次排定；各组选手如果竞赛总分相同者，考虑按照模块 C 分数高的成绩优先排名。
- 竞赛场地所用到的场地元素种类和具体摆放位置。
- 竞赛过程中涉及到的具体程序内容。
- 竞赛过程中涉及到的过程评分点。
竞赛场地所用到的场地元素种类和具体摆放位置、涉及到的具体程序内容要求将会在比赛现场以比赛平台通知的方式告知各参赛选手，涉及到的过程评分点在比赛当天以评分表的方式公布给裁判。