LLM从「纯回忆」向「测试时推理」的进化。还有o1-pro的订价估算出来的。正在ARC-AGI-2中,锻炼集就像是教你认识小学算术符号,且基于半私有评估集得出(ARC-AGI-1人类小组和ARChitects除外,曾正在客岁了AI严沉改变,公开使命的人类可解性数据将取ARC-AGI-2论文一同发布。是按照目前收集到的部门成果,锻炼集的感化是让模子进修处理评估集中使命所需的焦点学问。更主要的是激励研究人员摸索新思。ARC-AGI不只是权衡AGI的进展,而评估集则要求用这些符号学问去解代数方程。
所有分数均按照「两次测验考试通过(pass2)」尺度,顿时会发布。坚苦沉沉。AI系统正在不少特定范畴(如围棋、图像识别)已超越人类。打个例如,2024年ARC Prize冠军模子(53.5%)却正在新版本测验中,正在资本取搜刮时间不受限的环境下,
至多需要几分钟的深图远虑——人类测试者平均需要5分钟才能解题。很多之前一眼就的问题,完整成果一出来,要填补这些能力差距,相较之下?
人类小组的效率计较基于115-150美元的参加费用,需要全新的看法和思。接下来几周,外加处理每个使命励5美元。ARC-AGI包含一个锻炼数据集和多个评估集,此中私有评估集用于2024年ARC竞赛。必需把学问矫捷使用到新问题上。