近日,在百融云创2023年度工作总结会上,2023璇玑算法大赛颁奖仪式同步启动,期间,除了获奖的队伍外,还有一个神秘的“选手”亦备受关注,它就是由百融云创打造的自动建模工具——ORCA-AUTOML。据悉,ORCA-AUTOML也参与了本次竞技,并与人类团队进行比拼,全程自主操作,取得了不俗的成绩。
事实上,这已经是ORCA-AUTOML第二次参加算法大赛了,以赛后成绩来看,2022年ORCA-AUTOML在所有参赛团队中能获得第三名的好成绩。ORCA-AUTOML的“对手们”都是这个领域里的佼佼者,它能达到“专业”组的中上水平,属实难能可贵。
更难能可贵的是,参赛过程中ORCA-AUTOML几乎是凭借AI之力在抗衡各路“诸侯”,研发团队没有进行任何干预。
与往年相比,今年的赛题无限贴近于产业应用。今年的赛题设定为:在金融场景下针对不同渠道的客户,打造泛化能力较强的基座模型,并基于这些基座模型,在A/B榜的新渠道匹配最适合的模型并打分。
这对一个“机器人”而言挑战性极大。我们知道,在一个封闭环境、规则简单的约束条件中,“机器”的优势相对会大些。
本届算法大赛的赛题中涉及到多个渠道来源,由于每个渠道的质量是不一样的,理论上要对不同渠道分别建模,效果会比较好。同时,在整个过程中的一些关键环节,也需要根据业务经验,人为的进行实时调整和即时的策略优化。
没有了人类协作,“孤军奋战”的ORCA-AUTOML很多环节无法单独完成。对于它和研发团队而言,这都是一次充满未知的旅程,研发团队在期待中也不免透出一丝担忧。
可超乎大家想象的是,比赛打响之后,ORCA-AUTOML几乎与这些优秀的团队齐头并进。尽管没有人工的协作和业务经验的调整,ORCA-AUTOML依旧凭借强悍的性能、优秀的技术架构,尽情奔跑24个小时,最终交出了令研发团队满意的成绩单。
ORCA-AUTOML使用了分布式的技术,能实现高性能计算,并且可解释性强。在技术方面,主要包含了数据预处理、EDA数据分析报告、自动建模和模型报告四个部分。
01
数据预处理
基于先进的分布式ray框架建立分布式特征工程处理算子,包含多种分布式数据处理方式。
02
EDA数据分析报告
基于ray实现分布式自动EDA分析工具,输出用户需要的EDA分析报告内容提供用户参考。
03
自动建模
基于ray实现分布式自动调参,提升模型调参效率,支持单模型调参与自动模型集成。可根据用户自定义约束指标选择合适的模型。
04
模型报告
依据模型调参和用户指标筛选结果,输出对用的模型列表看板,用户可以选择合适的模型输出模型报告,对模型进行分析使用。
研发团队在赛后表示,之所以让ORCA-AUTOML参加算法大赛,不仅仅是为了竞技比赛,单是像在算法大赛里这么跑上一次,在产业应用中也能发挥重要价值。人们可以先用ORCA-AUTOML跑出一个基准值,为真实业务模型的构建提供一把标尺。
研发团队进一步表示,因为是比赛,所以他们刻意去掉了对ORCA-AUTOML的干预。事实上,ORCA-AUTOML绝对是一个分析师友好型自动建模工具,而且人机协同下其表现会更上一层楼。在设计之初它就被注入了人机协同的核心理念,能够全面融合业务经验,在建模的全生命周期中的多个环节,分析师都可以凭借经验去调整、修改ORCA-AUTOML,推进下一步的运行,作为自动建模工具,ORCA-AUTOML能大幅降本增效。
AI与人类同台竞技已经成为常态,尤其在人工智能时代下,机器的智慧水平越来越高,其与人类之间的关系亦更密切。作为百融云创精心打造的一个自动建模,ORCA-AUTOML在多项比赛中均表现出优异的性能,相信后期,ORCA-AUTOML会继续亮相更多算法大赛,并释放出更强的竞争力。