Quant 与 AI Lab:殊途同归
量化投资与机器学习
来源:量化投资与机器学习
作者:Grant Stenger、Richard Dewey
今天我们要回答这个问题:量化机构与AI Lb究竟在哪些方面、以何种方式愈发相似,其背后的原因何在,而这一趋势又将带来怎样的影响。
如果你是一名Quant,那么你的工作流程可能如下:
数据输入包括逐笔报价、订单簿更新、交易记录、公司事件、宏观数据以及另类数据。模型构建基于Alpha预测——即根据当前市场状态对未来收益形成的条件概率分布。约束条件涵盖投资组合构建、风险限额、杠杆上限、流动性规则、委托限制等。交易执行环节,由算法在遍布其他算法的博弈环境中,决策向哪些交易场所下达何种交易指令;反馈信息则包含交易成交结果、已实现盈亏、风险报告、投资者资金申赎情况以及账户回撤数据。
如果你是一名AI Lab从业者,那么你的工作流程可能如下:
数据源包括爬取的网络文本、代码、书籍、专有文档、聊天记录、用户生成内容;模型核心是基础大语言模型——即一套基于前N个词元token,对下一个token进行预测的参数体系;约束条件包是RLHF、安全层机制、上下文窗口限制、成本预算、用户体验设计考量;模型落地执行,是将token流式输出至聊天窗口、API客户端,或对接各类工具链,最终触达客户关系管理系统与财务结算环节;反馈信息则源于用户行为:评分、任务完成率、用户留存率、用户流失率、营收数据,以及red-team测试报告。
在这两种场景下,其本质其实完全一致的:从业者需对潜在条件分布进行近似拟合,并在各类约束条件下依据该分布采取行动。而在这两个领域,模型的实际价值都只能通过样本外验证来检验——量化领域靠回测和实盘盈亏(PnL)数据判断,LLMs则依托预留基准测试集和真实用户反馈验证。
高质量数据的重要性!
在数据层面,早期先行者拥有一种微妙却至关重要的优势:其模型的训练数据更贴近真实基准—— 而如今,这样的真实基准正愈发难以寻觅。
上世纪80年代末至90年代的早期量化从业者,其模型训练依托的是纯粹由人工对弈的市场环境。彼时的价格序列,反映的是人类行为中固有的规律,而非各类算法相互博弈的混沌局面。第一批量化浪潮的资深从业者会说,当时的研究仿佛是在探寻人类真实的交易逻辑,而非剖析自动化交易系统的运行模式。
早期的大语言模型研发者也拥有这般得天独厚的条件。2018年之前的网络内容虽杂乱无章,但绝大多数均为人类创作。对这些内容进行挖掘,能提炼出源于真实现实(即便充斥着噪声)的语言表达、事实信息、代码逻辑与文化内涵,而非出自前代模型的生成内容。
时移世易,如今的市场早已充斥着相互联动、彼此博弈的算法系统。当下的部分市场信号,不过是不同模型之间形成的闭环反馈而已。与此同时,网络空间正被大量人工智能生成的低质内容占据:搜索引擎优化垃圾信息、合成新闻、千篇一律的产品描述。若直接用这些海量的原始低质数据训练模型,其后果在机器学习领域,无异于反复复印一张复印件——数据质量只会层层衰减。
二者面临的结构性问题如出一辙。那些易获取、易爬取的显性数据,正愈发受到自身行为与竞争对手模型的双重污染。数据的边际价值,便体现在精心的筛选整理,以及那些唯有自身能获取的交互数据上。
数据并非生而平等。Quant尤为关注信噪比骤升的时段——比如股市开盘后或市场危机期间。AI Lab则愈发注重筛选并复用高质量token,同时研发更先进的数据过滤技术。据悉,DeepSeek的核心优势正在于此:通过精心筛选规模相对较小的问答对数据集,对超大规模模型进行模型蒸馏,仅用远少于常规的训练量,就实现了性能的大幅恢复,效果令人惊叹。
这一趋势引发了一场全新的竞赛:各方不仅争夺更多数据,更在角逐更高质量的数据。Scale AI公司通过雇佣人工提供反馈与标注的方式,统筹开展模型训练所需的大规模数据标注工作。Reddit开始对外授权其海量的帖子与评论数据;有观察人士认为,xAI的 Grok模型能实现快速追赶,部分原因就在于其获得了X(原Twitter)的数据使用权。在金融领域,这一逻辑同样适用:机构愿意为那些经过精心整理、时间跨度长且独有的历史数据与数据集,支付高昂的成本。
单纯的观测性价格数据,早已远远不够。当机构开展实际交易时,便能洞悉市场对其交易行为的反馈——哪些地方的流动性是真实的,哪些是虚假的,以及其他市场参与者在何时会选择退场。这类反馈数据,是独家的、由行为触发的条件数据。Midjourney从用户对生成图像的选择中学习优化,本质上也是在像素层面践行这一逻辑。这类数据的存在,完全依托于自身系统深度参与到业务闭环之中;而当整体行业环境的模型污染程度愈发严重时,其价值也会水涨船高。
就连数据标注这一环节,也深深烙印着量化行业的痕迹。Scale AI的创始人Alexandr Wang曾供职于Hudson River Trading,而Surge AI的创始人Edwin Chen,则曾在Peter Thiel旗下的对冲基金Clarium Capital从事算法交易相关工作。这一职业溯源实则合乎逻辑:若从业者出身于这样的领域——核心竞争优势的构建,高度依赖数据质量与高效的反馈闭环,那么他们最终会萌生一个想法:亲手打造出生产训练信号的源头工厂。
当量化遇上深度学习:一场正在发生的行业重构!
量化金融发展史上的大部分时间里,行业对大型神经网络始终保持着合理的质疑,且这份质疑事出有因。
市场噪声繁多、有效信号稀缺、市场格局毫无征兆地切换、高频交易的时延预算把控严苛、模型的可解释性更是重中之重。因此,绝大多数机构的标配技术体系,皆是线性模型、经精细调优的树模型,再加上大量基于行业专属经验构建的手工特征。
这份质疑并非全然错误,只是其适用范围,正逐渐收缩到行业中越来越小的一隅。在超高速的交易撮合过程中,你确实没有足够的延迟时间来使用这种复杂的模型,而且很多利润仍来自相对简单的模型。许多将深度学习盲目套用于市场的尝试,最终都在 “回测炼狱” 中悄无声息地夭折。
但这种旧有的行业平衡正逐步瓦解。那些知名的 “AI-first” 型机构:G-Research、Quadrature、XTX、HRT——如今都将自身定位为机器学习研究机构,只是恰好深耕金融市场而已。
实际来看,这意味着如今奋战在一线的是机器学习从业者,他们盯着订单簿张量与另类数据嵌入矩阵展开研究;而非传统的计量经济学家,对着市净率反复测算 t 统计值。HRT的收益表现已开始引发市场关注,而Quadrature、G-Research等机构的坊间收益传闻更是令人咋舌。多年来,行业老牌机构早已在逐步向AI驱动的策略转型,而新锐机构的成功,更是大幅加速了这一进程。
在美国,数家大型资管机构与自营交易公司,已悄然开始将卷积神经网络和transformers,应用于限价订单簿数据与另类数据流的分析中。这一任务与大语言模型的工作逻辑高度相似:输入由委托、成交、撤单构成的长token序列,将其压缩为特定的特征表征,进而预测后续的市场走势。
在 “传统量化” 团队与 “神经网络量化” 团队之间轮岗的从业者,往往都会给出一致的感受:神经网络模型大多只是重新挖掘出了传统线性模型派早已发现的那些市场信号——比如订单簿失衡、资金流模式、显著的截面关系——但它更能捕捉到罕见的交互效应,所需的手工特征工程也更少,却也在计算资源、模型部署和可解释性方面带来了更多棘手问题。
但在更长的交易周期中——从数分钟到数日再到数月、微秒级的时延顾虑便不复存在。当模型的时延容忍度达到数毫秒甚至更高时,很难再认为,在输入相同数据的情况下,手工构建的线性因子模型能持续优于训练精良的深度学习模型。这正是 “惨痛教训” 的核心要义:
能随数据量和计算力同步拓展的通用方法,最终终将战胜那些精巧的、针对特定领域的权宜解法!
量化对冲基金公司交易时间使用强度估计
约束与优化
接下来便是原始预测模型。对量化从业者而言,这是一个有监督模型,可输出对下一周期收益、波动率或资金流的预测结果;对AI Lab来说,这是一款基于下一token预测任务训练完成的基础大语言模型。
第三步是约束层,这一环节蕴藏着绝大部分的实际价值。一份原始的alpha预测结果,并非成型的投资组合;一个未经调校的基础大语言模型,也算不上一款成熟的产品。其中的关键技艺,在于将充满噪声的预测结果,转化为符合各类约束条件的实际行动。
在金融领域,这些约束条件包括投资组合构建要求、风险限额、资金与流动性约束、监管规定、委托限制以及各类禁投清单。无数从业者的实战经验与相关专业著作都在提醒一个道理:即便一个因子的预测效果再出色,若搭配不合理的约束条件,最终也会形成表现糟糕的投资组合!
在人工智能领域,约束条件通常由基于人类反馈的强化学习、安全过滤机制、内容规范、上下文窗口与成本预算限制、针对特定产品的微调、效果评估面板以及red team测试报告共同设定。
量化机构的风险委员会决定可容忍的尾部风险规模,这与人工智能企业的安全委员会界定可接受的模型越狱风险,本质上如出一辙。二者都处于模型研发者与外部市场/用户之间的关键节点,都拥有否决权——可以叫停那些可能让公司资产负债表崩盘、或是损毁品牌形象的 “精妙构想”。一旦这一环节出现纰漏,金融领域便会酿成爆仓、破产这样的惨剧,人工智能领域则会出现类似谷歌在2024年发布Gemini上线的失败案例,最终引发轩然大波。
执行环节:微秒之争与每秒token数的较量
执行环节,是物理层面硬约束的集中体现。在低时延交易领域,从业者的时间计量单位是微秒:将服务器托管在交易所交易引擎旁,压缩网络传输的纳秒级时延。此时的核心问题并非 “我们能否适配表达能力更强的模型”,而是 “在个位数微秒内,我们的模型能完成多少计算任务”。
在这一领域,传统量化方法仍保有一席之地,原因在于计算资源受到极致约束;当涉及数十亿美元的交易资金时,模型的可解释性至关重要;而模型的鲁棒性,远比把预测精度再提高千分位更有价值。
AI Lab面临的约束虽有所不同,却殊途同归。他们的时间计量单位是每秒token数,而非微秒,但同样需要在时延、生成效果与成本之间寻求平衡。若每一次用户请求都调用超大型模型,用户会因等待过久而失去耐心,企业的云服务成本也会飙升;若只使用小型模型,生成结果的效果又会平庸无奇。
AI Lab的解决方案是:大型模型主要用于训练,仅在处理高难度查询时偶尔被调用;轻量、低成本的小型模型处理绝大部分的聊天与API接口请求,同时依靠智能路由机制,判断何时将请求升级至大型模型处理。量化从业者的思路与此高度相似:重型模型在离线环境运行,负责特征学习、场景分析与风险汇总;轻量模型与简易公式则嵌入交易循环中,通常部署在交易所撮合引擎旁的现场可编程门阵列(FPGA)或定制芯片上。
过去,行业的竞争焦点是缩短芝加哥与纽约之间的光纤传输线路;如今,竞争核心变成了如何在固定的时延和功耗限制下,尽可能集成更多的智能算力。无论是试图抢在其他交易者之前完成报价,还是努力在用户退出页面之前生成回答,本质上都是同一个问题。
共通的技术架构
究其本质,量化金融与人工智能领域的相似性,远不止 “如今双方都在使用机器学习技术” 这一点。二者正逐步形成一套近乎一致的三层技术架构,具体如下:
底层:负责特征表征学习的大型模型。量化领域主要是深度神经网络与序列模型 —— 有时也会用到transformers,基于海量的订单簿历史数据与另类数据训练,挖掘有效的市场特征;AI Lab则是基于互联网公开数据加专属语料库训练的前沿级大语言模型与多模态模型。
中层:负责绝大多数实际决策的轻量模型。量化从业者将重型模型蒸馏为轻量预测模型,甚至是简易计算公式,基于已学习到的市场特征运行,同时适配严苛的时延和功耗要求;AI Lab则将前沿大型模型蒸馏为小型变体模型,并针对特定场景做精细化微调,为绝大多数面向用户的业务提供算力支撑。
顶层:强化学习或在线学习相关的适配层。在金融市场,这意味着根据实盘反馈,动态调整交易的激进程度、订单路由策略、持仓规模与风险敞口;在人工智能产品中,这一环节再次用到了基于人类反馈的强化学习,同时搭配多臂老虎机算法与 A/B 测试,根据用户交互行为、安全事件与营收数据,动态调整产品策略。
这套三层架构,化解了 “惨痛教训派” 与 “线性模型派” 之间的分歧。
其他领域的技术发展,也殊途同归。医学影像领域至今仍离不开放射科医生的人工判断,气象预测模型的研发也依旧需要物理学家的专业支撑,金融领域最终也大概率会走向这一模式,人工智能基础设施领域同样如此:底层是通用的大型模型,顶层则是更偏向基础应用的线性代数运算与业务逻辑层。
再往底层深究,两大领域的技术落地,正愈发依赖同一套硬件架构:英伟达加速卡、高带宽内存、高速互联设备,还有一众心力交瘁的工程师——他们要花费大量时间调试CUDA程序,这一过程往往耗时远超预期。2023年,行业发展的核心瓶颈是图形处理器(GPU)的供应;到了2025 年,这一瓶颈则更多转向了电力供应。
在传统行业格局中,行业的核心掌控者是交易所与主经纪商;而在新的格局下,核心掌控者更像是公用事业企业、数据中心运营商,以及所有能以合理价格稳定供应兆瓦级电力的主体。
如今,行业发展的硬性约束已不再仅仅是资金,而是实际可供应的电力:电网接入的排队等待、电力容量费用,以及按时完成电力基础设施建设的能力。
独门绝技、竞业限制与 “开放人工智能” 的终结
抛开服务器机架与路由设备,将目光投向信息层面,二者的另一重高度相似性便浮现眼前。
表面上看,所有人研读的都是同一套资料,但在这两个领域,真正的核心竞争优势,在于那些从未出现在arXiv上的内容:你真正信任的那一小部分数据;能让模型顺利收敛的、非常规的正则化方法、学习率与训练课程规划组合;能让系统在规模化部署下保持稳定的各类部署巧思。
量化金融行业对此向来直言不讳。文艺复兴科技有一条著名的不成文规定:绝不对外发表任何哪怕看似有价值的研究成果,包括失败的实验数据。2003年,该公司两名研究员离职加盟Millennium时,纽约法院以强硬至极的手段强制执行了二人的竞业限制协议。在纽约的法律框架下,加之量化自营小店林立的行业生态,模型与data pipelines均被视作核心商业秘密。
人工智能行业则发轫于完全相反的起点 —— 加州的学术圈与开源文化。多年来,发表自己最前沿的研究成果,都是企业招揽人才的重要方式。但随着模型的研发成本水涨船高,这一局面迅速发生了改变。
GPT-4的技术报告刻意回避了说明模型参数量、训练数据与算力投入;针对基础大模型 “透明度” 的各类分析,也屡屡给头部实验室的信息披露打出低分。如今的商业合作协议中,都会加入针对训练数据、模型输出甚至模型微调产物的严苛知识产权条款。“开放研究” 早已褪去本质,更多沦为空洞的营销噱头。
令人无奈的现实是,这些秘而不宣的独门绝技,恰恰是行业发展的关键。尽管两个领域的从业者均数以千计,但真正能推动技术体系实现突破的研究者,或许不过近百或百余位。
这也导致,AI Lab吸纳量化行业式保密文化的速度,远快于量化行业接纳人工智能式开放理念的速度。Simons有个广为人知的做法:早年将文艺复兴科技的核心员工从加州大学伯克利分校调回公司总部所在地塞托凯特,只因他认为,让核心人才留在加州的开源环境中 “对业务发展不利”。如今的人工智能企业创始人,眼看着竞争对手挖走自己半数顶尖研究员,内心对Simons的做法,恐怕会生出前所未有的共鸣。
对正在人工智能与量化岗位间做选择的从业者而言,二者的取舍核心已不再是工作内容的差异,而在于自己的核心技术秘密能得到何种程度的保护,以及竞业限制的约束期有多长。
是人工智能先颠覆量化,还是量化先融合人工智能?
综合来看,2025年的量化基金与AI Lab,早已不再像是分属不同行业的主体,而更像是同一种商业模式的不同变体:掌握独家数据,训练大型模型,为模型增设各类约束条件,在严苛的物理限制下完成部署,收集实战反馈,同时尽量避免对外公开相关细节。
人才的流动轨迹,早已印证了这一趋势。HRT的资深人力资源总监 Julia Villagra曾加盟 OpenAI(已于去年夏天离职);Perplexity的联合创始人Johnny Ho在Tower任职五年,DeepMind的可解释性研究员Callum McDougall则曾在Jane Street与IMC实习;OpenAI的研究主管Mark Chen与知名研究员Noam Brown,也都曾担任过量化研究员;HRT的人工智能负责人Iain Dunning,此前是Google DeepMind的高级研究员。而正如我们此前提及的,Scale AI公司的Wang(现为Meta的首席人工智能官)之前曾在HRT工作过。
二者的联结更是多维度的:Jane Street的前员工Sam Bankman-Fried,曾为Anthropic提供部分初始启动资金,而Jane Street近期还参与了这家人工智能巨头的后续融资轮次;期权量化交易的先驱、DRW 交易公司创始人Don Wilson,牵头打造了算力交易所,推动算力在交易所挂牌交易;还有不少从业者试图将金融化的触角,从算力延伸至数据中心使用协议相关的合约领域。
X平台上更是流言四起,各类猜测都指向这两个领域的跨界融合,有坊间消息称,部分头部AI Lab已开始试水交易业务。本月初,Elon Musk甚至还隐晦发推,提及了人工智能模型在股票交易竞赛中的表现。
2025年,诸多此类行业趋势或将集中爆发。AI Lab之间大概率会为争夺用户注意力与营收展开激烈厮杀,这一点对依赖私募市场融资与商业合作的独立实验室而言,会体现得尤为明显。
而在量化领域,一系列离奇且备受热议的回撤事件,让不少机构去年承受了亏损或业绩不及预期的打击,传统量化机构将如何应对这一局面,仍是待解的问题;老牌量化巨头将如何面对新兴人工智能驱动型量化机构的挑战,答案也大概率会在今年逐渐清晰。
金融市场拥有全球最严苛的考核标准,盈亏数据就是最有力的评价依据——它会极其直白地告诉你,你的模型究竟是否有效。业绩基准可以被操纵,但回撤数据无从造假!
人工智能与量化金融机构的融合之势将持续加剧,因为二者面临的核心约束正趋于一致:能稳定获取的电力、能牢牢掌控的独家数据、能有效落地的治理体系。二者的目标虽不尽相同,背后却是同一套运转逻辑的技术机器。
从这一视角来看,DeepSeek的诞生,便不再是一则新奇的头条谈资,而更像是这种跨界融合的原型/典范:
将算力转化为决策能力,找到多个场景让这一能力落地生根!