you definitely don’t want constitutional training and RLVR to live on different data manifolds, but ...
Thomas Wolf(@Thom_Wolf)81 字 (约 1 分钟)
65
模型训练中宪法训练与RLVR应避免数据流形差异,但模型能自动区分表示空间,可能影响对齐效果。
入选理由:宪法训练与RLVR应避免不同数据流形,否则可能破坏对齐
FeaturedTweet#AI训练#机器学习#RLHF#模型对齐英文