（起首：DeepTech深科技）

AI 对皆（AI alignment）是现在大模子检会与优化过程中不能或缺的智力，现在平淡使用的程序包括基于东谈主类反馈的强化学习（RLHF，Reinforcement Learning from Human Feedback）和平直偏好优化（DPO，Direct Preference Optimization），都需要采集高质料的东谈主类偏好反馈数据。然则，现存界面条款标注者平直对比长篇文本，这种步地在成见上具有挑战性，尽头是当文本较长或本色不老练时，用户常常无法细致地阅读、回想通盘本色以及识别文本中的通盘互异，导致反馈质料不高，从而影响到 AI 对皆的质料。

（起首：贵府图）

现在尚未有磋议建议怎么系统地改善这类反馈质料。在近期一项磋议之中，东谈主机交互学者史图画博士从用户反馈的角度进行伸开，但愿措置的中枢问题是：

• 怎么进步东谈主类反馈（尽头是长篇文本比拟场景）的准确性和质料？

• 怎么减少用户在提供反馈过程中的成见背负和出错率？

为此，他和所在团队建议并禁受了“明白原则”[2]，这是指将复杂的问题明白成更小、更容易判断的单一信息点，诀别对每个构成部分进行判断，然后将各构成部分的预测结合起来，得出最终预测扫尾。这种程序旨在简化复杂任务为, 在处理不笃定性或复杂情况时尽头有用，从而提高反馈质料。

据先容，本磋议基于明白原则建议了 DxHF 的程序，通过“交互式明白”的步地改善东谈主类提供反馈的过程。具体后果包括：

• 交互式明白期间：将长篇文分内解成爽直易读的单个诠释，便捷用户快速浏览和对比。

• 视觉援助用户界面：通过对每个诠释信息进行磋议性评分，并以视觉不透明度编码杰出重点信息，同期相连语义同样的诠释信息，匡助用户快速识别枢纽互异。

（起首：贵府图）

实际中的枢纽发现包括：DxHF 显耀提高了用户反馈的准确性（平均提高约 5%），尽头是在用户对判断扫尾不笃定时，准确性进步更显明（约 6.4%）；诚然稍稍加多了反馈用时，但能有用提高决议信心并裁减用户成见背负。

据先容，通盘这个词磋议过程不错分为三个主要阶段：

第一阶段包括磋议问题界说与表面程序探索。磋议团队对大模子对皆中采集高质料反馈数据贫苦的问题进行了深化的文件回首和需求分析，从东谈主机交互角度启程，明确建议要探索一种新式用户界面期间，以裁减用户的成见背负，进步反馈质料。在笃定磋议场合之后，磋议团队查阅广阔援助东谈主类决议的磋议文件，定位到了有助于东谈主们作出愈加准确的判断的“明白原则”。受此启发，磋议团队建议将文分内解为孤独的、易于交融的简便诠释信息，从而使反馈的比拟过程变得愈加容易掌抓。

第二阶段为期间完了与界面假想。基于明白原则，磋议团队通过反复的里面筹谋、原型假想与迭代，测试了一系列交互界面。这一阶段触及到广阔具体的假想决议，比如怎么准确地将长句明白为单一的语义单位，怎么杰出裸露最枢纽的部分，以及怎么将两组同样文本之间的语义磋议直不雅呈现出来。在追究参加实际前，团队也进行了广阔的假想尝试、前期预研与消融实际测试，但愿了了又不失合座性地呈现竣工的明白信息。

（起首：贵府图）

第三阶段为期间仿真与实际考据。在参加追究的用户实际之前，磋议团队通过仿真对期间进行评估。仿真过程中使用 AI 来模拟真正用户，通过诊疗 AI 用户的“感性进程”，磋议东谈主员了了地看到了明白期间在不同决议智力用户中起到了积极的作用。随后磋议团队推论了一项大范畴的在线众包实际，杰出 160 名参与者通过汇注众包平台参与，提供真正的反馈数据。磋议东谈主员从众包实际数据中不雅察到显明的效果：DxHF 不仅显耀提高了用户的反馈准确性，也匡助用户进步了决议信心。

在假想筹谋过程中，技俩靠近怎么同期兼顾文本合座性的交融与细节性的分析的问题。最终的假想灵感来自于一次接头会上桌边的折叠宣传手册，他们发现不错通过折叠与拉伸的程序展示信息。于是，该团队借用该物理交互的隐喻来假想界面，不仅保留了合座阅读的竣工性，也让用户不错解放地深化细节。在开展用户实际时，磋议团队尽头寄望到参与者对这一假想的响应。参与者反馈了我方关于反馈中解放聘用比拟步地的偏好，对简便的问题比拟无需伸开细节减少了紊乱的信息负荷，而对复杂比拟任务通过伸开大略解放地探索更深档次的信息。

（起首：贵府图）

审稿东谈主以为本磋议所包涵问题与刻下 AI 界限包涵的热门具有很强的磋议性，其指出磋议团队从东谈主机交互的视角脱手，探索怎么缓解东谈主类在 AI 对皆过程中所靠近的复杂成见任务，并以为该场合相称具有远景。同期，审稿东谈主以为本磋议建议的程序不仅对 AI 对皆中高质料数据标注这一具体问题具有进军孝顺，对长篇文本对比任务中东谈主所靠近的成见挑战方面具备更平淡的应用后劲，大略进一步拓展至其他需要用户快速作念出多文本对比判断的场景，诸如法律通知比对、计谋比拟等信息检索和决议援助界限中施展作用，这些界限均对文本的细致比对建议了极高条款。

展望该程序不错平淡用于矫正现在面向 AI 对皆的东谈主类反馈数据采集经过，匡助构建更可靠、更合乎东谈主类偏好的诳言语模子。另据悉，该技俩标论文被用户界面软件与期间接头会（UIST，User Interface Software and Technology）2025 接收，据了解 UIST 是是东谈主机交互界限的顶会之一，将于 2025 年 9 月于韩国釜山召开，该会议场合主要结合在用户界面软件与硬件期间的立异。

图 | 史图画（起首：sdq.github.io）

本次论文的作家史图画博士现在赴任于英国剑桥大学工程系，担任副磋议员（博士后），从事东谈主智交互（Human-AI Interaction）的磋议。此前，他曾赴任于芬兰东谈主工智能中心，博士毕业于同济大学，本科毕业于华东师范大学。他的磋议极力于于“让 AI 更懂东谈主”，包含对东谈主类行为贪图建模与 AI 的交互式对皆。其学术后果屡次获取东谈主机交互与可视化界限顶级会议 CHI2025、CHI2024、PacificVis24 等最好论文提名奖。

他与芬兰 Aalto 的 Antti Oulasvirta 考验和瑞典 KTH 的 Tino Weinkauf 考验构成的磋议团队在东谈主智交互界限永远相助，在该磋议之前他们也曾蕴蓄了一系列面向机器东谈主界限的交互式 AI 对皆磋议责任，包括通过交互式蜕变奖励函数来端正 Agent 的行动行为 [2]，以及利用档次分组可视化期间进步 AI 对皆的遵循 [3]。此次责任的要点则是但愿将交互式 AI 对皆的责任从机器东谈主界限膨大到大模子的应用中。

（起首：贵府图）

图 | 利用档次分组可视化期间进步对皆的遵循 [4]（起首：贵府图）

与此同期，本次磋议技俩是他在瑞士苏黎世联邦理工磋议探询时期完成的，相助方的是 Mennatallah El-Assady 考验与程富瑞博士。Mennatallah El-Assady 考验和程富瑞博士在交互式机器学习和可讲明性机器学习，尤其是在大模子的交互式文分内析上有着广阔的磋议蕴蓄，此次相助将两边团队的上风加以有用结合，得手地将交互式 AI 对皆用于了大模子的文分内析。

参考贵府：

1.Shi, Danqing, Furui Cheng, Tino Weinkauf, Antti Oulasvirta, and Mennatallah El-Assady. DxHF: Providing High-Quality Human Feedback for LLM Alignment via Interactive Decomposition. To appear in UIST 2025.

2.Scott Armstrong, William B Denniston Jr, and Matt M Gordon. 1975. The use of the decomposition principle in making judgments.Organizational behavior and human performance14, 2 (1975), 257–263.

3.Shi, Danqing, Shibei Zhu, Tino Weinkauf, and Antti Oulasvirta. Interactive Reward Tuning: Interactive Visualization for Preference Elicitation. In 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 9254-9261. IEEE, 2024.

4.Kompatscher体育游戏app平台, Jan, Danqing Shi, Giovanna Varni, Tino Weinkauf, and Antti Oulasvirta. Interactive Groupwise Comparison for Reinforcement Learning from Human Feedback. arXiv preprint arXiv:2507.04340 (2025).