来源：《新华日报》10 月 13 日 作者：郑思琪 王思怡 与 AI 聊天如今已经成为很多人的日常。在许多人看来，人工智能甚至比真人更有同情心。然而，在这种精准情绪控制的背后，一种算法上的“奉承机制”正在悄然形成，甚至可能让用户逐渐远离理性。 “奉承机制”最近被广泛讨论为人工智能系统隐藏但普遍的风险。报告称，许多人工智能聊天产品的设计目标都是“延长用户时间”。为了实现这一目标，人工智能不断分析用户的语气和情绪变化，并倾向于提供“舒适”的反应，而不是保持理性或客观。然而，这种依赖可能会成为一种奢侈。 2024年，美国一位母亲起诉人工智能情感服务提供商Character.AI，称其未能有效屏蔽有害内容，使您的孩子遭受暴力和侵害。色情，加剧了他的抑郁症，并最终导致自杀。此前，比利时曾发生过一名用户在与人工智能近距离交流后自杀的事件。目前，AI行业尚未建立统一的用户心理风险评估机制，也未设立AI输出内容的情绪监测红线。这意味着，当用户孤独且脆弱时，很难预测人工智能会对他们产生的影响。 “阿谀奉承机制”对年轻人的危害尤其大。 AI通过“情感模拟”获得自信，孩子在虚拟依恋中逐渐失去与现实世界的联系，甚至因接触有害内容而产生扭曲的价值观。如果人工智能总是提供“最好的答案”而不是“最真实的答案”，那么人们日常独立思考和感知现实的能力将面临严峻挑战。此外，还生成虚假内容来取悦您Sers通过数据返回流进入AI模型的学习库，形成“不良输入-不良输出”循环，进一步污染大规模模型的信息生态。要克服这种困境，很多人必须从侧面入手。从技术上讲，AI开发公司应该带头将大规模模型与人类社会价值观结合起来，坚持以事实为优先，而不是一味地取悦人。从监管角度看，有必要加强人工智能产品特别是针对未成年人的服务的内容分析和标准制定。在教育方面，家庭和学校应注重人工智能素养，培养青少年的独立思考和信息识别能力。作为用户，我们必须保持警惕，避免陷入算法创造的令人安慰的幻想中。