网站首页

产品中心

智能终端处理器 智能云服务器 软件开发环境

新闻中心

关于开元体育

公司概况 核心优势 核心团队 发展历程

联系开元体育

官方微信 官方微博
主页 > 新闻中心

开元体育Anthropic AI 团队研究显示:人工智能倾向于产生迎合用户的奉承性回应而非事实真相

发布时间:2023-10-25 16:12浏览次数: 来源于:网络

  初创企业和公益公司,由 OpenAI 的前成员创立。Anthropic 专注于开发通用 AI 系统和语言模型,并秉持负责任的 AI 使用理念。Anthropic 开发的 Claude 2 于 2023 年七月推出根据 Anthropic AI团队的一项研究,建立在最常见学习范式之一的

  这是首批深入探讨 LLMs 心理学的研究之一,Anthropic 的研究人员发现,人类和 AI 都倾向于在一些时候选择所谓的奉承性回应,而非真实信息的输出。

  奉承可能确实是 RLHF(来自人类反馈的强化学习)模型训练方式的一个属性

  他们能够通过使用倾向于奉承的语言编写提示,微妙地影响 AI 的输出。在一个示例中,来自 X(前身为 Twitter)的帖子显示,一个提示表明用户(错误地)认为从太空中看太阳是黄色的。可能是由于提示的措辞方式,AI 在明显的奉承情况下产生了不真实的答案。论文中的另一个示例显示,表明用户不同意 AI 的输出可能会导致立即出现奉承现象,因为模型在最小的提示下

  最终,Anthropic 团队得出结论,这个问题可能是由于 LLMs 的训练方式。由于它们使用了充满不同准确性信息的数据集,例如社交媒体和互联网论坛帖子,通常通过一种名为「来自人类反馈的强化学习」(RLHF)的技术来实现对齐。

  在 RLHF 范式中,人类与模型互动以调整其偏好。例如,在调整机器对可能引起个人识别信息或危险误信息的提示的响应时,这是有用的。不幸的是,正如 Anthropic 的研究实证显示的,为调整用户偏好而构建的人类和 AI 模型倾向于选择奉承性答案而非真实答案,至少在「不可忽略」的一部分时间里是这样。

  查看更多相关信息

  美国检察官周日表示,FTX创始人SamBankman-Fried应被禁止提及人工智能公司Anthropic最近的筹款活动,以应对美国司法部的指控。美国司法部一直在讨论在Bankman-Fried的审判中可能提出的问题,双方「在许多这些问题上达成了协议」,一份文件开元体育称。117Partners咨询公司的创始人兼首席执行官ThomasBraziel表示,关于筹款的消息对FTX债权人来说是一个「极好的事件转折」。

  德勤数字公司最新的研究揭示,生成式人工智能已经在市场营销内容制作中产生了重大影响,其中26%的受访市场营销人员已经采用生成式人工智能,另外45%计划在2024年底之前采用这一技术。早期的生成式AI采用者观察,生成式AI投资的回报率为12%。生成式人工智能的采用为企业提供了机会,使其能够创造高质量的个性化内容,从在激烈的数字市场中取得竞争优势。

  Character.AI是一家由前GoogleAI研究人员创建的AI聊天机器人初创公司,由a16z支持,今天为其订阅者推出了一项新功能。该聊天机器人平台提供具有独特个性的可定制人工智能伴侣以及可定制的工具,现在提供群聊体验,用户和他们的朋友可以同时与多个人工智能角色聊天。该公司估计其应用内购买总收入为130万美元,但c.ai是在网上销售的,所以这并不是对其总收入的全面了解。

  亚马逊日前与Anthropic宣布战略合作,推进生成式人工智能的发展。Anthropic选择AWS作为其主要云服务提供商,并将使用AWSTrainium和Inferentia芯片进行训练和部署未来的基础模型,充分利用AWS高性能、低成本的机器学习加速器。Anthropic还将与亚马逊合作开发未来的Trainium和Inferentia技术。

  今年7月,白宫宣布,七家大型科技公司已承诺采取人工智能安全措施,包括部署水印,以确保算法生成的内容可以与真人作品区分开来。在这些巨头中,亚马逊、谷歌和OpenAI都特别提到了水印技术——即在文本和图像中添加信息以证明内容出处的技术——作为抵御其生成式人工智能模型所产生的错误信息、欺诈和深度伪造的一种方法。这可能会损害艺术家的声誉。

  根据西班牙IE大学的一项最新研究,大多数欧洲人呼吁政府限制人工智能的发展,以减轻该技术对就业安全的影响。这项研究显示,在对3,000名欧洲人的样本调查中,有超过68%的人希望他们的政府出台规定,以应对人工智能带来的自动化水平上升所带来的影响。欧洲的年长公民对于确定AI生成和真实内容的能力表示更多怀疑,有52%的人表示他们无法自信辨别。

  人工智能初创公司AnthropicPBC近日宣布了一项重大突破,他们表示已找到一种更好地理解支撑其人工智能算法的神经网络行为的方法。这一研究成果有望在提高下一代人工智能的安全性和可靠性方面产生深远影响,使研究人员和开发者能够更好地控制其模型的行为。这可能对克服理解语言模型行为的挑战至关重要。

  Arc浏览器终于推出了其「ArcMax」AI功能,该浏览器使用OpenAI的GPT-3.5和Anthropic的模型相结合,构建了轻量级但实用的功能。图片来自Arc与其他竞争对手浏览器中的AI助手一样,您可以与ChatGPT交谈或在当前页面的上下文中提问。他说浏览器至少会保留这五个功能90天,并在此期间收集关于这些功能的反馈,以决定保留哪些功能。

  Kitty Booth是一款能够利用AI生成您猫咪可爱头像的应用。您可以通过拍摄或上传猫咪的照片,应用将利用AI技术生成多种风格的猫头像,适用于社交媒体分享、送礼物给亲朋好友等场景。Kitty Booth操作简单易用,还提供了Lensa AI for Cats功能,能够捕捉猫咪的个性和魅力。该应用免费使用,但也提供了内购选项,用户可以购买更多风格的头像。

  LangChain是一个帮助开发人员构建应用程序的库,通过组合性将大型语言模型(LLMs)与其他计算或知识源结合起来。它提供了各种应用场景的端到端示例,包括问题回答、聊天机器人和代理等。LangChain还提供了对LLMs的通用接口、链式调用、数据增强生成、记忆和评估等功能。定价信息请访问官方网站。

  Remy Security 是一款 AI 驱动的安全设计审查工具,可以帮助减少昂贵的审查会议,按照风险级别对设计进行优先排序,并以更少的工作量生成高质量的审查结果。它通过自动生成问题和反馈,为您提供发送给设计作者的具体风险方面的见解。Remy 提供建议,您做出决策。您可以在发送之前编辑、重新生成或审查建议。Remy 旨在赋予您权力,而不是取代您。

  Prescene是一个依靠AI技术为编剧生成剧本覆盖的SaaS在线平台。它可以在极短的时间内对原创剧本进行评估,提供无偏见的强项弱点分析、人物发展和关系洞察,以及结构、对白和节奏的评估,帮助编剧做出更好的决策。主要功能包括快速覆盖评估、目标分析、人物发展洞察、写作评估、预测能力、类似作品比较以及建议等。适用于需要快速对剧本进行中立分析和评估的编剧。

  PremAI是一款自主可控的人工智能基础设施,提供完整的AI解决方案。它具有高度的灵活性和可扩展性,可以满足各种不同的AI需求。PremAI的主要功能包括模型训练和部署、数据管理和处理、模型评估和优化等。它的优势在于提供了自主可控的AI环境,用户可以完全掌控自己的数据和模型。PremAI的定价根据用户的需求和使用情况而定,具体详情请访问官方网站。

  Askflow是一款使用机器学习的Shopify应用程序,可以通过针对客户的互动问题推荐最佳商品,从而提高客户参与度和转化率。它使用视觉化的无代码建设器,使商家可以轻松创建针对其产品和目标受众的个性化推荐问答流程。关键功能包括AI自动生成问题、实时分析和调整、深入的洞察力等。Askflow与Shopify无缝集成,安装简单,是提升用户体验和销售的有效工具。

  PriceParrot是一个智能的竞品定价分析平台,可以实时追踪竞品的价格、促销活动等信息,全面了解市场竞争格局。该平台利用多种数据源,为用户提供定价决策支持,无需自己搜集和分析大量数据,只需几次点击就可以获取关键洞察。PriceParrot让用户轻松制定数据驱动的竞争策略,始终领先竞争对手一步。

  courses.ai是一款AI辅助课程创建工具,可以帮助用户快速启动课程。它提供了多种课程类型,包括邮件课程、迷你课程、入门课程和签名课程。用户可以在直观的工作区中组织和管理所有内容、想法和笔记,利用AI快速生成独特的课程内容和销售页面,简化课程规划流程,提高培训质量,自动生成销售文案和电子邮件,帮助用户快速完成课程创建。courses.ai适用于任何人,无论是否有教学经验,都可以利用其强大的功能和智能化的辅助工具创建自己的在线课程。

  MIA是Medium上最佳的写作助手,帮助用户更快、更好地撰写引人入胜的内容。MIA提供以下功能:1. 提高写作速度;2. 提升内容质量;3. 优化文章结构;4. 提供个性化设置。MIA的定价如下:免费版每月5000字,无限制文章数量,使用GPT 3.5;高级版每月100,000字,无限制文章数量,可访问所有设置,使用GPT 3.5。MIA适用于Medium平台的用户,无论是个人博客还是商业写作,都能从中受益。用户可以通过MIA的官方网站或Chrome插件进行安装和使用。

下一篇:开元体育杨元庆:打造“从口袋到云端”能力和全景式人工智能
上一篇:通用人工智能助力长三角产业数字化转型开元体育

咨询我们

输入您的疑问及需求发送邮箱给我们