OpenAI开启调查:GPT-4o及4o-mini模型性能下降
据报道,OpenAI发布事故报告指出,当前遭遇GPT-4o和4o-mini模型性能下降问题,目前正在进行调查,并将尽快发布最新消息。
近期,科研人员创新性地推出了一项名为LONGPROC的基准测试工具,该工具专为评估模型在处理长上下文中的复杂信息并生成相应回复的能力而设计。
实验结果略显意外:包括GPT-4o在内的众多顶尖模型,虽然在常规长上下文回忆基准测试中表现优异,但在应对复杂的长文本生成任务时,仍暴露出显著的改进需求。
具体而言,尽管所有参测模型均宣称其上下文窗口大小超过32K tokens,但实际情况却大相径庭。开源模型在处理仅含2K tokens的任务时便显露疲态,而诸如GPT-4o等闭源模型,在应对8K tokens任务时性能也明显下滑。
以GPT-4o为例,在要求其生成详细旅行规划的任务中,即便提供了明确的时间节点和直飞航班信息,模型的输出结果中仍出现了不存在的航班信息,即产生了“幻觉”现象。
实验进一步揭示,即便是最前沿的模型,在生成连贯且冗长的内容方面仍存在较大提升空间。特别是在需要输出8k tokens的任务中,即便是参数庞大的先进模型也未能幸免于难,这或许预示着未来大型语言模型(LLM)研究的一个极具潜力的方向。
-
Agent Kit – OpenAI推出的AI Agent开发工具
Agent Kit是什么Agent Kit 是 OpenAI 推出的一套完整的智能体开发工具包,帮助开发者将 AI 代理从原型快速推进至生产环境。包含三大核心组件:Agent Builder可视化画布
-
股价飙升35% AMD与OpenAI达成重磅合作:卖出数百亿美元显卡
前不久NVIDIA宣布向OpenAI投资1000亿美元,然而今天OpenAI宣布了更重磅的消息,他们与AMD达成战略合作,将购买数百亿美元的AMD显卡。根据双方的声明,OpenAI将在未来数年部署超过
-
ChatGPT正秘密测试私信功能:支持用户之间直接交流
据媒体报道,OpenAI正在为其明星产品ChatGPT测试名为“私信”(Direct Messages)的社交功能。这一变化意味着ChatGPT正从原本用户与AI单向交互的语言模型工具,逐步转向具备“
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/

随时掌握互联网精彩