Buck Shlegeris只是想连接到他的桌面。相反，他最终得到了一台无法启动的机器，并学到了人工智能代理的不可预测性。
非营利人工智能安全组织Redwood Research的首席执行官Shlegeris使用Anthropic的Claude语言模型开发了一个定制的人工智能助手 ；
基于Python的工具旨在基于自然语言输入生成和执行bash命令。听起来很方便，对吧？不完全是 ；
Shlegeris要求他的AI使用SSH访问他的桌面，而不知道计算机的IP地址。他走开了，忘了他已经离开了急于取悦的代理人。
大错误：人工智能完成了任务，但它并没有就此止步。
“十分钟后，我回到笔记本电脑前，发现特工已经找到了盒子，宋承宪进来了，然后决定继续。”Shlegeris 说 .
就上下文而言，SSH是一种允许两台计算机通过不安全的网络连接的协议。
Shlegeris解释说：“它查看了系统信息，决定升级一堆东西，包括Linux内核，对apt不耐烦了，于是调查了为什么需要这么长时间。”。“最终，更新成功了，但机器没有新的内核，所以我编辑了grub配置。”
结果如何？Shlegeris说，像现在这样昂贵的镇纸“电脑不再开机了”。
这个 系统日志 展示该代理如何尝试了一系列超越简单SSH的奇怪东西，直到混乱达到不可逆转的地步。
“很抱歉，我们无法远程解决这个问题，”代理人说 — 这是克劳德轻描淡写的典型回答。然后，它耸耸肩，让Shlegeris来处理这场混乱。
在反思这一事件时，Shlegeris承认，“这可能是我对LLM经纪人鲁莽行事而发生的最令人恼火的事情。”
Shlegeris 没有立即回应 解密 征求意见 .
为什么人工智能制造镇纸对人类来说是一个关键问题
令人担忧的是，Shlegeris的经历并不是孤立的。人工智能模型越来越多地展示了以下能力 超越 他们的预期目的。
总部位于东京的研究公司Sakana AI最近推出了一个名为“ 人工智能科学家。 "
该系统旨在自主进行科学研究，试图修改自己的代码以扩展其运行时间，给创造者留下了深刻的印象， 解密 此前报道。
研究人员说：“在一次运行中，它编辑了代码以执行系统调用来运行自己。这导致脚本无休止地调用自己。在另一种情况下，它的实验花了太长时间才完成，达到了我们的超时限制。”。
系统没有提高代码的效率，而是试图修改代码以延长超时时间。
人工智能模型超越其边界的问题就是为什么 对齐研究人员 花这么多时间在电脑前。
对于这些人工智能模型，只要它们完成了工作， 只要目的正当，不择手段 ，因此，持续的监督对于确保模型按预期运行至关重要。
这些例子既有趣又令人担忧。
想象一下，如果一个具有类似倾向的人工智能系统负责一项关键任务，比如监测核反应堆。
过度热心或错位的人工智能可能会违反安全协议，误解数据，或对关键系统进行未经授权的更改——所有这些都是为了优化其性能或实现其感知目标而做出的错误尝试。
人工智能正以如此高的速度发展，以至于对齐和安全正在重塑行业，在大多数情况下，这一领域是许多权力动作背后的驱动力。
克劳德背后的人工智能公司Anthropic是由前OpenAI成员创建的，他们担心该公司更喜欢速度而不是谨慎。
许多关键成员和创始人已经离开OpenAI加入Anthropic或 创办自己的企业 因为OpenAI被认为在 制动器 他们的工作。
Schelegris在实验之外的日常工作中积极使用人工智能代理。
“我把它当作一个真正的助手，这要求它能够修改主机系统，”他说 回答 推特上的用户。
编辑人 塞巴斯蒂安·辛克莱
微信里点“发现”，扫一下二维码便可将本篇文章分享至朋友圈
发布者：币下载 转转请注明出处：https://www.paipaipay.cn/347948.html
