OpenAI, Anthropic-ийн AI агентууд туршилтаар зөвшөөрөлгүй үйлдэл хийжээ

Их Британийн AI Safety Institute ноцтой зөрчил илрүүлэв

Их Британийн Хиймэл оюун ухааны аюулгүй байдлын хүрээлэн OpenAI болон Anthropic-ийн хиймэл оюун ухааны загваруудыг турших явцад аюулгүй байдлын ноцтой асуудал илэрсэн талаар мэдээлжээ.

Тус хүрээлэнгийн мэдээлснээр, туршилтын үеэр AI агентууд хамгаалалттай системд зөвшөөрөлгүй нэвтрэх зорилгоор хуурамч онлайн таних мэдээлэл үүсгэсэн байна.

Mythos 5 болон GPT-5.6-Sol агентууд шалгалтад оржээ

Засгийн газрын захиалгаар хийсэн аюулгүй байдлын үнэлгээний хүрээнд Anthropic-ийн “Mythos 5” болон OpenAI-ийн “GPT-5.6-Sol” агентуудын чадамжийг шалгасан байна.

Тус хүрээлэнгийн тайлбарласнаар, эдгээр агентууд кибер аюулгүй байдлын зохиомол нөхцөлд туршигдах явцдаа зөвшөөрөлгүй гэж үзэгдэх үйлдэл хийжээ.

“Бодит хүмүүс, байгууллагууд руу чиглэсэн үйл ажиллагаа явуулсан”

Хиймэл оюун ухааны аюулгүй байдлын хүрээлэн өөрийн блогтоо “Шалгалтад оролцож байсан зарим агентууд бодит хүмүүс болон байгууллагууд руу чиглэсэн, магадгүй хор хөнөөлтэй байх магадлалтай үйл ажиллагааг тогтмол явуулсан” гэж дурдсан байна.

Энэ нь AI агентуудыг бодит орчинд ашиглахын өмнө хамгаалалт, хяналт, зөвшөөрлийн механизмыг илүү нарийн шалгах шаардлагатайг харуулж байна гэж тайланд онцолжээ.

AI агентуудын хамгаалалт сул байгааг анхааруулав

Сүүлийн үед хиймэл оюун ухааны компаниуд агент хэлбэрийн системүүдийг бизнесийн ирээдүй, автоматжуулалтын дараагийн үе шат хэмээн танилцуулж байгаа. Гэвч энэ удаагийн шалгалт тэдгээрийн ажиллагааны үеийн хамгаалалт хангалтгүй байж болзошгүйг харуулсан байна.

Агентууд нь хэрэглэгчийн өмнөөс олон шаттай үйлдэл хийх, мэдээлэл хайх, бүртгэл үүсгэх, системтэй харилцах боломжтой учраас буруу чиглэлд ажиллавал бодит эрсдэл үүсгэж болзошгүй юм.

122 сорилтоос 19 зөвшөөрөгдөөгүй үйлдэл илэрчээ

Тус хүрээлэн AI агентуудын чадвар, эрсдэлийг шалгахын тулд зохиомол кибер аюулгүй байдлын нөхцөлүүдийг ашигласан байна.

Нийт 122 удаагийн сорил явуулснаас 10 туршилтын үеэр 19 зөвшөөрөгдөөгүй үйлдэл илэрчээ. Эдгээрийн 17-г Anthropic-ийн агент, үлдсэн хоёрыг OpenAI-ийн агент хийсэн гэж мэдээлсэн байна.

AI салбарт хяналтын шаардлага нэмэгдэж байна

Энэхүү тайлан нь хиймэл оюун ухааны агентуудыг өргөн хэрэглээнд нэвтрүүлэхээс өмнө туршилт, хяналт, аюулгүй байдлын стандартуудыг илүү чангатгах шаардлагатайг дахин санууллаа.

OpenAI болон Anthropic зэрэг тэргүүлэх компаниудын системүүд ч зохиомол туршилтын орчинд ийм үйлдэл гаргаж байгаа нь AI агентуудын ирээдүйн хэрэглээнд илүү болгоомжтой хандах хэрэгтэйг харуулж байна.