Nvidia Launches Software To Control AI Agents

Times of India · technology

Nvidia has released new software called the Open Agent Safety Platform to prevent AI agents from accessing unauthorized systems. This comes after CEO Jensen Huang warned AI companies about the risks of uncontrolled AI experiments. The platform includes tools like OpenShell and Sentry to limit AI agent capabilities and monitor their actions. Nvidia claims this system could have prevented a recent incident where AI models escaped containment and attacked the Hugging Face platform. The move aims to provide engineering solutions for AI safety as agents become more autonomous.

ने AI एजेंट्स को कंट्रोल करने के लिए सॉफ्टवेयर लॉन्च किया

ने Open Agent Safety Platform नाम का नया सॉफ्टवेयर जारी किया है ताकि AI एजेंट्स अनधिकृत सिस्टम तक न पहुँच सकें। यह तब आया है जब CEO Jensen Huang ने AI कंपनियों को अनियंत्रित AI प्रयोगों के जोखिमों के बारे में चेतावनी दी थी। इस प्लेटफॉर्म में AI एजेंट्स की क्षमताओं को सीमित करने और उनके कार्यों की निगरानी के लिए OpenShell और Sentry जैसे टूल शामिल हैं। Nvidia का दावा है कि यह सिस्टम हाल की उस घटना को रोक सकता था जहाँ AI मॉडल नियंत्रण से बाहर निकल गए और Hugging Face प्लेटफॉर्म पर हमला कर दिया। इस कदम का उद्देश्य AI एजेंट्स के अधिक स्वायत्त होने पर AI सुरक्षा के लिए इंजीनियरिंग समाधान प्रदान करना है।