ऐप्पल ने अपने एआई मॉडल की प्रदर्शन गति में सुधार के लिए एनवीडिया के साथ साझेदारी की

सेब कृत्रिम बुद्धिमत्ता (एआई) मॉडल की प्रदर्शन गति को बेहतर बनाने के प्रयास में एनवीडिया के साथ साझेदारी कर रहा है। बुधवार को, क्यूपर्टिनो-आधारित टेक दिग्गज ने घोषणा की कि वह एनवीडिया के प्लेटफॉर्म पर अनुमान त्वरण पर शोध कर रही है, यह देखने के लिए कि क्या बड़े भाषा मॉडल (एलएलएम) की दक्षता और विलंबता दोनों को एक साथ सुधारा जा सकता है। आईफोन निर्माता ने रिकरंट ड्राफ्टर (रीड्राफ्टर) नामक एक तकनीक का इस्तेमाल किया, जिसे इस साल की शुरुआत में एक शोध पत्र में प्रकाशित किया गया था। इस तकनीक को Nvidia TensorRT-LLM अनुमान त्वरण ढांचे के साथ जोड़ा गया था।

एआई प्रदर्शन को बेहतर बनाने के लिए ऐप्पल एनवीडिया प्लेटफॉर्म का उपयोग करता है

में एक ब्लॉग भेजाApple शोधकर्ताओं ने LLM प्रदर्शन के लिए Nvidia के साथ नए सहयोग और उससे प्राप्त परिणामों के बारे में विस्तार से बताया। कंपनी ने इस बात पर प्रकाश डाला कि वह एआई मॉडल में विलंबता बनाए रखते हुए अनुमान दक्षता में सुधार की समस्या पर शोध कर रही है।

मशीन लर्निंग में अनुमान एक प्रशिक्षित मॉडल का उपयोग करते हुए डेटा या इनपुट के दिए गए सेट के आधार पर भविष्यवाणियां, निर्णय या निष्कर्ष निकालने की प्रक्रिया को संदर्भित करता है। सीधे शब्दों में कहें तो, यह एआई मॉडल का प्रसंस्करण चरण है जहां यह संकेतों को डिकोड करता है और कच्चे डेटा को संसाधित अनदेखी जानकारी में परिवर्तित करता है।

इस साल की शुरुआत में, Apple प्रकाशित और डेटा की सट्टा डिकोडिंग के लिए एक नया दृष्टिकोण लाते हुए रीड्राफ्टर तकनीक को ओपन-सोर्स किया। आवर्ती तंत्रिका नेटवर्क (आरएनएन) ड्राफ्ट मॉडल का उपयोग करते हुए, यह बीम खोज (एक तंत्र जहां एआई समाधान के लिए कई संभावनाएं तलाशता है) और गतिशील वृक्ष ध्यान (वृक्ष-संरचना डेटा को एक ध्यान तंत्र का उपयोग करके संसाधित किया जाता है) को जोड़ता है। शोधकर्ताओं ने कहा कि यह एलएलएम टोकन जेनरेशन को प्रति जेनरेशन स्टेप 3.5 टोकन तक तेज कर सकता है।

जबकि कंपनी दो प्रक्रियाओं को मिलाकर कुछ हद तक प्रदर्शन दक्षता में सुधार करने में सक्षम थी, ऐप्पल ने इस बात पर प्रकाश डाला कि गति में कोई महत्वपूर्ण वृद्धि नहीं हुई थी। इसे हल करने के लिए, शोधकर्ताओं ने ReDrafter को Nvidia TensorRT-LLM अनुमान त्वरण ढांचे में एकीकृत किया।

सहयोग के एक भाग के रूप में, NVIDIA सट्टा डिकोडिंग प्रक्रिया को बेहतर बनाने के लिए नए ऑपरेटर जोड़े गए और मौजूदा ऑपरेटरों को उजागर किया गया। पोस्ट में दावा किया गया है कि ReDrafter के साथ एनवीडिया प्लेटफ़ॉर्म का उपयोग करते समय, उन्हें लालची डिकोडिंग (अनुक्रम पीढ़ी कार्यों में उपयोग की जाने वाली डिकोडिंग रणनीति) के लिए प्रति सेकंड जेनरेट किए गए टोकन में 2.7x की गति मिली।

ऐप्पल ने इस बात पर प्रकाश डाला कि इस तकनीक का उपयोग कम जीपीयू का उपयोग करते हुए और कम बिजली की खपत करते हुए एआई प्रसंस्करण की विलंबता को कम करने के लिए किया जा सकता है।