GPT‑6 साठी अधिक चांगले प्रॉम्प्ट कॅशिंग
सातत्याने कार्यरत एजंट अधिक जलद आणि कमी खर्चात चालण्यासाठी अधिक कॅशे उपलब्धता आणि नवी साधने.
GPT‑6 मुळे पर्सिस्टंट एजंट्सना कोडबेस रिफॅक्टर करण्यापासून ते सखोल संशोधन करून दस्तऐवज आणि प्रेझेंटेशन्स तयार करण्यापर्यंतच्या गुंतागुंतीच्या कामांवर तासंतास काम करणे शक्य होते. या एजंट्समागील ॲप्लिकेशन्स API रिक्वेस्ट्सची एक मालिका करतात, जी एकमेकांवर आधारित असते आणि अनेकदा आधीच्या फेऱ्यांमधील त्याच सूचना, टूल डेफिनिशन्स आणि संदर्भ पुढे घेऊन जाते. OpenAI हा सामायिक संदर्भ कॅशे करते, ज्यामुळे रिक्वेस्ट्समध्ये कम्प्युटेशनचा पुनर्वापर करता येतो, प्रतिसाद वेळ कमी होतो आणि डेव्हलपर्सना कॅशे केलेल्या इनपुट टोकन्सवर 90% पर्यंत सूट मिळते.
GPT‑6 फॅमिलीसोबत आम्ही अधिक कॅशे उपलब्धता देणारी सुधारित प्रॉम्प्ट कॅशिंग प्रणाली सादर केली. आता 30 मिनिटांच्या कालावधीत पुन्हा वापरलेल्या पात्र सामायिक पूर्वभागांसाठी आम्ही कॅशे सवलत देतो. कॅशेच्या कामगिरीवर लक्ष ठेवणे, अनुपलब्धतेचे निदान करणे आणि प्रॉम्प्टचा किती भाग कॅशे करायचा हे ठरवणे डेव्हलपर्सना सोपे व्हावे यासाठी आम्ही नवी साधनेही सादर करत आहोत.
नवीन प्रॉम्प्ट कॅशिंग डॅशबोर्ड(नवीन विंडोमध्ये उघडेल) दाखवतो की तुमच्या ॲप्लिकेशनचे किती इनपुट कॅशेमधून दिले जाते. कालांतराने हिट रेट्सचा मागोवा घ्या आणि कॅश्ड व अनकॅश्ड टोकन्सची तुलना करण्यासाठी इनपुट कंपोझिशन चार्टचा वापर करा. हे व्ह्यूज तुम्हाला कॅशे हिट्समधील घट ओळखण्यास आणि तुमच्या ॲप्लिकेशनमधील बदलांचा कॅशिंग परफॉर्मन्सवर कसा परिणाम होतो याचे मूल्यांकन करण्यास मदत करतात.
जेव्हा तुम्हाला अनपेक्षित कॅशे मिस आढळेल, तेव्हा काय घडले हे समजून घेण्यासाठी प्रॉम्प्ट कॅशिंग डायग्नोस्टिक्स टूल (नवीन विंडोमध्ये उघडेल) वापरा. मॉडेल, टूल्स, सेटिंग्स किंवा इनपुटमधील असे बदल ओळखण्यासाठी विनंतीची अलीकडील प्रतिसादाशी तुलना करा, ज्यामुळे पुनरुपयोग रोखला गेला. प्रभावित टोकन्सची अंदाजित संख्या तुम्हाला परिणामाचे प्रमाण मोजण्यास आणि कॅशे हिट रेट्स वाढवण्यासाठी तुम्ही तुमचे इंटिग्रेशन कसे ऑप्टिमाइझ करू शकता हे ठरविण्यात मदत करते.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
काय कॅशे करायचे ते निवडा. स्पष्ट कॅशे विभाजनबिंदूंमुळे प्रॉम्प्टचे कोणते पूर्वभाग पुन्हा वापरायचे हे तुम्ही ठरवू शकता. अद्ययावत प्रॉम्प्ट कॅशिंग मार्गदर्शक(नवीन विंडोमध्ये उघडेल) त्यांचा वापर कसा करायचा, कॅशे केलेले पूर्वभाग किती काळ पात्र राहतात आणि साधने व इनपुटमधील बदलांचा पुनर्वापरावर कसा परिणाम होतो हे स्पष्ट करतो.
कॅशे न मोडता रीझनिंग प्रक्रियेचा प्रयत्न समायोजित करा. GPT‑6 मॉडेल्सवर, तुम्ही आता कॅशे न मोडता प्रतिसादांमधील रीझनिंग प्रक्रियेचा प्रयत्न बदलू(नवीन विंडोमध्ये उघडेल) शकता. विनंती-स्तरावरील तर्कप्रक्रियेचा प्रयत्न न बदलता, configuration_update जोडून अधिक कठीण कार्यासाठी प्रयत्न वाढवा किंवा नेहमीच्या पाठपुराव्यासाठी तो कमी करा. यामुळे तुम्ही पुनर्वापर करण्यायोग्य संदर्भ जतन करून, एखाद्या कार्याला किती रीझनिंगची आवश्यकता आहे हे समायोजित करू शकता.
साधने आणि सूचना बदलल्यास कॅशे जतन करा. तुमच्या एजंटच्या साधन वापराच्या गरजा बदलल्यास, साधनांच्या व्याख्या, स्कीमा आणि क्रम स्थिर ठेवा जेणेकरून पूर्वीचा संदर्भ पुन्हा वापरता येईल. व्याख्या काढून टाकण्याऐवजी, फक्त संबंधित साधनेच वापरता यावीत यासाठी allowed_tools वापरा, किंवा जेव्हा कोणत्याही साधनांची आवश्यकता नसेल तेव्हा tool_choice ला none वर सेट करा. जुन्या सूचनांना ओव्हरराइड करण्यासाठी संदर्भाच्या शेवटी नवीन सूचना जोडण्याकरिता नवीन डेव्हलपर मेसेजेस वापरा. साधनांमधील बदल व्यवस्थापित करण्यावरील आमचे मार्गदर्शन(नवीन विंडोमध्ये उघडेल) पहा.
विलंब कमी करण्यासाठी कॅशे प्रीवॉर्म करा. प्रीवॉर्मिंगमुळे(नवीन विंडोमध्ये उघडेल) ज्ञात संदर्भ वेळेआधीच तयार ठेवला जातो, जेणेकरून विनंती आल्यावर मॉडेल लवकर प्रतिसाद देण्यास सुरुवात करू शकेल. उदाहरणार्थ, एखादे ॲप्लिकेशन स्टार्टअपच्या वेळी, वापरकर्त्याने आपला पहिला प्रश्न विचारण्यापूर्वी, शेअर्ड इन्स्ट्रक्शन्स, टूल डेफिनिशन्स किंवा संदर्भ साहित्य प्रीवॉर्म करू शकते. यामुळे प्रोसेसिंग वापरकर्त्याच्या प्रतीक्षा वेळेतून बाहेर पडते.
ही ऐच्छिक नियंत्रणे इंजिनच्या नेहमीच्या कामगिरीवर आधारित असून तुमच्या कार्यभारानुसार कॅशिंग जुळवण्यास मदत करतात.
प्रॉम्प्ट कॅशिंग डॅशबोर्डवर(नवीन विंडोमध्ये उघडेल) कॅशे उपलब्धतेच्या प्रमाणावर लक्ष ठेवा.
निदान साधनाने(नवीन विंडोमध्ये उघडेल) अनपेक्षित कॅशे अनुपलब्धतेची चौकशी करा.
तुमची मांडणी सुधारण्यासाठी प्रॉम्प्ट कॅशिंग मार्गदर्शकाचे(नवीन विंडोमध्ये उघडेल) अनुसरण करा किंवा कोडचे परीक्षण, सुधारणा लागू करणे आणि परिणाम मोजणे यासाठी Codex वापरा(नवीन विंडोमध्ये उघडेल).
