Geresnis „GPT‑6“ užklausų podėliavimas
Didesni podėlio atitikčių rodikliai ir nauji įrankiai, padedantys ilgai veikiantiems agentams dirbti greičiau ir mažesnėmis sąnaudomis.
„GPT‑6“ suteikia ilgai veikiantiems agentams galimybę valandų valandas vykdyti sudėtingas užduotis nuo programinio kodo bazių pertvarkymo iki išsamiais tyrimais pagrįstų dokumentų ir pateikčių rengimo. Šiuos agentus valdančios programos siunčia viena kita grindžiamų API užklausų seką, dažnai pakartotinai perduodamos tas pačias instrukcijas, įrankių apibrėžtis ir ankstesnių sąveikų kontekstą. „OpenAI“ šį bendrą kontekstą laiko podėlyje, kad skaičiavimus būtų galima pakartotinai naudoti skirtingoms užklausoms. Taip trumpėja atsako laikas, o kūrėjams podėlyje laikomiems įvesties tokenams taikoma iki 90 % nuolaida.
Kartu su „GPT‑6“ šeima pristatėme patobulintą užklausų podėliavimo sistemą, kuri pagal numatytuosius nustatymus užtikrina didesnį podėlio atitikties rodiklį. Dabar nuolaidos taikomos tinkamiems bendriems prefiksams, pakartotinai panaudotiems per 30 minučių laikotarpį. Taip pat pristatome naujus įrankius, padedančius kūrėjams stebėti podėlio našumą, nustatyti nepataikymų priežastis ir pasirinkti, kokią užklausos dalį laikyti podėlyje.
Naujajame užklausų podėliavimo valdymo skydelyje(atsidaro naujame lange) rodoma, kokia programos įvesties dalis pateikiama iš podėlio. Stebėkite podėlio atitikčių rodiklį laikui bėgant, o įvesties sudėties diagramoje palyginkite podėlyje rastus ir nerastus tokenus. Šie rodiniai padeda pastebėti, kada sumažėja podėlio atitikčių, ir įvertinti, kaip programos pakeitimai veikia podėlio naudojimo efektyvumą.
Jei pastebite netikėtą podėlio neatitiktį, pasinaudokite užklausų podėliavimo diagnostikos įrankiu(atsidaro naujame lange), kad suprastumėte, kas nutiko. Palyginkite užklausą su neseniai gautu atsakymu ir nustatykite, kokie modelio, įrankių, nustatymų ar įvesties pokyčiai sutrukdė pakartotinai panaudoti podėlyje saugomą turinį. Apytikris paveiktų tokenų skaičius padės įvertinti poveikio mastą ir nuspręsti, kaip patobulinti integraciją, kad podėlio atitikčių rodiklis būtų kuo didesnis.
{
"prompt_cache_diagnostics": {
"type": "cache_miss",
"reason": "tools_changed",
"comparison_reusable_tokens": 5629,
"cache_missed_tokens": 5629
}
}
Pasirinkite, ką laikyti podėlyje. Aiškiai nustatytos podėlio ribos leidžia pasirinkti, kurias pradines užklausų dalis naudoti pakartotinai. Atnaujintame užklausų podėliavimo vadove(atsidaro naujame lange) paaiškinta, kaip juos naudoti, kiek laiko podėlyje esantys prefiksai išlieka tinkami ir kaip įrankių bei įvesčių pakeitimai veikia pakartotinį naudojimą.
Keiskite protavimo intensyvumą nesutrikdydami podėlio veikimo. „GPT‑6“ modeliuose dabar galima keisti protavimo intensyvumą(atsidaro naujame lange) tarp atsakymų nesutrikdant podėlio veikimo. Sudėtingesnei užduočiai intensyvumą padidinkite, o įprastam tolesniam veiksmui – sumažinkite, pridėdami configuration_update ir nekeisdami užklausos lygmens protavimo intensyvumo. Taip galite nustatyti užduočiai reikalingą protavimo intensyvumą ir išsaugoti pakartotinai naudojamą kontekstą.
Išsaugokite podėlį keičiantis įrankiams ir instrukcijoms. Keičiantis agento įrankių naudojimo poreikiams, nekeiskite įrankių apibrėžčių, schemų ir jų eiliškumo, kad ankstesnį kontekstą būtų galima naudoti pakartotinai. Užuot šalinę apibrėžtis, naudokite allowed_tools, kad būtų galima iškviesti tik reikiamus įrankius, arba nustatykite tool_choice reikšmę „none“, kai įrankių nereikia. Naujas instrukcijas pridėkite konteksto pabaigoje naujais kūrėjo pranešimais, kad jos pakeistų ankstesnes. Žr. mūsų rekomendacijas, kaip valdyti įrankių pakeitimus(atsidaro naujame lange).
Iš anksto paruoškite podėlį, kad sumažintumėte delsą. Išankstinis podėlio paruošimas(atsidaro naujame lange) leidžia iš anksto apdoroti žinomą kontekstą, kad gavęs užklausą modelis galėtų greičiau pradėti atsakyti. Pavyzdžiui, paleidžiama programa gali iš anksto paruošti bendras instrukcijas, įrankių apibrėžtis ar informacinę medžiagą, dar prieš naudotojui užduodant pirmąjį klausimą. Taip apdorojimas atliekamas iš anksto, o ne tada, kai naudotojas laukia atsakymo.
Šios pasirenkamos valdymo priemonės papildo numatytąjį sistemos variklio našumą ir padeda pritaikyti podėlio naudojimą pagal darbo krūvį.
Stebėkite podėlio atitikčių rodiklius užklausų podėliavimo valdymo skydelyje(atsidaro naujame lange).
Netikėtų podėlio neatitikčių priežastis nustatykite naudodami diagnostikos įrankį(atsidaro naujame lange).
Vadovaukitės užklausų podėliavimo vadovu(atsidaro naujame lange), kad patobulintumėte sąranką, arba naudokite „Codex“(atsidaro naujame lange) programiniam kodui peržiūrėti, patobulinimams pritaikyti ir rezultatams įvertinti.
