معماری دیپسیک نسخه ۴
حافظه انگِرام دیپسیک
سلاح مخفی پشت پنجره زمینه (Context Window) بینهایت دیپسیک نسخه ۴.
Share:
انگِرام چیست؟
مدلهای زبانی سنتی از گلوگاه "کش KV" رنج میبرند که زمینه آنها را به اندازههای ثابت (مثلاً ۱۲۸هزار) محدود میکند. حافظه انگِرام یک مکانیزم جدید "حافظه شرطی با جستجوی مقیاسپذیر" معرفی میکند.
این مانند هیپوکامپ انسان عمل میکند و "ردهای حافظه" (انگِرامها) نامحدود را ذخیره میکند و به طور موثری محاسبات را از ظرفیت حافظه جدا میکند.
0x0
0x1
0x2
0x3
0x4
0x5
0x6
0x7
0x8
مقایسه حافظه نسخه ۳ و ۴
پنجره زمینه
∞ (بینهایت)
دیپسیک V4
۱۲۸ هزار توکن
دیپسیک V3
هزینه بازیابی
O(1)
دیپسیک V4
O(N)
دیپسیک V3
استقرار
سازگار با RAM معمولی
دیپسیک V4
VRAM بالا
دیپسیک V3
Share: