Kur Von Neumann e përshkruajti modelin e tij ideal të kompjuterit, ai vendosi vetëm një lloj memorje. Sa herë që kompjuterit do i nevojitej ndonjë udhëzim apo ndonjë informatë atëherë do të mund ti merr nga RAM. Por, inxhinierët e kuptuan se përderisa kompjuterët bëheshin më të shpejtë, procesori vazhdimisht qëndronte pa punë përderisa priste që të arrijnë informatat tek ai. Ka mundësi që të vendosen RAM memorje më të shpejta, por këto do e rrisnin tepër çmimin e laptopëve dhe kompjuterëve.
Për të zgjidhur këtë problem, u mendua që të vendoset një memorje tjetër e cila do të përshpejtonte punën e procesorit dhe nuk do lejonte që të humbej koha e tij. Logjika thotë se kur një program të përdorë disa udhëzime, ka shum gjasa se ato udhëzime do i duhen përsëri në të ardhmen e afërt. Gjithashtu ka shumë gjasa se do të ketë nevojë edhe për informatat që e kanë adresën afër kësaj të parës. Prandaj, kur procesori thërret ndonjë udhëzim për herë të parë, ky udhëzim kopjohet në CACHE. Në qoftë se do i nevojitet përsëri procesorit, në fillim do të sheh se a gjendet ky udhëzim apo këto informata në CACHE. Nëse janë aty atëherë do ti merr aty. Por, nëse nuk janë aty, vetëm atëherë do të kërkojë në RAM. Prandaj është shum e nevojshme që kompjuteri të ketë një CACHE sa më të mirë, jo vetëm RAM të shpejtë. Fotoja më poshtë e sqaron më mirë këtë problematikë dhe zgjidhjen e saj:
CACHE është 5 deri 10-të herë më i shpejtë se RAM por është shumë më i vogël gjithashtu. Nuk ka të bëjë me GB por me MB. Kjo madhësi kaq e vogël nuk është problem sepse kompjuteri nuk i mban të gjitha udhëzimet dhe të dhënat këtu, por vetëm ato disa që mendon se do i duhen përsëri.
D.m.th kur kompjuterit i nevojitet një informatë, nuk kërkon në RAM, por njëherë kontrollon nëse kjo që i duhet gjendet në CACHE. Nëse gjendet aty, atëherë e merr dhe e përpunon shumë më shpejtë sepse e ka më afër. Por, nëse nuk është aty atëherë e kërkon në RAM me shpejtësi më të vogël. Pastaj informatat e fundit që i ka marrë sëbashku me disa “fqinj” informata që gjenden afër i kopjon në CACHE sepse ndoshta në të ardhmen e afërt do i duhen.
Paramendoni sikur shtëpitë të mos kishin frigorifer. Sa herë që do na duhej diçka do të shkonim në shitore që ta marrim. Prandaj, nëse kemi frigorifer, në fillim shohim nëse produkti që na duhet gjendet aty. Nëse nuk gjendet, atëherë shkojmë në shitore dhe e marrim aty. Por, nëse gjendet aty, atëherë koha e marrjes është shumë herë më e shpejtë.
