Pjesa më kryesore e arkitekturës së Von Neumann-it është programi i ruajtur, udhëzime në gjuhën e makinës (machine language) të cilat ruhen në memorje si vlera binare. Detyra e pajisjes kontrolluese (control unit) është që merr (fetch) nga memorja udhëzimin që duhet të zbatohet, të bëjë deshifrimin e tij (decode) – të kuptojë se çka duhet të bëhet, dhe të kryejë (execute) atë udhëzim nëpërmjet dërgimit të komandës së duhur ndërmjet ALU, memorjes dhe I/o kontrolluesit. Këto 3 veprime përsëriten herë pas here derisa të arrijmë udhëzimin e fundit të programit, që mund të quhet si NDAL (halt, stop ose quit).

Njëherë duhet të kuptojmë se çka janë udhëzimet e gjuhës së makinës (machine language). Udhëzimet të cilat mund të deshifrohen dhe të kryhen nga pajisja kontrolluese e një kompjuteri janë të shprehura në gjuhë të makinës. Ky udhëzim përmban kodin e operacionit (operation code, shkurtë op code) si dhe fushat e adresës (address fields).  Pjesa e op code mban të gjitha operacionet që mund të kryhen, ndërsa fushat e adresës mbajnë të dhënat që do shfrytëzohen gjatë kalkulimit. Psh, nëse do të duhej të bëhej mbledhja e dy vlerave të ndryshme, atëherë kjo do bëhej duke e shënuar kodin e mbledhjes në pjesën e op code, ndërsa vlerat do shënohen te adresa:

Përmbledhja e të gjitha operacioneve të cilat mund të kryhen nga procesori quhen Përmbledhja e Udhëzimit (instruction set). Puna më e rëndë gjatë dizajnimit të një kompjuteri është që të vendoset se cilat operacione të jenë në këtë përmbledhje e cilat jo. Nuk ka ndonjë marrëveshje univerzale për këtë çështje, prandaj një kompjuter që përdor procesor Apple A8 nuk mund të kryejë programet që janë krijuar për një procesor tjetër, për shembull Intel Core i7. Kjo pasiqë op code dhe adresat të cilat i kanë këto dy procesorë janë të zbatuara ndryshe dhe nuk janë të përshtatshme për njëra tjetrën. Fuqia e procesorit nuk është në komplikimin e kësaj përmbledhjeje të udhëzimeve, por në faktin se sa shpejtë mund të kryejë ndonjë udhëzim.