Mati i Elis nose rane iz prošlosti, zbog čega ih ljudi koji ih okružuju smatraju čudnim. Matijeva sestra sa teškoćama u razvoju umrla je kada su bili deca, u trenutku kada Mati nije bio pored nje iako je trebalo da je čuva. On je veoma inteligentan i postaje uspešan naučnik, ali tugu i krivicu koje oseća ispoljava tako što, s vremena na vreme, povređuje sam sebe.
Elis je kao mala doživela nesreću na skijanju, zbog koje šepa i trpi stalne bolove. U školi su je zbog toga ismevali, te ona i kao odrasla osoba oseća posledice teškog odrastanja – boluje od anoreksije. Njih dvoje upoznaju se kao tinejdžeri, ali posle nekog vremena gube kontakt.
Osam godina kasnije ponovo se sreću. Osećaju jaku privlačnost jedno prema drugom zbog sudbine koju dele, ali teško im je da postanu bliski.
Privlačnost filma, kao i privlačnost romana, leži u činjenici da junaci stalno iznova pronalaze svoj odraz u životu i osobi onog drugog, i pokušavaju da od toga nešto stvore. Kako odrastaju i traže put ka razumevanju, suočavaju se sa roditeljima i prijateljima koje njihova osobitost istovremeno privlači i odbija. Uznemiravajući, kompleksan i ubedljiv, "Usamljenost prostih brojeva" je divan portret različitosti.