Он родился в семье военного, его отец – Исаак Ярмольник – был офицером Советской Армии, мама – Фаина – врачом. В 60-е годы семья Ярмольников осела во Львове. Там Леонид пошел в школу, в которой учился легко, но без усердия. Увлечений у него в детстве было много, и они менялись с калейдоскопической быстротой. Например, одно время он мечтал играть на аккордеоне. И однажды родители действительно купили его сыну и отвели в музыкальную школу, обучение в которой стоило 15 рублей в месяц (по тем временам деньги большие). Но, проучившись в ней пять лет, Леонид уложил аккордеон в футляр и больше никогда к нему не прикасался.
После аккордеона всеми мыслями Леонида надолго завладел другой предмет – велосипед. И вновь родители не смогли отказать своему сыну в новом увлечении и купили ему «Орленок» с женской рамой. Но вскоре они об этом пожалели. Во время очередного катания их сын наехал на камень, упал и сломал себе нос. (Во второй раз Ярмольник сломал его же, катаясь с горки – не рассчитав скорость, он врезался в стену.)
По словам будущего актера, родители его почти никогда не наказывали. Единственный раз он вызвал гнев отца, когда тот узнал об его страстном увлечении игрой на деньги в «коц» (в Москве эту игру называли «расшибалочкой»). Выигранные таким способом деньги Леонид прятал дома под половицей. Но однажды она отошла, и отец обнаружил тайник. Его гневу не было предела – он взял ремень и впервые выпорол сына.
В старших классах любовью Ярмольника стала литература и театр, ради которого он даже поступил в театральную студию при Народном театре имени Ленинского комсомола. Одно время его отец мечтал, чтобы сын продолжил их военную династию, но затем эта идея сошла на нет. В 1970 году обострились отношения СССР с Израилем (причем «холодную войну» открыл последний), и уже через год начался еврейский исход из Союза. В итоге избрать профессию военнослужащего советским евреям стало проблематично. И Леонид решил податься в артисты, благо в этой среде его соплеменников было с избытком.