Jen jedno manželství Ladislava Freje se povedlo: Jinak neštěstí, potraty a neplodnost!

První
O první Frejově ženě A. Sklenarikové se toho příliš neví. Byla to velká studentská láska, ale v manželství se brzy objevily vážné problémy. I když ze soužití vzašel nejstarší syn pana Ladislava David, manželství to nezachránilo. Dvojice si nerozuměla, navíc se manželka se synem rozhodla emigrovat do Švýcarska, v důsledku čehož se dlouhé roky nevídali. Se synem dodnes komunikují v angličtině.

Druhá
Druhou ženou, kterou pojal za manželku, byla herečka Gabriela Wilhelmová (†60). Jejich vztah však poznamenaly dva potraty, což jim na perspektivě do budoucna nepřidalo. S oblíbenou ráznou herečkou měli prý doma "Itálii". Je pravda, že jejich manželské soužití nedopadlo dobře, dvojice však i poté zůstala v přátelském styku. Ten trval v podstatě až do roku 2002, kdy Wilhelmová zemřela na rakovinu po šestileté nemoci.
Třetí
Do třetice všeho dobrého i zlého se dal dohromady s krásnou herečkou Evelynou Steimarovou. Dohromady se dali v průběhu společného angažmá ve Zlíně, tehdejším Gottwaldově. Ačkoli dvojice toužila pod dětech, ani v tomto případě jim osud nepřál. "Nešlo to, mohli jsme mít oba děti, ale bohužel ne spolu," svěřil se Frej v knize Herecká manželství. Po roce se jejich nenaplněný vztah rozpadl, to již Evelyna čekala dceru Vendulu s textařem Zdeňke Rytířem (†69) a Ladislav dceru Kristýnu s Věrou Galatíkovou.
Čtvrtá
Věra Galatíková byla tedy čtvrtou ženou Ladislava Freje, ale to, že spolu měli dvě děti (ke Kristýně přibyl ještě syn Láďa) Freje nepřimělo, aby si herečku vzal. Bránil se dlouho a jejich manželství bylo plné lásky i divokých zvratů. Nakonec Ladislav těžce onemocněl svalovou chřipkovou a paní Věra se o něj obětavě starala během hospitalizace. Tenkrát ji konečně požádal o ruku, protože Galatíková ještě nikdy vdaná nebyla a její rodině se to příliš nelíbilo. Nakonec spolu v manželství strávili spokojených 36 let, které ukončila až rakovina plic herečky v roce 2007.