Vaikka Pauli Virran isä olikin aikanaan maan kuuluisin laulaja, ei perheen elämä ollut kaiken sen kateuden arvoista, josta Olavi Virran poika sai kouluaikoinaan kärsiä. Koulutoverit ja opettajat Kaisaniemen kansakoulussa tekivät Pauli Virran elämästä niin tukalaa, että poika lakkasi menemästä kouluun.
− Yksi opettaja otti minut silmätikukseen ja löi kepillä päähän, Pauli Virta muistelee.
Hän kertoo olleensa paljon poissa koulusta. Kerran hän lintsasi kokonaisen lukukauden. Silloin tällöin hän otti hatkat myös kotoa. 12-vuotiaana Virta oli karkuteillä kokonaisen viikon. Virta luulee, että hänen vanhempansa kyllä tiesivät, missä poika luuraa, vaikka asiasta ei koskaan puhuttukaan.
Vanhempien kanssa ei muutenkaan juuri keskusteltu. Virran isä ja äiti olivat paljon poissa kotoa; isä laulukeikoilla, ja äiti töissä Stockmannin tavaratalossa. Olavi Virran äiti asui perheen kanssa ja huolehti lasten kaitsemisesta.
− Hän oli katkera ja hyvin ankara ihminen, joka eli elämäänsä isäni kautta. Isäkin sanoi niin, Virta kertoo.
Perhe-elämän malli Ruotsista
Virtojen perheellä oli kesäpaikka Ruotsissa. Naapurustossa oli maatalo, jossa Pauli viihtyi hyvin. Hän viettikin kymmenen kesää maalla ja osallistui maatilan töihin talon väen kanssa.
− Joka päivä kello 12 koko perhe kokoontui syömään yhdessä. Sieltä otin mallin, miten oma perhe-elämä pitää järjestää. Ehkä siksi muutinkin maalle erottuani Titasta (Jokinen). Vaikkei elämä maalla olekaan enää niin romanttista, Virta pohtii.
Myös Helsingistä löytyi aikuisia, joiden kanssa Virta viihtyi. Hän tutustui Kaisaniemessä olleen Union-nimisen bensa-aseman pitäjään ja hänen vaimoonsa. Virta meni usein bensa-asemalle koulun sijaan ja vietti paljon aikaa aseman pariskunnan kanssa.