Frank Visser groeide op in een katholiek gezin met zeven kinderen dat na de dood van zijn vader in geldnood kwam. Alles in zijn jeugd was katholiek en hij hield ervan, was goed ‘in godsdienst’, al bracht hij al vroeg de leraren in verlegenheid met zijn vragen. Meer