Il est également père de trois autres garçons dont Julien (1996) et Simon (2000) issus tous deux de sa relation avec sa première épouse Valérie Sapienza (1988–2001) et aussi d’Enzo (2004), son fils avec l’animatrice Flavie Flament (2002–2008).
Benjamin Castaldi a également épousé en troisièmes noces Vanessa Broussouloux (2011-2014). C’est depuis le tapis rouge du festival de Deauville que l’ex-présentateur de Secret Story a officialisé sa relation avec son actuel compagne Aurore Aleman. Le 27 août 2016, le père de quatre enfants épouse finalement la directrice de casting chez Endemol en quatrièmes noces.
Avant de trouver refuge dans les bras de Benjamin Castaldi, son ancienne femme Flavie Flament partageait la vie d’un certain Bernard Flament. Son premier fils, Antoine est né en décembre 1995 de son union avec le réalisateur de cinéma.
Après leur divorce, elle a fait le choix de garder le nom de son ex-mari devenu courant 2000, réalisateur de nombreuses émissions dont Balance ton post, Touche pas à mon poste et C’est que de la télé sur C8. Tout ça pour dire qu’il a été certainement amené à côtoyer Benjamin Castaldi dans les coulisses de C8.