Rachats supplémentaires en vue d'une retraite anticipée : nullité faute de demande écrite préalable et restitution des versements

En fait

Le recourant, [A.] , a été directeur de la Fondation [B.] dès le 1er janvier 2005, institution de prévoyance de droit privé dite enveloppante, après avoir travaillé pour [C.] dès 2004. Il a également travaillé à temps partiel pour la société [D. SA] de 2007 à 2016, affilié à la Caisse Inter-Entreprises de prévoyance professionnelle (CIEPP).

Le 26 mai 2015, il a versé 43'420 fr. 30 à la Fondation [B.] au titre du rachat maximal de cotisations. Le 10 novembre 2015, il a annoncé à la direction de [C.] vouloir prendre une retraite anticipée avec effet au 30 juin 2016.

Le 25 juillet 2016, la Fondation a calculé une prestation de libre passage convertible en rente de 1'248'086 fr. 39, tenant compte de sommes de 482'280 fr. 20, 37'242 fr. 67 et 21'609 fr. 80 versées les 6 avril et 30 juin 2016, provenant de la CIEPP et de fondations de prévoyance 3a (Banque Coop/Banque Cler et PostFinance).

Le 3 janvier 2017, la Fondation a constaté que les versements des 15 mars, 19 avril et 2 juin 2016 n'étaient pas admissibles. Elle a remis un décompte rectificatif le 26 avril 2017, réduisant la rente et réclamant 51'081 fr. 50 correspondant au trop-perçu de juillet 2016 à avril 2017. Au printemps 2017, elle a transféré 437'589 fr. 80 à la CIEPP, 37'691 fr. 42 à la Fondation de prévoyance 3a Banque Cler (restitué le 18 juillet 2017 faute d'instructions) et 21'837 fr. 51 à la Fondation 3a PostFinance.

Par demande du 20 décembre 2017, modifiée le 30 novembre 2018, le recourant a agi devant le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en paiement des prestations légales et réglementaires calculées sur l'avoir de vieillesse au 30 juin 2016, subsidiairement en constatation d'une obligation de remboursement à dire d'expert. La Fondation a conclu au rejet et, reconventionnellement, à la restitution de 51'081 fr. 50. Une audience d'instruction du 13 mars 2019 a entendu les parties et deux gestionnaires de la Fondation.

Par jugement du 18 octobre 2019, le Tribunal cantonal a rejeté la demande, ordonné à la Fondation de transférer 37'242 fr. 67 plus intérêts à la Fondation 3a Banque Cler, admis partiellement la demande reconventionnelle, condamné le recourant à restituer 51'081 fr. 50 et ordonné le transfert de cette somme à la CIEPP.

Le recourant forme un recours en matière de droit public au Tribunal fédéral, concluant principalement à la validité des rachats des 19 avril et 2 juin 2016, subsidiairement au renvoi de la cause. La Fondation conclut au rejet. L'Office fédéral des assurances sociales renonce à se déterminer.

En droit

Le Tribunal fédéral applique le droit d'office mais ne revoit les faits que s'ils ont été établis de manière manifestement inexacte (arbitraire) ou en violation du droit (art. 105 al. 1, 97 al. 1 et 106 al. 2 LTF). Les critiques appellatoires sont irrecevables, et les pièces postérieures au jugement cantonal ne sont pas prises en considération (art. 99 al. 1 LTF). L'interprétation d'un règlement de prévoyance privé se fait selon les règles générales des contrats (art. 18 al. 1 CO), en recherchant d'abord la réelle et commune intention, puis selon le principe de la confiance, et subsidiairement la règle de la clause ambiguë.

Sur le fond, l'art. 13 al. 2 LPP permet une retraite anticipée dès 58 ans, et l'art. 1b OPP 2 autorise des rachats supplémentaires en vue de compenser la réduction des prestations, à condition que les prestations ne dépassent pas de plus de 5 % l'objectif réglementaire en cas de renonciation à la retraite anticipée. Le règlement de la Fondation (art. 5 ch. 1 et art. 16 par. 6) subordonne ces versements à une demande écrite de l'assuré et à une autorisation de la Fondation. Ces rachats doivent être fixés à l'avance selon des critères schématiques et objectifs; l'institution doit concevoir a priori son plan de prévoyance pour respecter la limite de 5 %.

Le droit d'être entendu (art. 29 al. 2 Cst.) n'a pas été violé: la Fondation avait soutenu dès ses écritures que les versements étaient illicites, de sorte que le recourant devait s'attendre à ce que la nullité soit examinée, le juge pouvant appliquer le droit d'office (jura novit curia). Les pièces nouvelles produites à ce titre sont irrecevables.

L'exigence d'une demande écrite n'est pas une simple prescription d'ordre ni une clause ambiguë ou insolite: elle permet à la Fondation de vérifier a priori la conformité des rachats aux exigences légales et réglementaires impératives. Les gestionnaires avaient d'ailleurs indiqué qu'un questionnaire était remis à l'assuré pour examiner le potentiel de rachat. La Fondation ne disposait certes pas d'un pouvoir d'appréciation…