Classement d'une villa au titre de la protection du patrimoine et proportionnalité de la mesure face à la garantie de la propriété

Facts

Le recourant [B.] est propriétaire de la parcelle no 1355 de la commune de Pully, supportant une ancienne villa dite "[X.] ", recensée en note 3V (objet intéressant au niveau local, présence de vitraux). La parcelle est comprise dans un plan de quartier de 1975 réservant le secteur à l'habitation, qui prévoyait un périmètre d'implantation sur la villa et un second sur la partie inférieure du parc.

En 2012, le recourant et le promettant-acquéreur [C. SA] ont sollicité un permis pour deux immeubles. La Municipalité de Pully a autorisé le bâtiment au sud mais a interdit la démolition de la villa. Le recours contre le refus relatif au bâtiment nord a été suspendu en raison d'une procédure de classement initiée par le Service cantonal immeubles, patrimoine et logistique (SIPAL). Le bâtiment sud a été construit.

Le 28 mai 2014, la cheffe du Département des infrastructures et des ressources humaines (DIRH) a classé la villa et ses abords immédiats, à l'exclusion de la partie sud, et le Département des finances et des relations extérieures (DFIRE) a levé l'opposition du recourant. Par arrêt du 16 avril 2015, la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) a annulé le classement, jugeant l'intérêt public insuffisamment établi.

Sur recours de [A.] , propriétaire voisine, le Tribunal fédéral a annulé cet arrêt le 20 juin 2016 (1C_266/2015) et renvoyé la cause pour instruction complémentaire et nouvelle pesée complète des intérêts, le refus de mesures d'instruction violant le droit d'être entendu. Après instruction complémentaire (rapport de l'historienne [E.] , rapport de l'expert [D.] , expertise spéciale de la Commission fédérale des monuments historiques, FCMH, du 1er mars 2018 proposant une réévaluation en note *2V et confirmant la justification du classement), la CDAP a rejeté le recours par arrêt du 7 août 2019, retenant que l'intérêt public à la conservation l'emportait sur les intérêts privés, notamment financiers.

Le recourant demande au Tribunal fédéral d'annuler les décisions de classement, subsidiairement le renvoi à l'instance précédente, et requiert l'effet suspensif, rejeté par ordonnance du 14 octobre 2019. Les autorités et les parties intimées concluent au rejet du recours.

Considerations

Le Tribunal fédéral examine d'abord la recevabilité. Le recours en matière de droit public est ouvert (art. 82 let. a FSCA) et le recourant, propriétaire touché, a qualité pour recourir (art. 89 al. 1 FSCA). Son exposé des faits qui s'écarte de l'état de fait cantonal est irrecevable (art. 97 et 105 FSCA), de même que les griefs nouveaux formulés en réplique (art. 47 al. 1 FSCA, droit de réplique limité) et la pièce nouvelle, une estimation de coût de rénovation de 2013, non soumise à l'instance précédente (art. 99 al. 1 FSCA).

Sur l'autorité de l'arrêt de renvoi (art. 107 al. 2 FSCA), l'autorité cantonale est liée par les considérants de l'arrêt de renvoi. Le complément d'instruction ordonné a été mené et le refus d'entendre l'expert n'était pas contraire au droit d'être entendu, le recourant n'ayant pas formellement requis cette audition. Le juge instructeur pouvait saisir la FCMH: en vertu de l'art. 17a NCHA et de l'art. 25 al. 1 let. e NCHO, une expertise spéciale est possible pour un projet pouvant porter préjudice à un objet d'importance particulière, ce qui est le cas d'une villa d'intérêt local dont la valeur patrimoniale devait être clarifiée. L'argument d'une violation de la chose jugée du premier arrêt cantonal est également rejeté, l'arrêt de renvoi ayant imposé une nouvelle pesée complète des intérêts.

Concernant la compétence des départements, la cour cantonale avait relevé une irrégularité non grave, sans nullité absolue, et la question ne faisait pas l'objet du renvoi. En tout état de cause, une éventuelle violation du droit d'être entendu a été réparée par le plein pouvoir de cognition de la cour cantonale, qui a statué sur tous les griefs.

Sur la garantie de la propriété (art. 26 Cst. et 36 Cst.), la restriction repose sur une base légale non contestée (LPNMS) et répond à un intérêt public (protection du patrimoine). Le Tribunal fédéral fait preuve de retenue face à l'appréciation de circonstances locales. L'avis de la FCMH, organe spécialisé, peut être suivi sauf objections sérieuses à la force probante; le recourant n'en démontre pas, se bornant à des critiques…