Sachverhalt
Der Beschwerdeführer [B.] ist Eigentümer der Parzelle Nr. 1355 der Gemeinde Pully, auf der sich eine ehemalige Villa namens "[X.] " befindet, die in Anmerkung 3V verzeichnet ist (Objekt von lokalem Interesse, Vorhandensein von Glasmalereien). Die Parzelle liegt in einem Quartierplan von 1975, der den Sektor dem Wohnen vorbehält und einen Baubereich auf der Villa sowie einen zweiten auf dem unteren Teil des Parks vorsah.
Im Jahr 2012 ersuchten der Beschwerdeführer und die Kaufinteressentin [C. SA] um eine Baubewilligung für zwei Gebäude. Die Gemeinde Pully bewilligte das südliche Gebäude, untersagte jedoch den Abbruch der Villa. Die Beschwerde gegen die Verweigerung betreffend das nördliche Gebäude wurde wegen eines vom kantonalen Dienst Immobilien, Patrimonium und Logistik (SIPAL) eingeleiteten Unterschutzstellungsverfahrens sistiert. Das südliche Gebäude wurde errichtet.
Am 28. Mai 2014 stellte die Vorsteherin des Departements für Infrastruktur und Humanressourcen (DIRH) die Villa und ihre unmittelbare Umgebung unter Schutz, mit Ausnahme des südlichen Teils, und das Departement für Finanzen und auswärtige Beziehungen (DFIRE) hob die Einsprache des Beschwerdeführers auf. Mit Urteil vom 16. April 2015 hob die Kammer für Verwaltungs- und öffentliches Recht des Waadtländer Kantonsgerichts (CDAP) die Unterschutzstellung auf, da das öffentliche Interesse als ungenügend belegt beurteilt wurde.
Auf Beschwerde von [A.] , der Nachbarin, hob das Bundesgericht dieses Urteil am 20. Juni 2016 auf (1C_266/2015) und wies die Sache zur ergänzenden Abklärung und zu einer erneuten, vollständigen Interessenabwägung zurück, da die Verweigerung von Beweismassnahmen das rechtliche Gehör verletzte. Nach ergänzender Abklärung (Bericht der Historikerin [E.] , Bericht des Experten [D.] , Sonderexpertise der Eidgenössischen Kommission für Denkmalpflege, EKD, vom 1. März 2018, die eine Neubewertung in Anmerkung *2V vorschlug und die Begründetheit der Unterschutzstellung bestätigte), wies die CDAP die Beschwerde mit Urteil vom 7. August 2019 ab und befand, dass das öffentliche Interesse an der Erhaltung gegenüber den privaten, insbesondere finanziellen Interessen überwiege.
Der Beschwerdeführer beantragt beim Bundesgericht die Aufhebung der Unterschutzstellungsverfügungen, eventualiter die Rückweisung an die Vorinstanz, und verlangt die aufschiebende Wirkung, die mit Verfügung vom 14. Oktober 2019 abgelehnt wurde. Die Behörden und die Beschwerdegegner beantragen die Abweisung der Beschwerde.
Erwägungen
Das Bundesgericht prüft zunächst die Zulässigkeit. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gegeben (Art. 82 lit. a BGG), und der Beschwerdeführer als betroffener Eigentümer ist zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Seine Sachverhaltsdarstellung, die vom kantonalen Sachverhalt abweicht, ist unzulässig (Art. 97 und 105 BGG), ebenso die in der Replik vorgebrachten neuen Rügen (Art. 47 Abs. 1 BGG, beschränktes Replikrecht) und das neue Beweismittel, eine Kostenschätzung für eine Renovation aus dem Jahr 2013, das der Vorinstanz nicht unterbreitet wurde (Art. 99 Abs. 1 BGG).
Zur Bindungswirkung des Rückweisungsentscheids (Art. 107 Abs. 2 BGG) ist festzuhalten, dass die kantonale Behörde an die Erwägungen des Rückweisungsentscheids gebunden ist. Die angeordnete ergänzende Abklärung wurde durchgeführt, und die Verweigerung der Anhörung des Experten verstiess nicht gegen das rechtliche Gehör, da der Beschwerdeführer diese Anhörung nicht formell beantragt hatte. Der Instruktionsrichter durfte die EKD anrufen: Gemäss Art. 17a NHG und Art. 25 Abs. 1 lit. e NHV ist eine Sonderexpertise möglich für ein Projekt, das ein Objekt von besonderer Bedeutung beeinträchtigen kann, was bei einer Villa von lokalem Interesse, deren denkmalpflegerischer Wert zu klären war, der Fall ist. Das Argument einer Verletzung der Rechtskraft des ersten kantonalen Urteils wird ebenfalls verworfen, da der Rückweisungsentscheid eine erneute, vollständige Interessenabwägung vorschrieb.
Was die Zuständigkeit der Departemente betrifft, hatte die Vorinstanz eine nicht schwerwiegende Unregelmässigkeit festgestellt, die nicht zur Nichtigkeit führte, und die Frage war nicht Gegenstand der Rückweisung. Jedenfalls wurde eine allfällige Verletzung des rechtlichen Gehörs durch die volle Kognition der Vorinstanz geheilt, die über alle Rügen entschieden hat.
Zur Eigentumsgarantie (Art. 26 BV und Art. 36 BV) beruht die Einschränkung auf einer unbestrittenen gesetzlichen Grundlage (LPNMS) und entspricht einem öffentlichen Interesse (Denkmalschutz). Das Bundesgericht übt Zurückhaltung bei der Würdigung lokaler Umstände. Die Einschätzung der EKD als spezialisiertes Organ kann übernommen werden, sofern keine ernsthaften Einwände gegen deren Beweiskraft bestehen; der Beschwerdeführer legt solche nicht dar und beschränkt sich auf…