Fatti
Il ricorrente [B.] è proprietario della particella n. 1355 del Comune di Pully, sulla quale sorge una vecchia villa detta "[X.] ", censita nella categoria 3V (oggetto di interesse locale, presenza di vetrate artistiche). La particella è compresa in un piano di quartiere del 1975 che riserva il settore all'abitazione e che prevedeva un perimetro di edificazione sulla villa e un secondo sulla parte inferiore del parco.
Nel 2012, il ricorrente e la promittente acquirente [C. SA] hanno chiesto un permesso per due edifici. La Municipalità di Pully ha autorizzato l'edificio a sud ma ha vietato la demolizione della villa. Il ricorso contro il rifiuto relativo all'edificio nord è stato sospeso a causa di una procedura di classificazione avviata dal Servizio cantonale immobili, patrimonio e logistica (SIPAL). L'edificio sud è stato costruito.
Il 28 maggio 2014, la capo del Dipartimento delle infrastrutture e delle risorse umane (DIRH) ha classificato la villa e i suoi immediati dintorni, esclusa la parte sud, e il Dipartimento delle finanze e delle relazioni esterne (DFIRE) ha respinto l'opposizione del ricorrente. Con sentenza del 16 aprile 2015, la Corte di diritto amministrativo e di diritto pubblico del Tribunale cantonale vodese (CDAP) ha annullato la classificazione, ritenendo insufficientemente dimostrato l'interesse pubblico.
Su ricorso di [A.] , proprietaria confinante, il Tribunale federale ha annullato tale sentenza il 20 giugno 2016 (1C_266/2015) e ha rinviato la causa per un'istruttoria complementare e un nuovo e completo bilanciamento degli interessi, poiché il rifiuto di misure istruttorie violava il diritto di essere sentiti. Dopo l'istruttoria complementare (rapporto della storica [E.] , rapporto dell'esperto [D.] , perizia speciale della Commissione federale dei monumenti storici, CFMS, del 1° marzo 2018, che propone una rivalutazione in nota *2V e conferma la giustificazione della classificazione), la CDAP ha respinto il ricorso con sentenza del 7 agosto 2019, ritenendo che l'interesse pubblico alla conservazione prevalesse sugli interessi privati, in particolare quelli finanziari.
Il ricorrente chiede al Tribunale federale di annullare le decisioni di classificazione, in via subordinata il rinvio all'istanza precedente, e chiede l'effetto sospensivo, respinto con ordinanza del 14 ottobre 2019. Le autorità e le parti convenute concludono per la reiezione del ricorso.
Diritto
Il Tribunale federale esamina anzitutto la ricevibilità. Il ricorso in materia di diritto pubblico è aperto (art. 82 lett. a LTF) e il ricorrente, proprietario interessato, ha la legittimazione a ricorrere (art. 89 cpv. 1 LTF). La sua esposizione dei fatti che si discosta dall'accertamento cantonale è inammissibile (art. 97 e 105 LTF), così come le censure nuove formulate in replica (art. 47 cpv. 1 LTF, diritto di replica limitato) e il documento nuovo, una stima del costo di ristrutturazione del 2013, non sottoposto all'istanza precedente (art. 99 cpv. 1 LTF).
Sull'autorità della sentenza di rinvio (art. 107 cpv. 2 LTF), l'autorità cantonale è vincolata dai considerandi della sentenza di rinvio. L'istruttoria complementare ordinata è stata condotta e il rifiuto di sentire l'esperto non era contrario al diritto di essere sentiti, dato che il ricorrente non aveva formalmente chiesto tale audizione. Il giudice istruttore poteva investire la CFMS: in virtù dell'art. 17a LPN e dell'art. 25 cpv. 1 lett. e OPN, una perizia speciale è possibile per un progetto che può pregiudicare un oggetto di particolare importanza, come nel caso di una villa di interesse locale il cui valore patrimoniale doveva essere chiarito. Anche la censura di violazione della cosa giudicata della prima sentenza cantonale è respinta, poiché la sentenza di rinvio ha imposto un nuovo e completo bilanciamento degli interessi.
Quanto alla competenza dei dipartimenti, la corte cantonale aveva rilevato un'irregolarità non grave, senza nullità assoluta, e la questione non formava oggetto del rinvio. In ogni caso, un'eventuale violazione del diritto di essere sentiti è stata sanata dal pieno potere di cognizione della corte cantonale, che ha deciso su tutte le censure.
Sulla garanzia della proprietà (art. 26 Cost. e 36 Cost.), la restrizione si fonda su una base legale non contestata (LPNMS) e risponde a un interesse pubblico (tutela del patrimonio). Il Tribunale federale mostra riserbo di fronte alla valutazione di circostanze locali. Il parere della CFMS, organo specializzato, può essere seguito salvo obiezioni serie circa la sua forza probante; il ricorrente non ne dimostra, limitandosi a critiche appellatorie.…