Nella seconda metà del 1800, l’edificio fu acquistato dal capitano Napoleone Scarpa, nonno dell’attuale proprietario. Dopo un importante rinnovamento completato nel 1889, il Palazzo è divenuto la residenza principale della famiglia proprietaria. Il capitano Scarpa fu uno degli ultimi proprietari delle barche a vela dei navigatori veneziani fino a quando la vela perse il predominio a favore delle barche a motore. Ancora giovane, si dedicò alle attività commerciali, coltivando rapporti commerciali con clienti e fornitori dei porti del Mediterraneo e dell’Adriatico orientale. Per le sue capacità commerciali e la sua grande lealtà, entrò a far parte della borghesia veneziana.