Um das Jahr 1745 errichtete Emanuel Teles Graf Sylva-Tarouca, Präsident der Niederländischen Kanzlei, auf der elf Meter über dem Straßenniveau gelegenen Augustinerbastei ein Palais. Der trapezförmige Grundriss wurde vom Vorgängerbau, einem Magazin für Baumaterialien aus der Mitte des 17. Jahrhunderts, übernommen.

1792 erhielten Albert Herzog von Sachsen-Teschen (1738-1822) und seine Frau Marie Christine, Lieblingstochter von Maria Theresia, das Palais Tarouca und den angrenzenden Teil des Augustinerklosters als Geschenk. 1800, zwei Jahre nach dem Tod seiner Frau, beauftragte der Herzog Louis Montoyer mit der Umgestaltung. Der Klostertrakt wurde modernisiert, um dort die immer umfangreicher werdende Kunstsammlung unterzubringen, und das Palais durch einen langgestreckten Flügelbau gegen den heutigen Burggarten erweitert. Nach Alberts Tod 1822 erbte Erzherzog Carl den Besitz. Er ließ das Palais von Joseph Kornhäusel im Stil des Klassizismus gestalten. Mit dem Ende der Monarchie kam das Palais in den Besitz der Republik.

Im März 1945, kurz vor Ende des Zweiten Weltkriegs, wurde das Palais schwer beschädigt. Im Zuge des Wiederaufbaus 1948 bis 1950 ersetzte man die Auffahrtsrampe durch eine Treppe. Ab 1999 wurde burggartenseitig, von außen so gut wie nicht sichtbar, ein Studiengebäude mit Bibliothek und Werkstätten sowie ein Tiefspeicher errichtet. Die Wiedereröffnung der Albertina fand im März 2003 statt. (trenk, DER STANDARD/Printausgabe, 15.07.2009)