Seinen ersten Namen verdankt der Bau einem Mieter. Rudolph Fäsch errichtete das Landhaus 1715 für Graf Jakob Heinrich von Flemming, und weil der holländische Gesandte am sächsischen Hof darin wohnte, hieß es Holländisches Palais.
Das Holländische Palais
Es war 17 Fensterachsen lang und 4 breit, mit einem Obergeschoss und Mansardendach. Vor der Eingangshalle stand ein dreistöckiger, von Säulen gerahmter und von Statuen bekrönter Vorbau mit halbrunden Treppen. Aus der Halle führte eine doppelläufige Treppe nach oben, südlich lag ein Saal mit fünf Fensterachsen, von dem Stufen in den Garten am Elbufer hinabgingen.
1717 kaufte August der Starke das „Palais zu Alt-Dressden“ und stellte dort die kurfürstliche Porzellansammlung auf, zwischen ostasiatischen Lackmöbeln, chinesischer Seide und Specksteinarbeiten. Zur Hochzeit des Kronprinzen 1719 wohnten hier auch Gäste des Hofes. 1722/23 gestaltete Pöppelmann das Umfeld zur Stadt: einen quadratischen Platz und, bis zum Schwarzen Tor am späteren Albertplatz, die etwa 30 m breite Königstraße. 1724 bekam das Palais ein Mezzaningeschoss.
Das „Porzellanschloss“
Für seine Porzellansammlung wollte August ein ganzes Schloss. Pöppelmann entwarf eine Vierflügelanlage mit dem Holländischen Palais als Elbflügel. Ganz zeitgemäß war das nicht mehr, üblich waren Dreiflügelbauten mit einem Ehrenhof hinter schmiedeeisernem Gitter. August liebte aber geschlossene Vierflügel, am besten mit Kuppel über dem Hof. Jean de Bodt und Eosander von Göthe, die Schlüters Berliner Schloss studiert hatten, bestärkten ihn wohl darin.
Gebaut wurde von 1728 bis 1737 unter Pöppelmanns Leitung, am Elbflügel ab 1731. Zacharias Longuelune und Jean de Bodt arbeiteten mit, vielleicht auch Johann Christoph Knöffel, es war also eine Gemeinschaftsarbeit des Oberlandbauamts. Dieselben drei Baumeister hatten bis 1727 Schloss Moritzburg zum Barockschloss umgebaut. De Bodt, von dem auch das Berliner Zeughaus stammt, entwarf die Fassade zum Palaisplatz.
Pöppelmann bevorzugte den reinen Barock, Longuelune klassizistische Formen, also mussten beide Kompromisse schließen. Barock ist vor allem der Palaishof mit seinem vorgekragten Sandsteinumgang zwischen Unter- und Obergeschoss, getragen von 24 Chinesen-Hermen über Pilastern. Die Hermen und den übrigen Skulpturenschmuck schufen Johann Christian Kirchner und Johann Matthäus Oberschall.
Der Mittelrisalit der Elbfront ist Longuelunes Meisterwerk. Eine ähnlich strenge Gliederung hatte er am Blockhaus verwirklicht, das bis 1737 entstand. Am Japanischen Palais aber fand seine Verbindung von Barock und frühem Klassizismus zur Vollendung.
Den Giebel der Stadtseite gestaltete Benjamin Thomae 1733 mit einem Halbrelief, das an die Bestimmung des Hauses erinnert: Asiaten und Europäer, die Porzellan herstellen, huldigen der thronenden Saxonia. Die doppelt konkav geschwungenen Kupferdächer an den vier Ecken erinnern an japanische Pavillons, und am rechten Treppenaufgang des Nordflügels trägt Oberschall zwei asiatische Atlanten bei. Wegen dieser Formen und der großen japanischen Abteilung der Porzellansammlung hieß der Bau ab etwa 1736 Japanisches Palais.
Thronsaal mit Porzellanthron, Kapelle mit Porzellanausstattung, Porzellanglockenspiel, Fassaden mit Porzellanplatten: Ausgeführt wurde davon nichts. August starb 1733, und sein Sohn gab Malerei und Grafik den Vorzug.
Ein Haus für Sammlungen
Nach 1733 diente das Palais als Museum, die barocke Festausstattung wich nach und nach einer musealen. Im Siebenjährigen Krieg war es Depot für Porzellane und Kunstsammlungen, die Einrichtung litt schwer. Johann August Gebhardt stellte nach 1766 einiges wieder her. Beim Umbau zum „Museum Saxonicum“ 1785/86 kam die Inschrift MUSEUM USUI PUBLICO PATENS in das Giebelfeld über dem stadtseitigen Portal: Museum, dem öffentlichen Gebrauch geöffnet.
Eingezogen sind danach die Antikensammlung (bis 1887), das Münz-Kabinett (vorher im Taschenbergpalais, hier bis 1877), die ab 1788 öffentlich zugängliche Kurfürstliche Bibliothek (bis 1945) und die kurfürstliche archäologische Sammlung, zu der 1853 die Sammlung Benjamin Preuskers kam. Unter Johann Christoph Adelung wurde die Bibliothek, vermehrt um die Büchersammlungen Brühls und Bünaus, eine der bedeutendsten Deutschlands. Die Porzellane lagen derweil schlecht verwahrt im Keller, bis sie 1875 ins Johanneum kamen.
1834-1836 wurden die Antikensäle im Erdgeschoss nach Entwürfen Gottfried Sempers pompejanisch ausgemalt. Unter Hubert Ermisch baute man sie 1936 für das Buchmuseum der Landesbibliothek um.
Im Februar 1945 brannte das Palais aus, auch der Park wurde verwüstet. Der Wiederaufbau begann 1951. 1979 rekonstruierte man die Antikensäle samt Wandmalereien originalgetreu, danach den „Saal der Satyrisken“ und den „Saal der Herkulanerinnen“. 1986 erhielt das Haus wieder ein Kupferdach mit allen Profilen und Zieraten des Originals von 1737. Nach dem Wiederaufbau zogen das Landesmuseum für Vorgeschichte und das Museum für Völkerkunde ein, heute zeigen hier das Museum für Völkerkunde Dresden und die Staatlichen Kunstsammlungen Dresden ihre Ausstellungen.
Park am Japanischen Palais
Ab 1718 legte Johann Friedrich Karcher zwischen Palais und Elbe einen Barockgarten mit geschnittenen Hecken, Laubengängen und vielen Skulpturen an, wohl den vollkommensten französischen Garten der Gegend. Fast nichts davon blieb erhalten. Einige Figuren von Balestra und Corradini kamen in den Großen Garten, vom Gondelhafen Pöppelmanns und Longuelunes blieben nur Reste. Er dürfte dem Gondelhafen am Wasserpalais von Schloss Pillnitz geähnelt haben, den dieselben Baumeister schufen. Ein Stück vom Wall der Altendresdner Stadtfestung, schon damals in die Anlage einbezogen, überdauerte.
Nach dem Abbruch der Neustädter Festung um 1817 wurde der Garten nach Westen erweitert und als englischer Landschaftsgarten gestaltet. Vom Wall aus reicht der Blick über die Elbe zur Altstadt. Nicht weit vom Park liegt am Uferweg der Standpunkt des „Canaletto-Blicks“, den Bernardo Bellotto, genannt Canaletto, 1748 in seinem Gemälde „Dresden vom rechten Elbufer unterhalb der Augustusbrücke“ festhielt.
Palaisplatz
Auch der Palaisplatz vor der Stadtseite geht auf Pöppelmann zurück. Hier mündet die barocke Königstraße, in deren Flucht das Palais den Abschluss bildet.
Am Platz stand einst das Weiße Tor, auch Leipziger Tor genannt, der Neustädter Stadtfestung. Nach dem Abbruch der Befestigung wurden Fußgänger und Fuhrwerke am damaligen Stadtrand weiter kontrolliert. Gottlob Friedrich Thormeyer baute dafür 1827-1829 zwei klassizistische Torhäuser, von denen das nördliche erhalten blieb. Nach 1945 wurde es mit seinem Portikus aus dorischen Säulen wieder aufgebaut und diente danach als Standesamt.