A washingtoni Fehér Ház építése 1792-ben kezdődött. 1800-ban John Adams elnök volt az első elnök, aki beköltözött a végrehajtó kastélyba, és azóta többször rehabilitálták, felújították és újjáépítették. A Fehér Ház az egész világon Amerika elnökének otthona és az amerikai nép jelképe. De az általa képviselt nemzethez hasonlóan Amerika első kúria váratlan meglepetésekkel is tele van.
Közben 1812 háború, az Egyesült Államok parlamenti épületeket égette a kanadai Ontarioban. Tehát 1814-ben a brit hadsereg megtorlott tüzet gyújtott Washington nagy részén, beleértve a Fehér Házot. Az elnöki szerkezet belsejét megsemmisítették, és a külső falak rosszul elszenesedett. A tűz után James Madison elnök a Nyolcszögletű ház, amely később az American Architects Institute (AIA) központja volt. James Monroe elnök 1817 októberében költözött a részben rekonstruált Fehér Házba.
1929. karácsony estéjén, röviddel azután, hogy az Egyesült Államok mély gazdasági válságba esett, elektromos tűz tört ki a Fehér Ház nyugati szárnyában. A tűz kibelezte a végrehajtó irodákat. A kongresszus jóváhagyta a javításra szánt sürgősségi alapokat, Herbert Hoover elnök és munkatársai pedig 1930. április 14-én költöztek vissza.
Amikor Pierre Charles L'Enfant építész elkészítette az eredeti Washington DC terveket, felhívta a bonyolult és hatalmas elnöki palotát. L'Enfant elképzelését elvetették, és James Hoban és Benjamin Henry Latrobe építészek egy sokkal kisebb, szerényebb otthont terveztek. Ennek ellenére a Fehér Ház nagykorú volt és a legnagyobb az új nemzetben. A nagyobb otthonakat csak a polgárháború és a botrányok felkelése után építették Aranyozott korú kastélyok. Az Egyesült Államok legnagyobb otthona abban az időszakban található, az észak-karolinai Asheville-i Biltmore, 1895-ben fejeződött be.
A Fehér Ház sarokkövét 1792-ben fektették le, de a tervezés során talán az Írországban épült ház szolgált. Az új amerikai fővárosban a kastélyt Dublinban tanult ír születésű James Hoban rajzai alapján építették. A történészek szerint Hoban Fehér Házának tervét egy helyi dublini rezidencián, a Leinster Házon alapította, amely a Leinster hercegek grúz stílusú otthona. Az ír ír Leinster-ház ma az ír parlament székhelye, de ezt megelőzően valószínűleg ihlette a Fehér Házat.
A Fehér Házot sokszor átalakították. Az 1800-as évek elején Thomas Jefferson elnök együtt dolgozott a brit születésű építész, Benjamin Henry Latrobe-val több kiegészítéssel, köztük a keleti és a nyugati szárny oszlopsorokkal. 1824-ben James Hoban építész felügyelte egy neoklasszikus "tornác" kiegészítését, Latrobe által készített tervek alapján. Az elliptikus déli portikó tükrözi a Château de Rastignac, egy elegáns ház, 1817-ben épült Délnyugat-Franciaországban.
A Washington, D.C. lett földterület Virginiától és Marylandtől szerezték be, ahol rabszolgaságot gyakoroltak. A korábbi bérszámfejtési jelentések ezt dokumentálják a Fehér Ház építésére felvett munkavállalók közül sok afroamerika volt- Néhány szabad és néhány rabszolga. Fehér munkások mellett az afro-amerikai amerikaiak homokkövet vágtak a virginiai Aquia-i kőbányában. Emellett ástak a Fehér Ház lábait, megépítették az alapokat, és téglákat tüzeltek a belső falakhoz.
A Fehér Ház európai kézművesek és bevándorló munkások nélkül nem lett volna kész. A skót kőművesek emelték a homokkő falait. A skóciai kézművesek a rózsa- és koszorúdíszeket az északi bejárat felett, valamint a fésült mintákat az ablakszárnyak alatt faragták. Ír és olasz bevándorlók tégla- és vakolatmunkákat végeztek. Később az olasz kézművesek a Fehér Ház portikéin díszített kőműveket faragtak.
George Washington elnök kiválasztotta James Hoban tervét, de úgy vélte, hogy ez túl kicsi és egyszerű az elnök számára. Washington felügyelete alatt Hoban tervét kibővítették, és a Fehér Ház nagy fogadóhelyiséget kapott, elegáns pillérek, ablak burkolólapok és tölgy levelek és virágok kőcserepei. De Washington soha nem lakott a Fehér Házban. 1800-ban, amikor a Fehér Ház majdnem befejeződött, Amerika második elnöke, John Adams beköltözni. Adams felesége, Abigail panaszkodott az elnöki otthon befejezetlen állapotáról.
A Fehér Ház eredeti építői nem fontolgatták meg a fogyatékossággal élő elnök lehetőségét. A Fehér Ház nem lett kerekes szék hozzáférhető amíg Franklin Delano Roosevelt 1933-ban hivatalba lépett. Roosevelt elnök a gyermekbénulás miatt bénult, így a Fehér Házot áthelyezték kerekesszékének elhelyezésére. Franklin Roosevelt fűtött fedett uszodát is hozzáadott a terápiához. 1970-ben az úszómedencét lefedték és sajtótájékoztatóként használták.
150 év elteltével a Fehér Ház fa tartógerendái és külső teherhordó falai gyengék voltak. A mérnökök az épületet nem biztonságosnak nyilvánították, és azt állították, hogy az összeomlik, ha nem javítják meg. 1948-ban Truman elnök a belső tereket kibelezte, hogy új acél tartógerendákat lehessen felszerelni. A rekonstrukció során a trumánok az utca túloldalán éltek Blair ház.
A Fehér Házot sok névnek hívták. Dolley Madison, Feleség felesége James Madison elnök, "elnöki kastélynak" hívták. A Fehér Ház más néven "elnöki palota" volt "Elnöki Ház" és a "Végrehajtó kastély". A "Fehér Ház" név csak hivatalossá vált 1901, amikor Theodore Roosevelt elnök hivatalosan elfogadta.
Az ehető Fehér Ház létrehozása karácsonyi hagyománnyá és kihívássá vált a hivatalos cukrász és a Fehér Ház pékcsoportja számára. 2002-ben a téma: „Minden teremtmény nagy és kicsi”, 80 font mézeskalácskal, 50 font csokoládé és 20 font marcipán a Fehér Ház volt a legjobb karácsonyi édesség valaha.
A Fehér Ház szürke színű homokkőből készül egy virginiai Aquia-i kőbányából. Az északi és a déli portikot vörös Seneca homokkővel építik fel Marylandből. A homokkő falait csak addig festették fehérre, amíg a Fehér Ház a brit tüzek után felújításra nem került. A teljes Fehér Ház lefedéséhez 570 gallon fehér festék szükséges. Az első burkolat rizsragasztóból, kazeinből és ólomból készült.