美国的第一任总统乔治·华盛顿在1791年选择了白宫的所在地。1792年奠基，爱尔兰出生的建筑师詹姆斯·霍班提交的竞赛设计被选中。经过八年的建设，总统约翰·亚当斯和他的妻子阿比盖尔于1800年搬进了未完工的房子。1812年战争期间，英国人在1814年放火焚烧了总统府。詹姆斯·霍班被任命重建这座房子，詹姆斯·门罗总统于1817年搬进了这栋建筑。在门罗执政期间，南门廊建于1824年，安德鲁杰克逊在1829年监督了北门廊的扩建。在19世纪末，人们提出了各种建议，以大幅扩大总统的议院或为总统建造一个全新的房子，但这些计划从未实现。
1902年，西奥多·罗斯福总统开始对白宫进行重大翻修，包括将总统办公室从二楼迁至新建的临时行政办公大楼(现称西翼)。罗斯福的翻修是由著名的纽约建筑公司McKim，Mead和White策划和实施的。罗斯福的继任者威廉·霍华德·塔夫特(WilliamHowardTaft)在一个扩大的办公室内建造了椭圆形办公室。
在罗斯福修缮后不到50年，白宫就显示出严重的结构性疲软迹象。杜鲁门总统开始对大楼进行翻修，除外墙外，所有东西都拆除了。重建工作由建筑师洛伦佐·温斯洛负责，杜鲁门家族于1952年搬回白宫。
自从约翰·亚当斯以来，，每一位总统都占领了白宫，这座建筑的历史远远超出了它的城墙建设。从一楼走廊的客房，从早期用作服务区的客房，到国家楼层的房间，无数的领导人和政要都在那里受到款待。白宫既是美国总统及其家人的家，也是美国历史博物馆。白宫是一个历史继续发展的地方。
共有132间客房，35间浴室，6层住宅。另外还有412扇门、147扇窗户、28个壁炉、8个楼梯和3个电梯。白宫的厨房可以为多达140名客人提供晚餐，开胃小吃可达1000多人。白宫需要570加仑的油漆来覆盖它的外部表面。在历史上的各个时期，白宫都被称为“总统府”、“总统之家”和“行政大厦”。1901年，西奥多·罗斯福总统正式给白宫起了现在的名字。
