В общих чертах это известно: строили Капитолий чернокожие рабы. После того как в 1790 году конгресс принял решение создать новую столицу на реке Потомак, самым простым способом привлечения рабочей силы в тогдашних условиях была мобилизация рабов с окрестных плантаций. Будущий Вашингтон стоял на границе двух рабовладельческих штатов - Вирджинии и Мэриленда, через которые протекает Потомак.
Так что следующие десять лет местные плантаторы сдавали своих невольников в аренду государству по 55 долларов в год. С их помощью были возведены Капитолий, Белый дом, многие другие официальные здания. Рабы валили деревья на Капитолийском холме, выкорчевывали пни на месте будущих улиц, добывали песчаник в каменоломнях, помогали каменотесам. Пристройка крыльев к центральному зданию в 1850-х годах также осуществлялась руками рабов-негров.