Octagon nemá navzdory svému názvu tvar osmiúhelníku. Jeho půdorys je složen z dvou čtyřúhelníků, trojúhelníku a kruhu. Svým vzhledem se plán nejvíce přibližuje nepravidelnému šestiúhelníku. Ve vstupní hale osmiúhelník aproximuje vnější kruhovou stěnu. V interiéru totiž může být kruhový půdorys s malým průměrem nepraktický, kromě jiného také proto, že se obvykle nevyrábí zakulacené věšáky, skříně, knihovny, krby, a ani zakulacené rámy na obrazy.
V Octagonu straší dvě Tayloeovy dcery. První z nich zemřela po hádce s otcem, který nesouhlasil s jejím romantickým vztahem k britskému důstojníkovi. Spadla z druhého patra do přízemí, a to buď po schodech nebo přes zábradlí. Zlomila si přitom vaz. Tato zemřelá se nejčastěji vyskytuje v podobě poletující zapálené svíčky. Druhá dcera zemřela prakticky ze stejných důvodů a stejným způsobem, tentokrát se jednalo o pád z třetího patra. Národnost nevhodného nápadníka není v tomto případě známá. Její duch straší mezi druhým a třetím patrem, nejspíš může za některé rozhoupané lustry. Kromě nich se v domě občas vyskytuje duch Dolley Madison v turbanu. Z jakého důvodu se Dolley do Octagonu vrací a proč má na hlavě turban, to nikdo neví. Říká se, že se jí v domě zalíbilo, a tak se do něj po smrti rozhodla znovu nastěhovat. Kromě Dolley a dvou nešťastně zamilovaných dcer se zde vyskytují duchové otroků, zazděných osob a ztracených pošťáků.
Bílý dům musela Dolley v srpnu roku 1814 opustit ve velkém spěchu. Z východu se k Washingtonu blížili Britové, kteří porazili americkou armádu v bitvě u Bladensburgu. Prezident James Madison byl dávno na útěku, Dolley se ale do poslední chvíle pokoušela zachránit některé cennosti. Podle jedné legendy vlastnoručně vyřízla z rámu Stuartův portrét George Washingtona s vpadlými dásněmi, který se díky tomu zachoval. Zahradník ale později tuto informaci zpochybnil. Podle něj to musel udělat někdo jiný, protože první dáma na to neměla v tom zmatku čas.
Když dorazili Britové, v Bílém domě už nikdo nebyl, ale na stole byla přichystaná hostina, a tak si sedli do pohodlných polstrovaných židlí, snědli sváteční večeři, vypili vybrané víno a potom to místo, ve kterém se tak dobře poměli, zapálili a ještě do něj něco přihodili, aby to hořelo a aby to hořelo dlouho, a ono to opravdu hořelo, přes noc až do dalšího rána. Kromě Bílého domu hořel také Kapitol, vojenský prostor Navy Yard a několik dalších vládních budov.
