Vypravěč příběhu obdrží jednoho dne naléhavý dopis od svého přítele z dětství Rodericka Ushera, aby jej přijel navštívit do jeho sídla. Žádá jej o pomoc, trpí nervovou rozrušeností a doufá, že mu společnost jediného přítele přinese úlevu. Muž se vydá na cestu a jakmile kvečeru dorazí ke starobylému domu rodu Usherů, padne na něj podivná tíseň. Jakoby měl dům se sousedním močálem temnou moc přivolávat chmury. Na mysl mu vyvstane představa, že dům obklopují tíživé výpary rozkladu, hnijící ovzduší s nádechem barvy olova. O váženém rodu Usherů je známo, že slul odnepaměti přehnanou citlivostí, jež se projevovala v četných uměleckých dílech, zájmem o složité formy hudby a štědrou dobročinností .
Sluha návštěvě odebere koně a komorník muže doprovodí k Roderickovi. Jak je překvapen proměnou posledního z Usherů! Před ním stojí lidská troska, mrtvolně bledá pleť, velké oči, tenké bledé rty, tenké měkké vlasy povlávající kolem lebky s nepřiměřeným rozpětím. Roderick jej srdečně vítá, v jeho tváři je upřímnost. Velmi záhy návštěvník pozná další rysy povahy svého přítele - rozpolcenost, ustavičnou úzkost a zádumčivost. Usher jej informuje o své chorobě a utkvělé obavě, že brzy zemře. Má pocit, že toto prastaré sídlo nad ním získalo nějakým způsobem moc a opanovalo jeho životní elán. K neblahým psychickým náladám přispívá i špatný zdravotní stav jeho milované sestry Madeline, vleklá choroba ji velmi oslabuje a přivádí dnem ode dne blíž k náruči smrti.
Návštěvník se snaží přítele rozptýlit. Společně se věnují četbě či předčítání, Usher hraje na kytaru a zpívá improvizovaný text, maluje. Při vzájemných rozhovorech vysloví názor, že schopnost vnímání má i rostlinstvo - a také určité nerosty. Tato jeho víra pramení z přesvědčení, že strašlivá síla starodávného sídla ovládá jeho mysl.
Když Madeline zemře, Roderick vysloví přání uložit její tělo dočasně do rodinné kobky. Společně se svým přítelem ji dopraví do temného vlhkého sklepení a na okamžik pohlédnou zesnulé do tváře. Následující dny trápí Ushera žal a během jedné noci, kdy venku zuří bouře, navštíví přítele v jeho komnatě. Ten se rozhodne předčítat mu úryvky z knihy Launcelota Canninga. Jak pokračuje v četbě, Roderick se podivně chvěje a pohupuje. Zdá se, že odněkud z domu vycházejí zvuky, které se téměř shodují s příběhem knihy. V jednu chvíli Usher vyskočí a vykřikne „Ne Ethelred, ale Madeline je za dveřmi! Cožpak nepoznám ten tlukot jejího srdce? Chvátá mi vyčíst, jak jsem si pospíšil s pohřbem!“ Dveře se otevřou a vyzáblé tělo Madeline v zakrváceném rubáši padne na jejího bratra, jenž se kácí k zemi mrtev. Vypravěč na nic nečeká, prchá z děsivého domu, skočí na koně a ujíždí pryč. Když se ohlédne, spatří rozpadající se dům, jehož pohlcují vody černého močálu .