Historia Morii sięga Lat Dwóch Drzew. Wtedy to jeden z praojców krasnoludów imieniem Durin Nieśmiertelny natrafił na górskie jezioro, w którego toni ujrzał dookoła swojego odbicia koronę; ochrzcił je mianem Jeziora Zwierciadlanego i obrał to miejsce na siedzibę swojego rodu. Khazad-dûm okazał się zasobny w klejnoty i złoża metali, ale największym jego skarbem był podobny z wyglądu do srebra mithril. Początkowo miasto było otwarte jedynie na wschodnią stronę gór, a tutejsi krasnoludowie prowadzili handel głównie z pobratymcami ze wschodu i północy. Dopiero na przełomie pierwszego i drugiego tysiąclecia Drugiej Ery Noldorowie poprowadzili stały szlak do miasta z Eregionu, a krasnoludowie wykuli w ścianie gór Zachodnią Bramę, stworzoną z pomocą elfów i najczęściej szeroko otwartą na znak gościnności.

Do rozwoju Khazad-dûm przyczynili się także mieszkańcy zniszczonych podczas upadku Beleriandu starych krasnoludzkich twierdz Belegost i Nogrod w Górach Błękitnych, zasilający populację miasta w początkach Drugiej Ery.

W 1695 r. Drugiej Ery Celebrimbor, twórca Pierścieni Władzy, ukrył swoje dzieła przed Sauronem, wywołując tym samym wojnę pomiędzy Noldorami a Władcą Pierścieni. Konflikt zakończył się śmiercią Celebrimbora i zrujnowaniem Eregionu, a sam Sauron wszedł w posiadanie (obok dziewięciu pierścieni ludzi) siedmiu pierścieni krasnoludów, które pod koniec drugiego tysiąclecia Drugiej Ery ofiarował ojcom wszystkich krasnoludzkich rodów. Według wierzeń krasnoludów Durin III, władca Khazad-dûm wspierający elfów podczas wojny, otrzymał jednak swój pierścień nie za pośrednictwem Saurona, a bezpośrednio od kowali elfów (jakkolwiek nadal podlegał on jego złym wpływom). Bramy samego miasta zostały w porę zamknięte przed armiami Mordoru i nie ucierpiało ono podczas konfliktu.

Podczas wojny Ostatniego Sojuszu krasnoludowie z Morii pod przywództwem króla Durina IV walczyli po stronie elfów i ludzi z Númenoru.