Grad Grm se nahaja na zložni vzpetini na južnem obrobju Novega mesta. Zgraditi ga je dal leta 1586 Krištof Mordax, plemič stare kranjsko-koroško-štajerske rodbine, ki je bila pred tem že lastnica graščine Graben ob Krki pri Novem mestu.

Prvotno je bil grad sestavljen iz kvadratnega stolpa in pritličnega trakta. Stolp je imel zaradi nevarnosti turškega napada poleg stanovanjske še obrambno in opazovalno funkcijo. Desno od stolpa se je širil prvotno pritličen trakt. Leta 1636 je po Krištofovi smrti grad prevzel njegov sin Hans Andreas, ki je prvič prenovil poslopje in dal desnemu traktu dozidati še eno nadstropje. Po njegovi smrti je grad prevzel sin Wolfgang, ki je najbolj spremenil podobo gradu. Dozidati je dal severni trakt levo od stolpa in na južni strani visok kamnit zid. Prostrano dvoriščno pročelje je takrat dobilo nad pritličnimi arkadami še široke odprte hodnike s kamnitimi stebri, ki so jih kasneje zazidali. V tlorisu je tako grad dobil pravokotno obliko z osrednjim dvoriščem in tako dobil podobo poznorenesančnih in baročnih gradov.

V začetku 18. stoletja je bil zasnovan grajski park, ki je grad povezal s kapelo Božjega groba, ki je hkrati tudi mavzolej družine Mordax in leži na bližnjem griču. V osemdesetih letih 19. stoletja je grad prevzela dežela Kranjska. V njem je dobila prostore na novo ustanovljena kmetijska šola, ki so jo na Grm preselili z gradu Slap pri Vipavi. Ob ustanovitvi se je šola imenovala Vinarska, sadjarska in poljedelska šola na Grmu pri Rudolfovem. Šola je v gradu delovala od leta 1886 do leta 1990, ko so jo preselili v Bajnof pod Trško goro. V graščini si je takrat uredilo svoje prostore podjetje Revoz.

Grad je bil z Odlokom o razglasitvi naravnih znamenitosti in nepremičnih kulturnih in zgodovinskih spomenikov v občini Novo mesto, Uradni list RS št. 38/1992 razglašen za kulturni spomenik lokalnega pomena in ga zadnja leta intenzivno obnavljajo. V njem ima danes sedež Zgodovinski arhiv ter Zavod za varstvo kulturne dediščine Novo mesto. V poletnih dneh se na njem odvijajo tudi različne družabne in kulturne prireditve.

Grad omenja že Janez Vajkard Valvasor, ki je v svojih zapisih omenil, da je imel grad bogato poslikane prostore. V celoti se je do danes ohranila le poslikava v osrednji dvorani grajskega stolpa. Strop dvorane je poslikan z vojaškimi prizori, ki so okvirjeni z bogato členjenimi štukaturnimi okvirji iz 17. stoletja, vanj pa so umeščene slike z vojaškimi prizori bitk s Turki. V sredini je polje z grbom družin Mordax in Gallenberg.

V gradu je nastavljen Zavod za varstvo kulturne dediščine in novomeška enota Zgodovinskega arhiva Ljubljana. Kot kaže bo grad prenovljen.