Grad Hrastovec leži v naselju Hrastovec v Občini Lenart. Ime je dobil po drevesni vrsti, hrastu, saj je le-ta v preteklosti prevladoval v okoliških gozdovih. Naselje Hrastovec se prvič omenja v pisanih virih leta 1265. Omembo Hrastovca tako zasledimo v deželnoknežjem urbarju. Iz njega je razvidno, da je dobival deželni knez po sodni oddaji letno po eno svinjo od vsake vasi, pripadajoče mariborskemu deželnemu sodišču, v katerega je spadalo tudi naselje Hrastovec. Istega leta (1265) se tako prvič tudi omenja grad Hrastovec, ki je bil sestavljen iz dveh stolpov ter obdan z globokim jarkom. Že deset let pred tem, leta 1255, se v listini Friderika mlajšega Ptujskega omenja kot priča Ulrik s Hrastovca (Vlricus de Hage). Hrastovec se ponovno omenja leta 1294, ko je kot dobrotnica cistercijanskega samostana Rein pri Gradcu omenjena Adelhajda s Hrastovca. Za Ulrikom je bil naslednji lastnik Hrastovca njegov brat Gunter Hrastovški (1346 – 1376). Sami začetki utrdbe na lokaciji gradu bi lahko segali že v drugo polovico 10. stoletja. V tem času so se namreč prenehali madžarski pohodi in vpadi čez osrednjo Slovenijo. Vsekakor pa je na tem mestu do 15. stoletja stal le manjši dvor, saj se leta 1457 Hrastovec prvič omenja kot grad in gospoščina (veste und gschloss Gutenhag).

Prvi znani lastniki gospostva Hrastovec so bili Hrastovški, iz katerih pa se je preneslo lastništvo in upravljanje gospostva na družino Herberstein. Ker pa je leta 1421 Günter Herberstein umrl brez naslednikov, so novi upravljalci gospostva Hrastovec postali Holeneški. Pod Henrikom Holeneškim se leta 1443 grad prvič imenuje kot utrdba (veste Gutenhag). Holeneški so gradu in podložnikom v Močni, Ruperčah in Jablancah pridobili pravico krvnega sodstva. To pravico so dobili leta 1447, ko je 11 bil njegov gospodar Andrej Holeneški. Andrej Holeneški je pri vladarju Frideriku III. dosegel da je sosednji Lenart istega leta (1447) dobil trške pravice. S tem, je Lenart dobil pravico do sedmih živinskih sejmov na leto in tedenski tržni dan. Trški sodnik, ki so ga volili vsi polnopravni tržani, potrjeval pa ga je hrastovški graščak,se sicer omenja v Lenartu že od leta 1332. 

Zgodba v romanu Ožbalta Ilauniga govori nesrečni ljubezni med gospodarjem Hrastovca Friderikom Herbersteinom in Agato Nurnberger iz gradiča Štralek. Po mnenju Friderikove matere je bila Agata prenizkega stanu, da bi s poročila z njim, zaradi česar je nasprotoval poroki med njima. Kljub vsemu sta se Agata in Friderik na skrivaj poročila v Jakobovi cerkvi, ki se je nahajala v Lormanju. Maščevanje matere je bilo grozeče saj je ob Friderikovi odsotnosti dala Agato obdolžila čarovništva, jo zaprla in obsodila na obglavljanje ter sežig trupla na grmadi. Ne mestu kjer bi se naj to zgodilo je dal Friderik Herberstein postaviti črni križ.