Pisna zgodovina gradu Brežice seže v sredino 13. stoletja, ko se v pisnih virih prvič pojavi castrum Rain,  nedvomno pa je bil zgrajen že prej. Prvotna grajska stavba je bila najverjetneje lesena utrdba, ki je služila v upravne in obrambne namene salzburške nadškofije, ki je imela v posesti ozemlje v trikotu med Savo in Sotlo že od 11. stoletja dalje.

V prvotni grajski utrdbi je prebivala oborožena posadka, tu sta bila sedež sodišča in kovnica denarja. Že proti koncu 12. stoletja Brežice postanejo upravno in gospodarsko središče salzburške posesti v Posavju, ki so ga upravljali ministeriali gospodje Brežiški. Grad, pozidan na brežičku nad obalo rečne struge, je dobil ime po svoji legi Rain. Isti pomen ima tudi slovensko ime, ki ga je prevzela tudi mestna naselbina, ki se je razvila severno od gradu na brežini reke – na brežcu – Brežice. Leta 1479 Ogri pod vodstvom Matije Korvina, bolj znanega pod imenom Kralj Matjaž, zasedejo del današnjega Posavja z mestno naselbino in gradom.

Po 12-ih letih vladavine Ogrov  to območje z mirovno pogodbo pridobijo Habsburžani in mesto Brežice postanejo deželno knežje mesto. V začetku 16. stoletja, ko je tedanje slovensko ozemlje leta 1515 zajel krvavi vseslovenski kmečki punt, sta delno pogorela tako grad kot mesto. Pri Brežicah se je tedaj zbralo okoli 9000 upornih kmetov, ki so viteza Marka z njegovimi vojaki zajeli v gradu in ga pokončali skupaj z vso gosposko. Popravilo gradu se je vleklo v vseh letih, ko so Turki zelo pogosto vpadali na to ozemlje vse do leta 1528, ko je ponovno pogorel.

Tedaj so Habsburžani pričeli graditi obrambni pas proti Turkom, t. i. Vojno krajino, kjer naj bi močno utrjena trdnjava služila kot zaledna postojanka. Nemški cesar Ferdinand je 22. januarja 1529 odobril zidavo nove renesančne utrdbe skupaj z utrditvijo in razširitvijo mestnega obzidja. Grajsko utrdbo so zidali italijanski stavbeniki, Julij Dispatio iz Merana pri Roverettu (južna Tirolska), v letih 1554/55 sta omenjena kot stavbenika znana renesančna arhitekta, brata Andrej in Domenico del Allio.  Arhivski viri govorijo, da je med letoma 1530 in 1550 nastala obodna utrdba s štirimi vogalnimi stolpi in veznimi zidovi, med 1567 in 1579 vzhodni in zahodni grajski trakt ter med 1586 in 1590 oz. 1601 severni grajski trakt in v nadstropja segajoči arkadni hodniki s toskanskimi stebri zahodnega trakta.

Nad glavnim renesančnim portalom je grb Franca Galla v. Gallensteina z enorogom in letnico 1601, ki označuje konec davno prej začete gradnje. Prvotno je bil grad zavarovan z vodnim jarkom, čez katerega je vodil dvižni most do grajskih vrat. Leta 1573 je bil močno utrjen, tako ga hrvaško-slovenski kmečki uporniki pod vodstvom Ilije Gregoriča niso zavzeli. V 17. stoletju je grad prišel iz posesti Gallov v roke Frankopanov. Po smrti grofice Julijane Frankopan so ga dediči leta 1694 prodali grofu Ignacu Mariji Attemsu, ki je nekdanjo utrdbo spremenil v bivalni dvorec. Preurejanje in umetnostna prenova v duhu baroka sta bila v gradu Brežice uresničena v največjem obsegu v letih 1694—1732. Najprej so prezidali vzhodni trakt in uredili v dve nadstropji segajočo Viteško dvorano, ki jo je leta 1702–3 poslikal F. K. Remb, in z nasuto teraso povezali zahodni z vzhodnim traktom. Okoli 1720 so preuredili z reprezentančnim dvoramnim stopniščem dostop v nadstropja zahodnega trakta ter naročili poslikavo stopnišča in  kapele, ki sta ju poslikala J. C. Waginger in F. I. Flurer.