Grad Kunšperk je bil pozidan že v začetku 12. stoletja, ko naj bi bil njegov lastnik svobodni gospod Oton Ehrnegg. Listine pričajo, da je leta 1173 krški škof Henrik dal prvotni grad porušiti zaradi spora s Ehrneškimi, ki izvirajo iz Velikovca na Koroškem. Novi grad so pozidali med 1167 in 1174 in upravljali do konca 14. stoletja gospodje Kunšperški, sorodniki gospodov Ptujskih. Gospodje Kunšperški so bili ministeriali krških škofov, ki so to posest grofice Heme Breže-Selške pridobili preko krškega samostana.

Oton, ki je bil pogosto v spremstvu štajerskih mejnih grofov, je umrl kmalu po letu 1185. Krški škof je nato obrambo zaupal njegovemu domnevnemu nečaku Otonu, bratu Friderika s Ptuja. Oton I. je bil tudi eden najuglednejših vitezov na znamenitem turnirju v Brežah leta 1224, ko se je bojeval s samim Ulrikom z Liechtensteina (/.../ dar kom von Kungesperc ein helt /.../). V pesnitvi Vrowen dienest – Aventiure von dem turnay ze Frisach je omenjen kar trikrat. Otonu II. je po letu 1250 kot vodja družine sledil istoimenski sin, Oton III. Po njegovi smrti okoli leta 1270 sta v prvih letih skupaj gospodarila sinova Oton IV. in Friderik. Po Friderikovi smrti okoli leta 1323 je prevzel posle Hans, ki je umrl malo pred letom 1388, po njegovi smrti je posest prevzel sin Andrej, ki je leta 1395 umrl. Z njim so izumrli Kunšperski po moški liniji.

V začetku 13. stoletja so Kunšperški in Ptujski prišli do zelo obsežne alodialne posesti v Zgornji Savinjski dolini, ki so si jo enakomerno porazdelili. Očitno je, da so bili skupni dediči po nekih koroških gospodih. Ptujski so dobili Kacenštajn in ozemlje Žamberka, Kunšperski pa ozemlje kasnejših Hekenberga, Turna in Velenja.

Kunšperški so s svojimi vitezi na gradu gospodovali do leta 1395, ko ga je vitez Andrej izročil Hermanu I. Celjskemu. Takoj po formalni podelitvi Kunšperka Celjskim se je pritožila Andrejeva sestra Agnes, drugič poročena s Henrikom z Ehrenfelsa, ki je kot dedinja grad zahtevala zase. Kunšperk je bil namreč dedni fevd, ki so ga lahko dedovale tudi ženske. Zato ji je škof leta 1397 hočeš nočeš moral podeliti Kunšperk. Verjetno pa se je potem takoj pogodila s Celjskimi in jim prepustila grad, saj se noben Andrejev morebitni dedič po letu 1395 na njem ni več omenjal.