V virih se grad Prem prvič omenja leta 1213, ko kot priča nastopa devinski ministerial Udo de Prem. Po izumrtju Devinskih v moškem rodu leta 1399 so Prem in njihovo drugo obsežno posest dedovali njihovi sorodniki, gospodje iz švabskega Walseeja. Ko so Habsburžani po izumrtju Celjskih grofov leta 1456 okrepili svojo moč, so bili Walseejci med letoma 1466 in 1472 prisiljeni prodati cesarju Frideriku III. svoje strateško najpomembnejše posesti, Devin, Štivan, Senožeče in Prem. Na začetku 17. stoletja je obnovljeni grad s poroko prešel v last vplivne plemiške rodovine, ki se je v drugi polovici 16. stoletja v sklopu protireformacijskega gibanja na Kranjsko priselila iz Pordenona v Furlaniji. V lasti družine Porcia je Prem ostal vse do leta 1906, ko so posest razprodali na dražbi. Kupil ga je kurat in poznejši župnik v Dolnji Košani Karel Lenassi. Po njegovi smrti je premski grad in dvorec v Senožečah podedovala njegova nečakinja Ana Biščak. Med prvo svetovno vojno so dvorec tako kot številne druge stavbe v zaledju frontne črte zasedli avstro-ogrski vojaki in opustošili njegovo notranjščino. Pravi čudež je, da gradu enako kot dvorca v Senožečah po vojni niso razkrili in podrli.

Leta 1927 je propadajoči grad kupil tržaški zdravnik Bruno Zuccolin in ga v naslednjih letih po načrtih slikarja Maria Lannesa temeljito obnovil in preuredil v svojo letno rezidenco. V njegovi lasti je bil do nacionalizacije po drugi svetovni vojni. Ob vhodu v pritlični prostor pod kapelo je dal vzidati več kamnitih fragmentov grbovnih plošč in sklepnikov ki izdajajo beneško poreklo, s starejšo zgodovino gradu pa nimajo zveze. Takrat so najbrž v zidec arkadne lože v nadstropju vzidali tudi dve kvalitetni konzoli v obliki poznorenesančnih herm, ki sta prav tako prineseni z območja nekdanje Beneške republike.

Po vojni je bil grad, tako kot vsi tovrstni objekti, nacionaliziran. Med letoma 1970 in 2008 so na njem potekala večja obnovitvena dela, saj je v povojnem obdobju ponovno močno propadel.