Nelle fonti, il castello di Prem (Primano) viene citato per la prima volta nel 1213, quando compare come testimone il signore di Duino Udo de Prem. Dopo l'estinzione degli uomini della famiglia Duino nel 1399, Prem (Primano) e gli altri loro vasti possedimenti furono ereditati dai loro parenti, i signori di Walsee di Svevia. Quando gli Asburgo consolidarono il loro potere dopo l'estinzione dei conti di Celje nel 1456, i Walsee furono costretti a vendere i loro possedimenti strategicamente più importanti, Duino, San Giovanni di Duino, Senosecchia e Prem (Primano), all'imperatore Federico III tra il 1466 e il 1472. All'inizio del XVII secolo, il castello restaurato divenne proprietà di un'influente famiglia nobile, immigrata a Carniola da Pordenone in Friuli nella seconda metà del XVI secolo nell'ambito del movimento antiriformista. Prem (Primano) rimase di proprietà della famiglia Porcia fino al 1906, anno in cui la tenuta fu venduta all'asta. Fu acquistata dal curato e poi parroco di Dolnja Košana, Karel Lenassi. Dopo la sua morte, il castello di Prem (Primano) e il maniero a Senosecchia furono ereditati dalla nipote Ana Biščak. Durante la prima guerra mondiale, il palazzo, come molti altri edifici del fronte interno, fu occupato dai soldati austro-ungarici e il suo interno fu devastato. È un vero miracolo che il castello, come il maniero di Senosecchia, non sia stato scoperto e distrutto dopo la guerra.

Nel 1927, il castello ormai fatiscente fu acquistato dal medico triestino Bruno Zuccolin e negli anni seguenti, seguendo i disegni del pittore Mario Lannes, fu ampiamente restaurato e trasformato nella sua residenza estiva. Fu di sua proprietà fino alla nazionalizzazione dopo la seconda guerra mondiale. All'ingresso dello spazio al piano terra sotto la cappella, fece costruire diversi frammenti di pietra di tavolette armaturali e chiavi, che rivelano origini veneziane ma non hanno alcun legame con la storia precedente del castello. A quel tempo, due pregiate mensole a forma di erme tardo-rinascimentali, anch'esse portate dall'ex Repubblica di Venezia, furono probabilmente costruite nel muro della loggia porticata al primo piano.

Dopo la guerra, il castello, come tutti gli edifici simili, fu nazionalizzato. Tra il 1970 e il 2008 è stato sottoposto a importanti lavori di ristrutturazione, dato che nel dopoguerra era caduto di nuovo in grave degrado.