In Urkunden wird die Burg Prem erstmals 1213 erwähnt, als der Duineser Ministerial Udo de Prem als Zeuge antritt. Nach dem Aussterben der Herren von Duino in der männlichen Stammlinie im Jahre 1399, ist Prem und deren sonstiges umfangreiches Besitztum an ihre Verwandten vererbt worden, den Herren von Walsee. Als die Habsburger nach dem Aussterben der Grafen von Cilli 1456 ihre Macht stärkten, wurden die Walseer zwischen den Jahren 1466 und 1472 gezwungen deren strategisch wichtigsten Ländereien Duino (Devin), San Giovanni di Duino (Štivan), Senosetsch (Senožeče) und Prem an Kaiser Friedrich III. zu verkaufen. Zu Beginn des 17. Jahrhunderts ging die restaurierte Burg in den Besitz einer einflussreichen Adelsfamilie über, die in der zweiten Hälfte des 16. Jahrhunderts im Zuge der Antireformationsbewegung aus dem friaulischen Pordenone nach Krain einwanderte. Prem blieb bis 1906 im Besitz der Familie Porcia, als das Anwesen versteigert wurde. Es wurde vom Kuraten und späteren Pfarrer von Dolnja Košana, Karel Lenassi, gekauft. Nach seinem Tod erbte die Burg Prem und den Hof in Senosetsch seine Nichte Ana Biščak. Während des Ersten Weltkriegs wurde der Hof wie viele andere Gebäude im Hinterland der Frontlinie von österreichisch-ungarischen Soldaten besetzt und sein Inneres verwüstet. Es ist ein wahres Wunder, dass die Burg, ebenso wie der Hof in Senosetsch, nach dem Krieg nicht abgedeckt und abgerissen wurde.

1927 wurde die verfallene Burg vom Triester Arzt Bruno Zuccolin gekauft und in den folgenden Jahren nach den Plänen des Malers Mario Lannes gründlich renoviert und zu seinem Sommerwohnsitz umgebaut. Bis zur Verstaatlichung nach dem Zweiten Weltkrieg war sie in seinem Besitz. Am Eingang in den Raum im Erdgeschoss unter der Kapelle ließ er mehrere steinerne Fragmente von Grabplatten und Schlusssteinen venezianischen Ursprungs einbauen, die jedoch nichts mit der älteren Geschichte der Burg zu tun haben. In das Gesims der Arkadenloge im ersten Stock wurden damals auch zwei hochwertige Konsolen in Form Spätrenaissance Büstenpfeiler eingebaut, die ebenfalls aus dem Gebiet der ehemaligen Republik Venedig mitgebracht wurden.

Nach dem Krieg wurde die Burg, wie alle derartigen Gebäude, verstaatlicht. Zwischen 1970 und 2008 wurden an ihr umfangreiche Restaurierungsarbeiten durchgeführt, da sie in der Nachkriegszeit ernäut baufällig wurde.