柯賜海有三段婚姻,第一任妻子是大學教授劉蘋華,兩人生育一名女兒,但婚姻只維持3年;第二段婚姻是2010年出獄後閃婚號稱「台塑林志玲」的41歲台塑生醫業務副理張美丹,短短4個月就被妻子指控家暴再度離婚;2013年,柯賜海一度交往時年28歲、小他29歲的女研究生廖心如,但在廖女父母極力反對下分手,柯賜海隨後與時年27歲的林思佳結婚,生育獨子「皮皮」,2019年仍離婚收場。
柯賜海坦言,他一生共交往過9任女友,結過3次婚,第一段婚姻是他28歲那年投資電影《瘋女18年》期間,結識擔任編劇的劉蘋華,兩人交往半年火速結婚,生育一名女兒,但雙方經常吵架,婚姻只維持了3年,兩人的女兒如今已36歲。
柯賜海第二段婚姻則是在2010年他54歲時,當時他才因詐欺罪服刑2年8月出獄,不到3個月就宣布追到時年41歲、小他13歲的張美丹,2個多月就決定結婚。不料2011年4月,張美丹被目擊慌張跑出新店達觀社區住處,隨後驗傷報警指控柯賜海家暴。
最後柯賜海因傷害與恐嚇危安兩罪,於2013年6月被高院各判刑3月及拘役40天,兩人同年7月3日辦妥離婚,2天後他就宣稱已在花蓮另結新婚,他才承認,2013年7月5日他其實是與曾在他公司打工的林思佳結婚,與廖心如因為女方父母極力反對而分手。
柯賜海與林思佳所生的兒子「皮皮」2014年3月出世,他就此轉性專心當奶爸,但平靜的日子維持沒幾年,2017年柯賜海為辦貸款與林思佳「假離婚」,他為免弄假成真自首偽造文書並提出確認婚姻關係存在訴訟,2018年更因為纏訟5年的偽造文書案件被判刑7月確定,卻因法院通知未送達,沒繳罰金也沒去服刑而遭通緝,年底被捕時曝光虛弱重病的身體狀況,林思佳證實已與他分居2年,帶著「皮皮」住在娘家,兩人於2019年5月經法院判決離婚。