柯建銘日前拋出改選立法院長、罷免41席國民黨立委的「雙罷」。民進黨表示，各地罷免行動都是公民自主行動，能理解黨團在國會失序下第一線攻防的艱辛，也尊重黨團對罷免案看法，但民進黨並未針對罷免進行具體討論。
而就在民進黨表示未討論罷免一事後，隨即傳出有黨政高層對柯的做法有微詞，就連柯建銘在臉書上發表7000多字的臉書長文，標記全體民進黨立委，響應綠委卻是寥寥無幾，也讓外界對於柯建銘與府院黨間的矛盾，是否已開始檯面化，引發高度關注。
國民黨立院黨團書記長林思銘今(6日)表示，柯建銘現在看起來像是在最後的奮力一搏，目的就是要演給賴清德看，而賴清德會不會回心轉意不得而知，但若賴清德心中已有定見，認為柯建銘廉頗老矣，不想再讓柯建銘擔任總召的話 ，是有可能換上蔡其昌的。
林思銘透露，選罷法三法協商時，綠委蔡其昌雖不是黨團三長，但蔡卻能進到協商室參與協商，加上蔡擔任過立法院副院長、在民進黨內輩份比較高。因此，他認為蔡其昌是可能人選，他也推估，若換上蔡其昌跟在野黨好好溝通協調，而不是以柯建銘過去沒有法制概念、以大法官自居的胡亂做為，是有可能有助於改變國會目前的氛圍。
林思銘並強調，柯建銘腳傷好幾個月，期間賴清德直接下指令給黨團幹事長吳思瑤，跳過柯建銘，因此他個人認為，吳思瑤是賴清德想培養的下一任總召。
