1560년 6월 19일(양력으로 6월 12일)에
마츠다이라 모토야스(도쿠가와 이에야스)와 함께 오다군의 요새 중 하나인 와시즈채를 공략하는데 성공하지만 요시모토의 전사 소식을 듣고 퇴각하였으며, 요시모토의 죽음으로
이마가와 우지자네가 뒤를 이었지만 모토야스가 독립하는 등 몰락하면서 이마가와 가문의 가신들이 다케다와 도쿠가와로 배반하는 사태가 속출하는 와중에 우지자네를 지지했다. 가히 이마가와 가문의 최후의 충신이라 할 수 있겠다.
1562년 3월에 모반 혐의가 있는
이이 나오치카를 우지자네의 명을 받아 참수하였으며, 1568년 12월에 동맹이었던 다케다 가문이 일방적으로 동맹을 깨서 스루가를 침공하면서 우지자네가 쫓겨나자 카게카와 성으로 맞아들여 보호했다. 하지만 도쿠가와 군의 공격을 받아 포위되자 이 때 가신들이 도쿠가와 가문으로 배신하는 상황에서 5개월 동안 농성을 벌이지만 1569년 5월에 항복했다.
이후 우지자네를 따라서 이즈로 동행하였으며, 우에스기에게 원조를 요청하는 움직임을 벌였다고 한다. 이후 1571년에
다케다 신겐과
호죠 우지마사가 코소동맹을 맺을 때 우지자네가 부인인 하야카와도노와 함께 탈출할 때 동행하지 않았다고 한다.