加藤純一さん、ついに信者からも見放される