一起违法建设受到城市规划行政主管部门查处，被查处者不服，申请复议。上级主管部门复议确认违法事实存在，并对公共利益有严重影响，但具体行政行为违法，撤销了处罚违法建设的决定。在这种情况下，城市规划行政主管部门应该( )。