日本全国にその種をまき、多くの分家を輩出して拡散していった渡辺家だが、その本流たる哲雄の直系子孫は、早いうちに断絶している。 初代将軍哲雄から第五代将軍まではまっすぐ系統が続くが、第四代哲宗は長男哲茂以外の息子の多くが病死し、哲茂の子も三十歳以上を越えて生き永らえる子はなく、次々と夭折してしまった。故に哲茂の死をもって、哲雄直系の子孫は断絶する。