「御曹司」という言葉が「嫡男以外の部屋住み」という意味の例として堂上家を挙げただけで、
「四郎殿様」と堂上家を関連付ける気はないよ