世界政府からしたらリスクをとってまで四皇と戦う理由がない
仮に大将が戦死したら大きな戦力ダウンになる。だからほぼ100％勝てると判断した時じゃないと大将は出てこない

要するに、ルフィは緑牛にも黄猿にも少し舐められてる