カイドウの強者リストに含まれてないから戦っても相手にならないと感じているか、戦闘経験がないかのどちらか
戦闘描写ではルフィに一発で動けなくなるのを2回もやってるやつが時間制限無しで戦えるカイドウ相手にどうにか出来るわけもない

だいたい赤犬は侍が言ってるけど、海軍はワノ国にドレークを百獣海賊団のスパイとして潜り込ませてるんだから既にカイドウに支配されてまともな侍がいない事は把握している
ようは黄猿を失わないように赤犬は無謀な事させずに止めただけ