アニメ版でいえば…

テリー＝女運がない (縁を持った女性共に死亡)
ジョー＝そもそも女に縁がない

ですね。