ロビーバグの可能性あるね…
以前だとPSIDにハイフンが入ってると起きやすいとかいう噂があった
ただ自分はハイフン入ってるけどたまに起きる程度で
対戦に困るほどじゃなかったから何とも言えない
あとツイッターで見かけたのは、アバター(アイコン)を変えたら起きなくなったとか…

いずれにせよ1度ロビーバグが起きるとその後も起こり続けるので
HOME画面でアニコレを終了させて再起動すると大抵は直る
それでも起きるなら本体再起動とかかな…