気になったんで、除湿器の水、で検索してみたら
まあ普通にカビや細菌やらが混入することはあるみたいだね

ただ、水になるまでの時間が結構早いから
そこまで不潔なもんだとも思えないなあ
緊急時ならありじゃないかね
死ぬほどではないだろうし
濾過とか煮沸とかさせりゃリスクも減るだろうし