職場のダメ男を好きになってしまいます

私はまだ未婚で彼氏もいません。
会社に離婚歴のある年上男性がいるのですが、自他共に認める女好きなタイプで、今までの自分の自慢話、付き合った女の子数や経験人数、不倫した話など平気で話してきますし、卑猥な話などしてきます。

でも私はその人の明るいところ、社交的なところ、本当は純粋で、子供っぽい、というか良い意味でも悪い意味でも正直、というか自分の感情に素直なところ←でもそれが自分の欲求を押さえられないということなんでしょうけど

最低な男だと思う反面、憎めなくて　誘われたり電話が来たりするとつい出てしまって、きっぱりとした態度をとることが出来ません。
元々私がそういうタイプの人が好きなこともあって、こんな自分が嫌です。
私自身淋しい思いがあって誰かに愛されたい、という思いがあるからそのような人につい心がいってしまうのかもしれませんが、本当に自分を愛してくれる人、大切に思ってくれる人に出会うにはどうしたら良いのでしょうか。