Главный критерий для принятия решения, ходить ли к конкретной девушке ещё - ощущение комфорта и непротиворечивости происходящего. А если есть ощущение "не пойму что, но что-то явно не так" - лучше воздержаться от кам-бэков.
ЗЫ: если честно, я совсем не понял, что именно Вас так напрягло.