и конкретная любовница тут не при чем. Просто Вы ощущаете большую ответственность за свои действия, слова.Боязнь причинить вред другим - вот что заставляет чувствовать себя виноватым. Это значит у Вас развито "чувство другого". Вы не одиноки: таких людей очень много. Но, согласитесь, чувствовать себя виноватым и БЫТЬ им - не одно и то же. Вы не обязаны быть совершенным и безупречным. Внимательным - да.
Попробуйте не бичевать себя, спрашивая: "В чем моя вина", а спокойно размышлять над тем, что можно исправить и чего избежать в следующий раз.