Сказать бы: "Мне с вами сложно. Можно, я пойду?"
Только вот тогда не останется вас