心理咨询师条件：因为钱,感情想不开

我常常做公益活动,在一次活动中认识了一个孤寡老头,看他一个人日子后,常常会抽暇看他。后来我家里出了点工作急需用钱,他借了钱给我,可是他居然对我做了让我很为难的事,可以说是行打扰。他逼我把欠他的钱都还给他,或许让我做他的情人。我一时半会无法还清他的钱,但我也回绝与他产生不三不四的联系。就一向拖着,后来他狗急跳墙把我借他钱的工作告知了咱们安排,安排里边好多人知道后都在背后议论我,说我和他联系不正当,说我日子不检核,说我骗白叟钱。但我什么都没做,我就和他借了钱罢了!人言可畏我该怎样做?我不知道自己该怎样办了!