引っ越し先に偶然同じ会社の男性が住んでたんだけど、勘助ってやつになりそう…

私は独り暮らしするのに実家を出て、マンション住まいなんだけど
マンションが二棟に分かれてて隣接している(A棟B棟みたいな感じ)。

私はA棟、同じ会社の人がB棟にいて引っ越して3ヶ月後くらいに偶然会って気が付いた。

先週休憩室にいたら、その人がﾋｿっと 
「あの事誰にも言ってないよな？一緒のマンションに住んでるなんて知られたら困るんだよ」と嫌そうに言ってきた。 

棟が分かれてるし会う機会もほぼないのにそんな嫌なのかと思ったが先に住んでる人からしたらいい気分じゃないかもと「誰にも言ってませんし言いません」と答えた。 

昨日の夜、習い事をして夜10時くらいに帰宅したらマンション敷地の私の住む棟の前でその人が立っていた。

私を見つけるなり 
「あんまり遅くなるなよ、君に何かあったら俺が会社で色々言われるし」と言われ 
「ええ？…何でですか？」と聞いたら 

「一緒のマンションにいるのに君が危ない目に遭ったら、うるさく言われるのは俺なんだよ。同じとこに住んでるのにお前は何やってたんだって話になるから気を付けてくれ」とか言い捨てられて、

その人はサッとB棟に帰って行き、私は自室に帰ったんだけど 
今朝出社してるか私の部署まで確認にも来てたと同僚から聞かされて何かちょっとこわい。

何ですか？って返事したら、ﾋｿっと 
「俺と同じマンションに引っ越してきたの偶然じゃないよね？調べたの？」 
と言われて、驚いて慌てて 
「いえまさか、本当に偶然ですよ、ホントに！」と否定したんだけど、

フーン(゜-゜)、、みたいな顔で 
「いや俺は興味ないからそんな必死に否定されても困るし。でも会社では話さないようにしよう」って言い捨てられた。

暗に「お前引っ越せや！」と言いたいだけかも知れないけどしつこい気がするから一応上司に話しておいたよ。同じマンションじゃなく別棟なんだけどね。 
レス&アドバイスくれた方ありがとう！。