「もし私が男だったらどうする？」と笑いながら言ったら「今までおごった分返してもらうわ」

少し良いなって思っていた人からデートに誘われた。
でも自分は今就職活動中で、あまり派手にお金も使えないので
仕事が決まってから遊びましょうとお断りした際に、

お金のことは心配しないで！俺がだすから。
と言われたので遊びたいしＯＫをした。

でも帰り際の会話の流れで 
『もし私が男だったらどうする？』と笑いながらいったら 
『今までおごった分返してもらうわ』といわれて、 

私は完全に割り勘だったと記憶しているし
おごられた事もないんだけどこの人の頭の中では
おごってた事になっていたんだ。と思ったら、 
なんだかよくわからないし、少し恐いし、冷めた。 

最近ストーカー？みたいに連絡が多くて困っている。