Who do you go there with?

この文は、かしこまった言い方をすると、
Whoｍ do you go there with?または、
With whoｍ do you go there with?
目的格の疑問詞 whom を使うと改まった言い方に感じるので、通常は who を使う。

なぜ go to there ではなく、go there かというと、この場合の there は副詞で、「そこへ」という意味。類例：「家へ帰る」〇 go home  ✖ go to home(この場合の home は副詞で「家へ」という意味）。

街角で見かけた英語（メルボルン）

wharf「波止場、埠頭」