遠藤吉平（1841-1932）は新潟の出身であるが、1877年に函館に移住し海陸物産商を開業した。函館区会議員をはじめ各種の公職も務め、のちに衆議院議員にもなっている。また、輸送に使われる俵の改良にも尽力した人である。
1885年（明治18）
竣工年は「明治18年以前」とされている。
函館は何回も大火に見舞われた都市だが、1879年（明治12）12月６日には2326戸を焼失する大火が発生した。火災後、函館支庁は耐火造の煉瓦建築を推奨して補助金も出した。この建物はそのような時期に建てられたものであり、外壁は煉瓦造のモルタル塗りとなっている。
平成時代
その後の建物の利用は調べられなかったが、1992年の会計検査資料に「喫茶JOE（旧遠藤吉平商店）」という記載があった。函館市景観指定建築物にも喫茶JOEの名称で指定されている。
喫茶店は2018年〜19年頃（正確な年は不明）には営業を止め、以後空家となっていたようだ。
2024年（令和６）
１月から、一棟貸しの宿泊施設として営業を始めた。
・関連ブログ記事 「
函館大火と街並み」
（2018/02/11）
