八幡製鉄所の拡張工事に伴い、工業用水を確保するために建設された。設計は中津市出身の建築家・船橋喜一。（これまで不明だったが2011年の調査で判明）

蒸気ポンプを使用していたが、電動化される。現在も使用中。

「明治日本の産業革命遺産　製鉄・製鋼、造船、石炭産業」が世界遺産として登録される。8県11市にまたがる23資産から成る世界遺産だが、遠賀川水源ポンプ室もその構成資産のひとつ。