JR伯備線は、昭和3年に全線が開通し、方谷駅も同時に建設された。方谷駅駅舎は、シンプルな木造平屋構造であり、切妻型の方形プランである主屋を、片流れのプラットホーム屋根と切妻型の車寄が両側から挟みこみ、機能に対応した構造形式を呈している。車寄が特徴的であり、切妻屋根は意図的に太く見えるようにデザインされたＬ字型のモルタル柱で支えられ、象徴的な門型による威厳のある「駅の顔」を表現している。このモルタル柱は、表面を洗い出しで仕上げ、装飾を施すなど、車寄の建築に重きを置いていたことが想像できる。駅名は中井町出身である山田方谷の名前からと言われているが、当時は駅名に人名が採用されることはなく、地元の方々が中井町西方の谷に位置するという理由で「方谷駅」が良いという説明のもと、「方谷駅」が採用されたとの逸話も残されている。人名のついた駅としては初期のものにあたる。