江府町は、鳥取県西部にそびえる秀峰大山の南側の麓に位置し、西部経済圏の中心である米子市へは２５ｋｍの距離です。隣は日野町、伯耆町、大山町、琴浦町、倉吉市、岡山県真庭市に囲まれ、町の中心地を南北に国道１８１号、ＪＲ伯備線がとおり、中心部には東西に米子自動車道がとおっています。
また、国道１８１号と平行して流れる河川は、鳥取県三大河川の一つ日野川の清流であり、主な支流は俣野川、船谷川、小江尾川があります。