飯石郡飯南町は島根県中南部にあり、広島県との県境、中国山地の脊梁部に位置し、周囲を 1,000 m前後の琴引山や大万木山などに囲まれ、平坦地の標高が約 450 mの県下でも代表的な高原地帯です。

町の南端にある女亀山を源とする神戸川が北へ貫流し、谷地区を南に流れる塩谷川は江の川に注いでいます。

面積は 242.88平方キロメートル(東西 32km 、南北 32km )で、約 90 %を山林・原野が占めています。