金山町は山形県の東北部（最上郡）に位置し、東西約18キロメートル、南北約14キロメートルのほぼ三角形をなしており、北と西は同郡真室川町、東は秋田県湯沢市、南は新庄市に接しています。
面積は161.67平方キロメートル。山形県の面積の1.7パーセントにあたり、最上地域の面積の8.9パーセントを占めます。また、林業が盛んな本町は、山林面積が町全体の面積の65.5％を占めています。
町の西南部は平野がひらけ、東北部一体は神室山系を中心とする山岳地帯がつらなっています。また、神室山系を源とし、中央部を金山川、北部を中田春木川、南部を上台川が流れ、周辺の緑とともに自然美豊かな町を形成しています。気候は、地形が盆地のため、夏は暑く冬は多雪で、1.2〜2.0mの積雪になり、年間降雨量が2m前後の多雨多湿地帯です。