Thị trấn Hương Sơn nằm gần vị trí trung tâm của huyện phú bình, có vị trí địa lý:
- Phía đông giáp xã Lương Phú và xã Tân Hòa
- Phía tây giáp xã Xuân phương
- Phía nam giáp xã Kha Sơn
- Phía bắc giáp xã Tân Kim
Thị trấn Hương Sơn có diện tích 1.030,33ha, dân số trên 10 nghìn người.
Trên địa bàn thị trấn có hệ thống kênh đào nhân tạo nối giữa sông Cầu và Sông Thương (còn được gọi là sông Máng). Quốc lộ 37 chạy qua phía tây nam của thị trấn Hương Sơn.
