Somogy megye déli részén Horvátországtól és a Drávától 8 km-re, Nagyatádtól 16 km-re, Kaposvártól 70 km-re fekszik. Délen Babócsával és Bolhóval, északon Tarannyal, keleten Bakházával, délkeleten Rinyaújnéppel határos.

Háromfa első okleveles említése 1377-ből való, amikor Harumfa'1-ként írták. Később Háromfafalvának nevezték, majd az idők folyamán ez rövidült Háromfára. (A legenda szerint három nagy nyárfa állt egy dombon, innen kapta a falu a nevét. Ez a három nyárfa szerepel most a falu címerében is.) 1406 és 1418 között a berzencei Lórántfi György, 1477-ben Forster György volt a birtokos. 1481-ben felerészben ugyanez a Forster, illetve a tolnai Bornemissza János birtoka. Az 1554. évi török kincstári adólajstrom szerint 3 házból állt. A 18. század húszas éveiben őrgróf Turinetti Herkules Lajos a birtokos. 1733-tól a Festetics családnak volt itt 1945-ig nagyobb birtoka. A községbe már a 17. században települtek le szlovénok (vendek) Gróf Festetich Kristóf a 18. század első évtizedeiben Muraszombat vidékéről további vend lakosokat telepített ide, akik később elmagyarosodtak.