Mặc dù môn golf hiện đại có xuất xứ tại Scotland thế kỷ 15, tuy nhiên xuất xứ cổ đại của môn thể thao này vẫn không rõ ràng và còn nhiều tranh cãi. Theo một số sử gia, trong môn paganica của người La Mã, người chơi sử dụng một cây gậy cong để đánh một quả bóng da nhồi. Lý thuyết này cho rằng paganica lan khắp châu Âu khi người La Mã chinh phục trong giai đoạn thế kỷ thứ nhất trước Công nguyên và cuối cùng phát triển thành môn thể thao hiện đại. Những sử gia khác lại cho rằng môn golf hiện nay phát triển từ môn chùy hoàn, một trò chơi Trung Quốc tồn tại từ thế kỷ 8 đến thế kỷ 14. Một văn bản có niên đại 1368 mang tên “Bữa tiệc mùa thu” vẽ lại cảnh một người trong triều đình dùng một cây gậy đánh một trái bóng nhỏ với mục đích đưa bóng vào hố. Trò chơi này được cho là du nhập vào châu Âu từ thời Trung cổ. Một trò chơi có nét giống golf có tên là cambuca ở Anh (ở Pháp gọi là chambot)
Ở Việt Nam cũng có một trò chơi dân gian mang tính chất tương tự là môn “Đánh phết”, về sau trò này trở thảnh một môn thể thao phổ biến trong các ngày tết, ngày hội. Tương truyền, từ thời Hai Bà Trưng, trò đánh phết đã được tổ chức để rèn luyển thể lực và mưu trí cho quân sĩ.
Môn thể thao hiện đại có nguồn gốc tại Scotland. Bản ghi chép đầu tiên về golf tại đây là lệnh cấm chơi trò chơi này của James II vào năm 1452 vì nó khiến quân sĩ tại đây bỏ bê việc luyện tập bắn cung. Vua James IV dỡ bỏ lệnh cấm vào năm 1502 khi chính ông cũng trở thành một tay golf. Đối với nhiều golfer thì sân Old Course tại St Andrews, một sân golf kiểu links có niên đại từ năm 1574, được coi là thánh địa của golf. Vào năm 1764, sân golf 18 lỗ tiêu chuẩn được ra đời tại St Andrews khi các thành viên cải tạo sân từ 22 lỗ thành 18 lỗ. Một cuộc thi đấu golf diễn ra tại Musselburgh Links, East Lothian, Scotland vào ngày 2 tháng 3 năm 1672. Musselburgh Links cũng được Guinness chứng nhận là sân golf lâu đời nhất thế giới. Luật golf cổ nhất còn tồn tại được soạn vào tháng 3 năm 1744 dành cho Company of Gentlemen Golfers, sau này trở thành The Honourable Company of Edinburgh Golfers, áp dụng cho sân golf Leith, Scotland. Giải golf cổ nhất còn tồn tại, và cũng là giải major đầu tiên, The Open Championship, diễn ra lần đầu vào ngày 17 tháng 10 năm 1860 tại câu lạc bộ golf Prestwick thuộc Ayrshire, Scotland với những chức vô địch major đầu tiên thuộc về những người Scotland. Hai người Scotland tới từ Dunfermline là John Reid và Robert Lockhart lần đầu biểu diễn golf tại Hoa Kỳ vào năm 1888. Reid sau đó thành lập câu lạc bộ golf đầu tiên tại Mỹ ngay trong năm đó mang tên St. Andrews Golf Club ở Yonkers, New York.