ดินแดนอันเป็นที่ตั้งของจังหวัดประจวบคีรีขันธ์ในปัจจุบันนี้ มีความเป็นมาที่ไม่ชัดเจนนักบันทึกทางประวัติศาสตร์ที่ค้นพบแสดงให้เห็นว่าเคยเป็นเพียงทางผ่านทางการเดินทัพทั้งทัพไทยและทัพพม่า และเนื่องจากพม่าเดินทางเข้ามาตีกรุงศรีอยุธยาหลายครั้งด้วยกันทำให้อาคารบ้านเรือนหรือสถานที่ทางศาสนาเป็นเพียงการสร้างขึ้นใช้ชั่วคราว เมื่อถูกโจมตีก็สูญหายไปเสียคราวหนึ่ง จึงไม่มีโบราณสถานถาวรใดๆ เหลืออยู่เช่นจังหวัดอื่นๆ ในบริเวณภาคกลางของประเทศ อย่างไรก็ตามหลักฐานเอกสารบางฉบับชี้ให้เห็นว่า ดินแดนแถบนี้เคยมีผู้คนตั้งบ้านเรือนมาช้านานแล้ว ซึ่งพอจะลำดับได้ดังนี้
สมัยก่อนกรุงศรีอยุธยา
ประวัติที่เล่าขานถึงความเป็นมาได้แสดงให้เห็นว่าจังหวัดประจวบคีรีขันธ์ในปัจจุบันเคยมีผู้ตั้งบ้านเรือนอยู่อาศัยช้านานนับได้หลายศตวรรษ หนังสือพงศาวดารกรุงศรีอยุธยาฉบับ วัน วลิต พ.ศ. ๒๑๘๒ (Van Vliet) พ่อค้าชาวฮอลันดา ซึ่งได้มาทำงานอยู่ที่กรุงศรีอยุธยาเป็นเวลาประมาณ ๙ ปี พ.ศ. ๒๑๗๖ - ๒๑๘๕ ในสมัยพระเจ้าปราสาททอง ซึ่งวนาศรี สามนเสน แปลไว้เมื่อ พ.ศ. ๒๕๒๓ ความบางตอนกล่าวว่า
“ …..เป็นเรื่องราวที่เห็นพ้องต้องกันมากที่สุด คือเมื่อประมาณสองพันปีมาแล้วพระโอรสของจักรพรรดิจีนพระองค์หนึ่งถูกเนรเทศออกจากเมืองจีน เนื่องจากลอบปลงพระชนม์พระราชบิดา และจะยึดครองราชอาณาจักร พระราชโอรสและข้าราชการบริพารหลังจากรอนแรมไปตามที่ต่างๆ ในที่สุดก็มาขึ้นบกที่อ่าวสยามแหลมกุย (Guij) อยู่ห่างจากอำเภอกุยบุรีในปัจจุบัน ๖๐๐ เมตร ความเห็นของผู้แปลบันทึก และตั้งถิ่นฐานที่นั่น….”