เดิมทีตำบลคลองอู่ตะเภาชื่อว่าตำบลท่าแซ เหตุการณ์เปลี่ยนชื่อตำบลเกิดขึ้นสมัยจอมพล ป.พิบูลสงคราม (หลวงพิบูลสงคราม) เป็นนายกรัฐมนตรี มีหลวงพรหมโยธี (มังกร พรหมโยธี) เป็นรัฐมนตรีว่าการกระทรวงมหาดไทย มีนโยบายในการส่งปลัดอำเภอไปทำงานประจำตำบลต่างๆ ทั่วประเทศเพื่อช่วยเหลือกำนันในการพัฒนาด้านต่างๆ แต่เมื่อสำรวจแล้วปรากฎว่าจำนวนตำบลในประเทศมีจำนวนมากไม่มีงบประมาณเพียงพอที่จะส่งปลัดอำเภอให้ครบทุกตำบลได้ จึงเกิดนโนบายในการยุบหรือปรับพื้นที่ตำบลต่างๆ ใหม่เพื่อให้เพียงพอต่องบประมาณที่จะส่งปลัดอำเภอลงไปทำงานยังตำบลต่างๆ จึงเป็นความวุ่นวายพอสมควรในการดำเนินการ ตำบลท่าแซจึงเป็นตำบลนึงที่โดนปรับพื้นที่ด้วย เดิมทีตำบลท่าแซมีจำนวนหมู่บ้านทั้งหมด 8 หมู่บ้าน ต้องตัดพื้นที่ออกไป 3 หมู่บ้านครึ่ง โดยกำหนดเอาทางรถไฟเป็นเขตหมู่บ้านของหมู่ที่ 4 เป็นตำบล ท่าแซ ส่วนที่เหลือโอนไปขึ้นกับหมู่ที่ 4 ของตำบลท่าช้าง บางส่วนทางด้านทิศเหนือของทางรถไฟไปรวมกับตำบลบ้านหารและตำบลแม่ทอมทั้งหมดเข้าด้วยกัน แล้วเปลี่ยนชื่อตำบลท่าแซเป็นตำบลคลองอู่ตะเภา เนื่องจากทางการเห็นว่าตำบลคลองอู่ตะเภาเป็นตำบลที่มีพื้นที่อาณาเขตยาวไปตามริมฝั่งคลองอู่ตะเภาประมาณ 3,652 เมตร ซึ่งคลองอู่ตะเภาไหลไปลงทะเลสาบสงขลาที่บ้านแหลมโพธิ์ ตำบลคูเต่า
      ที่มาของคำว่าท่าแซ ลุงประสพ เพ็ญศรี ชาวบ้านหมู่ที่ 1 บ้านหัวบ้านนอก อยู่บ้านเลขที่ 24/1 ตำบลคลองอู่ตะเภา อายุ 72 ปี ได้เล่าให้ฟังว่าเมื่อก่อนการเดินทางไปไหนมาไหนไม่ได้สะดวกสบายเหมือนปัจจุบันนี้ ผู้คนจะเดินทางไปไหนมาไหนต้องใช้เส้นทางเรือทั้งนั้น โดยเรือจะมาจากตำบลคูเต่าและจะแวะรับผู้โดยสารระหว่างทางเรื่อยมาตามท่าต่างๆ จนมาถึงบ้านท่าแช ที่เรียกบ้านท่าแช เนื่องจากที่นี่ผู้คนในหมู่บ้านกว่าจะได้เดินทางออกจากหมู่บ้านไปถึงท่าเรือได้นั้นต้องใช้เวลานาน ผู้คนที่นี่ทำขนมไทยไปขายในเมืองหาดใหญ่ ซึ่งแต่เดิมคือแถวสถานี 2 คือสถานีรถไฟเดิม กว่าจะหาบขนมไปถึงท่าเรือต้องใช้เวลานานเพราะทางเดินมีความคับแคบ ที่ลุงประสพเรียกทางเดินว่า “รูลง” หมายถึงทางเดินแคบๆ แล้วหากมีผู้โดยสารบางคนไปถึงท่าเรือแล้วก็จะบอกคนขับเรือว่าให้รอหน่อย เนื่องจากจะมีผู้โดยสารคนอื่นๆอีกหลายคนจะมาลงเรือด้วย ทำให้ผู้โดยสารที่มาจากฝั่งคูเต่า ท่าอวน ท่าโอ ท่าหยี บ้านคดยาง บ้านดอน ที่ลงเรือมาก่อนมักมีคำติดปากอยู่เสมอว่า “เดี๋ยวไปรุ่งที่ท่าแชเหล่า” เนื่องจากต้องมารอผู้โดยสารจากคนในหมู่บ้านแห่งนี้เป็นเวลานานกว่าท่าเรือแห่งอื่นๆ เมื่อเวลาผ่านไปนานวันเข้าคำว่า “ท่าแช” จึงเพี้ยนไปเป็น “ท่าแซ” ใช้จนถึงปัจจุบันนี้
      ต่อมาเมื่อจอมพล ป.พิบูลสงคราม พ้นจากตำแหน่งมีผู้อื่นมาดำรงตำแหน่งแทน นโยบายที่กำหนดให้ปลัดอำเภอไปประจำหมู่บ้านจึงถูกยกเลิก มีการเรียกปลัดให้กลับไปทำงานที่ว่าการอำเภอทั้งหมดส่วนตำบลต่างๆ ที่มีการแบ่งแยก ยุบรวมกันในสมัยจอมพล ป.พิบูลสงคราม มีการให้กลับคืนสถานะตำบลส่วนตำบลต่างๆ ที่มีการแบ่งแยก ยุบรวมกันในสมัยจอมพล ป. พิบูลสงคราม มีการให้กลับคืนสถานะตำบลเดิม ตำบลบ้านหารและตำบลแม่ทอมได้กลับคืนเหมือนเดิม แต่ก็มีตำบลบางส่วนไม่ได้กลับคืนเหมือนเดิม เช่นตำบลคลองอู่ตะเภา เหลือ 4 หมู่บ้านจนถึงปัจจุบันนี้ ผู้ปกครองในสมัยนั้นประกอบด้วย

• หมู่ที่ 1 นายถัด นวลละออง กำนันตำบลคลองอู่ตะเภา
• หมู่ที่ 2 นายวิน สุวรรณรัตน์ ผู้ใหญ่บ้าน หมู่ที่ 2
• หมู่ที่ 3 นายดำ สุขวิไล ผู้ใหญ่บ้าน หมู่ที่ 3
• หมู่ที่ 4 นายหมาด หมัดสมัน ผู้ใหญ่บ้านหมู่ที่ 4

      ต่อมาผู้ใหญ่บ้านวิน สุวรรณรัตน์ ลาออก นายฉอ ยอดวิทย์ มาเป็นผู้ใหญ่บ้าน หมู่ที่ 2 แทน หลังจากนั้นไม่นานผู้ใหญ่บ้านฉอ ยอดวิทย์ ได้ลาออกและได้ย้ายไปอยู่บริเวณตลาดนัดคลองนกกระทูง ก็ได้ผู้ใหญ่บ้านคนใหม่คือ นายเกลือน มานะการ มาแทน ต่อมาหมู่ที่ 1 กำนัดถัด เกษียณอายุราชการ ก็ได้ นายประเสริฐ ยอดวิทย์ มาเป็นผู้ใหญ่บ้าน ส่วนหมู่ที่ 4 นายหมาด หมันสมัด เกษียณอายุราชการ ก็ได้ นายรัม หมัดสมาน เป็นผู้ใหญ่บ้านและได้เป็นกำนันตำบลคลองอู่ตะเภาในเวลาต่อมา
      หลังจากนั้นไม่นานมากนักอำเภอหาดใหญ่ซึ่งเป็นอำเภอขนาดใหญ่มากในสมัยนั้น ก็ได้มีนโยบายจากส่วนกลางในการตั้งกิ่งอำเภอเพิ่ม เพื่อให้ราษฎรได้เดินทางไปอำเภอไม่ไกลนัก อำเภอหาดใหญ่จึงถูกแบ่งออกเป็น 3 กิ่งอำเภอประกอบด้วย กิ่งอำเภอนาหม่อม กิ่งอำเภอคลองหอยโข่งและกิ่งอำเภอบางกล่ำ เมื่อกิ่งอำเภอได้ยกฐานะเป็นอำเภอ ทางอำเภอบางกล่ำโดยนายอำเภอบางกล่ำได้เรียกกำนันรัม หมัดสมาน เข้าไปพบเพื่อให้ลงชื่อให้ตำบลคลองอู่ตะเภาเข้าร่วมกับอำเภอบางกล่ำ แต่กำนันรัมได้ขอความกรุณาจากนายอำเภอบางกล่ำว่าไม่ขอเข้าร่วม โดยให้เหตุผลว่าราษฎรไม่สมัครใจที่จะร่วมเป็นส่วนหนึ่งของอำเภอ บางกล่ำ เรื่องราวนั้นก็เลยเงียบไป จึงทำให้ตำบลคลองอู่ตะเภาเป็นตำบลหนึ่งในอำเภอหาดใหญ่มาจนถึงทุกวันนี้ ซึ่งเรื่องราวเล่าขานนี้ได้รับการรวบรวมไว้โดยอาจารย์พิทยา โกมนตรี ถือว่าเป็นบุคคลสำคัญบุคคลหนึ่งของตำบลท่าแซ ซึ่งได้รับการขนานนามว่าเป็นปูชะนียบุคคล พ่อครูแห่งลุ่มน้ำอู่ตะเภา