โรงเรียนพิบูลมังสาหาร ได้รับอนุมัติจัดตั้งจากกระทรวงศึกษาธิการ ตามคำสั่งกระทรวงศึกษาธิการที่ 6816/2506 เริ่มเปิดทำการเรียนการสอน เมื่อวันที่ 17 พฤษภาคม พ.ศ. 2506 ในระดับชั้นมัธยมศึกษาปีที่ 1 มีจำนวนนักเรียนทั้งสิ้น 49 คน เป็นนักเรียนชาย 24 คน นักเรียนหญิง 25 คน ซึ่งการจัดตั้งโรงเรียนมัธยมศึกษาตอนต้น สายสามัญ ประจำอำเภอ เป็นความคิดเริ่มของคณะกรรมการการศึกษาอำเภอพิบูลมังสาหาร โดยมีผู้ปกครองนักเรียน ข้าราชการครู พ่อค้า และประชาชน ร่วมกันบริจาคทรัพย์เพื่อก่อสร้างอาคารเรียนหลังแรก เป็นอาคารไม้ 2 ชั้น 4 ห้องเรียน รวมเป็นเงินก่อสร้าง 90,000 บาท ทั้งนี้ไม่ได้รับเงินสมทบจากทางราชการเลย โดยบริเวณสถานที่ตั้งของโรงเรียนเป็นพื้นที่สาธารณประโยชน์ มีเนื้อที่ 51 ไร่ และอีกหนึ่งแปลงบริเวณพื้นที่สาธารณประโยชน์หนองโจด ตำบลโพธิ์ไทร อำเภอพิบูลมังสาหาร มีเนื้อที่ 58 ไร่ ซึ่งกระทรวงมหาดไทยได้อนุมัติให้โรงเรียนใช้ประโยชน์เพื่อการศึกษา
        ในปี พ.ศ. 2506 เดิมโรงเรียนมีชื่อว่า "โรงเรียนพิบูลประชาสรรค์" เริ่มเปิดทำการ เมื่อวันที่ 27 สิงหาคม พ.ศ. 2506 และถือว่าเป็นวันสถาปนาโรงเรียน
        ในปี พ.ศ. 2507 นายเชื้อ สาริมาน รองปลัดกระทรวงศึกษาธิการในขณะนั้น ได้เปลี่ยนชื่อโรงเรียนใหม่ว่า "โรงเรียนพิบูลราษฏร์รังสรรค์"'
        ในปี พ.ศ. 2511 กรมสามัญศึกษา ได้กำหนดให้โรงเรียนในสังกัด ซึ่งเป็นโรงเรียนประจำอำเภอ ให้ใช้ชื่ออำเภอเป็นชื่อโรงเรียน ดังนั้น โรงเรียนจึงได้เปลี่ยนชื่อใหม่ว่า "โรงเรียนพิบูลมังสาหาร"
        ในปี พ.ศ. 2512 โรงเรียนเข้าโครงการพัฒนาการศึกษาโรงเรียนมัธยมแบบประสมแบบที่ 2 (คมส.2) รุ่นที่ 5
        ในปี พ.ศ. 2514 โรงเรียนเข้าโครงการมัธยมศึกษาเพื่อพัฒนาชนบท (คมช.) รุ่นที่ 8 เมื่อวันที่ 12 กุมภาพันธ์ พ.ศ. 2514
        ในปี พ.ศ. 2520 โรงเรียนได้เปิดสอนในระดับมัธยมศึกษาตอนปลาย
        ในปี พ.ศ. 2526 สภาตำบลโพธิ์ไทร ได้รับบริจาคที่ดินบริเวณหนองโจด บ้านสนามชัย ตำบลโพธิ์ไทร อำเภอพิบูลมังสาหาร จังหวัดอุบลราชธานี ให้โรงเรียน 58 ไร่
        ในปี พ.ศ. 2545 เปิดการสอนตามหลักสูตรการศึกษาขั้นพื้นฐาน
        ในปี พ.ศ. 2547 สังกัดสำนักงานเขตพื้นที่การศึกษาอุบลราชธานี เขต 3
        ในปี พ.ศ. 2549 ถ่ายโอนภารกิจไปสังกัดองค์การบริหารส่วนจังหวัดอุบลราชธานี
        ในปี พ.ศ. 2550 ถ่ายโอนโรงเรียนไปสังกัดองค์การบริหารส่วนจังหวัดอุบลราชธานี
        ในปี พ.ศ. 2553 โรงเรียนพิบูลมังสาหารเข้ารับการประเมินการประกันคุณภาพภายนอก และผ่านการประเมินรับรองจากสำนักงานรับรองมาตรฐานและประเมินคุณภาพการศึกษา (องค์การมหาชน)
        ในปี พ.ศ. 2554 โรงเรียนพิบูลมังสาหารจัดหลักสูตรการเรียนการสอน โดยใช้หลักสูตรสถานศึกษาขั้นพื้นฐานโรงเรียนมาตรฐานสากล (World Class Standard School) ตามหลักสูตรแกนกลางการศึกษาขั้นพื้นฐาน พุทธศักราช 2551
        โรงเรียนพิบูลมังสาหาร เปิดทำการเรียนการสอนในระดับชั้นมัธยมศึกษาปีที่ 1-6 ซึ่งได้รับการพัฒนาให้ก้าวหน้ามาเป็นลำดับจนถึงปัจจุบัน