Ông Chu Phạm Ngọc Sơn sinh năm 1936, tại Sài Gòn, nguyên quán tỉnh Hưng Yên.
Năm 1954, ông theo học tại Đại học Khoa học Sài Gòn (tiền thân Trường đại học Khoa học tự nhiên - Đại học Quốc gia TP.HCM hiện nay). Sau khi thi đỗ chứng chỉ lý hóa sinh PCB và chứng chỉ khoa học lý hóa và tự nhiên SPCN, năm 1955, ông phụ việc, làm nghiệm chế viên tại phòng hóa học của trường.
Năm 1957, ông đỗ cử nhân lý hóa, được giữ lại làm Giảng nghiệm viên tại Đại học Khoa học Sài Gòn, đồng thời chuẩn bị luận văn cao học. Năm 1958, ông đỗ cử nhân toán. Năm 1959, ông bảo vệ thành công luận văn cao học và được cử đi làm nghiên cứu sinh tại Đại học Delaware, Mỹ. Năm 1962, ông bảo vệ thành công luận án tiến sĩ ngành hóa lý hữu cơ.
Trở về nước, ông về lại Đại học Khoa học Sài Gòn làm giảng sư. Từ cuối năm 1962, ông bắt đầu đứng lớp giảng dạy hóa học và sau đó là một số môn học khác ở các năm tiếp theo. Ông cũng được mời giảng dạy ở nhiều trường khác.
Sau năm 1975, ông ở lại Việt Nam, tiếp tục công tác giảng dạy, là giảng viên của Trường đại học Tổng hợp TP.HCM (nay là Trường đại học Khoa học tự nhiên - Đại học Quốc gia TP.HCM).
Năm 1981, ông Chu Phạm Ngọc Sơn được Nhà nước phong học hàm giáo sư hóa học.
Năm 1987, ông chuyển sang làm giám đốc Trung tâm Dịch vụ phân tích thí nghiệm TP.HCM, kiêm Chủ tịch Liên hiệp các hội khoa học và kỹ thuật TP.HCM. Ông công tác tại đây đến khi nghỉ hưu vào năm 2001.
Sau khi nghỉ hưu, GS Chu Phạm Ngọc Sơn vẫn tích cực hoạt động giảng dạy và xã hội. Ông giữ nhiều chức vụ trong các tổ chức xã hội như Phó Chủ tịch Liên hiệp các Hội Khoa học và Kỹ thuật TP HCM, Phó Chủ tịch Hội Hóa học Việt Nam, Phó Chủ tịch Hội Khoa học Phân tích Lý - Hóa - Sinh Việt Nam, Phó Chủ tịch Hội Y tế công cộng TP HCM, Chủ tịch Hội Hóa học TP HCM. Ông cũng là Hội viên Hội Hóa học Mỹ.
Trong sự nghiệp học thuật của mình, GS Chu Phạm Ngọc Sơn đã công bố 200 báo cáo khoa học trên các tạp chí chuyên ngành, có 5 công trình được đưa vào sản xuất, xuất bản nhiều giáo trình, chuyên luận về hóa học đại cương và nhiệt động hóa học.
Ngoài những thành tựu xuất sắc ở giảng đường và phòng thí nghiệm, GS Chu Phạm Ngọc Sơn còn đóng góp rất đáng kể cho đất nước và TP HCM trên cương vị đại biểu Quốc hội 3 khóa và Phó Chủ tịch Liên hiệp các hội Khoa học Kỹ thuật TP HCM và Chủ tịch Hội Hóa học TP HCM nhiều năm liền.
Ông được Nhà nước tặng thưởng Huân chương Lao động hạng Ba, Hạng Nhì, Huy chương vì sự nghiệp Đại đoàn kết dân tộc, Huy chương vì sự nghiệp giáo dục, Huy chương vì sự nghiệp Khoa học và Kỹ thuật, Huy chương vì thế hệ trẻ, Kỷ niệm chương vì sự nghiệp dân vận…