Trong tiếng Quảng Đông có từ 沙𤞑 (sa bân / sa bần), nghĩa là “cát vụn, sỏi đá, phế liệu xây dựng”.

“Xà” = âm Hán Việt của 沙 (sa = cát).

“Bần” = âm Việt hoá của chữ 𤞑 (bân/bần), nghĩa là mảnh vụn, tạp nhạp.

Khi người Hoa Nam bộ mang theo tiếng Quảng sang, từ này nhập vào tiếng Việt, biến âm thành xà bần.

Ở Nam Bộ (nhất là Sài Gòn – Chợ Lớn), ngoài nghĩa xà bần = gạch đá vụn, từ này còn được người dân mượn nghĩa bóng để chỉ những món ăn hay đồ đạc trộn tạp nhạp, gom lại đủ thứ.