Duda computo anual

Buenas tardes.Hay algo que no encuentro en ninguna parte y nadie me sabe resolver, yo trabajo 32/semana de lunes a sabado, cuando me toca trabajar un domingo o festivo hago 8 horas y ellos me dan a cambio 12 horas libres, osea, por cada hora trabajada me dan 30 minutos, no nos los pagan. Las semanas que trabajo un festivo o domingo en mi computo pone que he trabajado 40h, osea, un exceso de 8 h, pero la semana siguiente libro 12 horas y hago 32h-12h= 20h. Pero si segun mi computo solo tengo un exceso de 8h y libro 12h…donde se justifican esas 4h de mas que he disfrutado ? No deberian computar 12h en vez de 8h? Porque si cada vez que trabaje un festivo de 8 horas me van a dar 12 a librar…voy a «deber» siempre 4 horas a la empresa y no cuadrará mi computo.
Gracias.