Mário, outro ponto que você tem que atentar é que, apesar do refratômetro ter um índice de correção, este se aplica somente para soluções de sucrose (se não me engano). Para medir a densidade de uma solução de açúcares heterogêneos, você deve pegar a densidade em Brix e jogar no Beersmith pra ele corrigir. Pelo que você disse, seu problema provavelmente está na leitura e na fervura muito intensa.
Boa sorte.
Abraço.