Affronto il problema simile a te. Ci sono circa 2-3 secondi di ritardo durante l'elaborazione del primo lavoro.
Dopo aver cercato in giro, ho trovato che laravel queue worker ha un sonno predefinito di 3 secondi.
Il che significa che il primo lavoro ritarderà 3 secondi nel peggiore dei casi.
Per risolverlo, basta specificare --sleep=0 durante l'esecuzione del worker. Spero che aiuti.
php artisan queue:worker --sleep=0