come eseguire il cast dell'esadecimale su varchar(datetime)?

Sembra il datetime di SQL Server formato. Internamente questo è memorizzato come 2 interi con i primi 4 byte che rappresentano i giorni dal 1 gennaio 1900 e il 2 è il numero di tick dalla mezzanotte (ogni tick è 1/300 di secondo).

Se hai bisogno di usarlo in MySQL puoi farlo

SELECT 
      CAST(
          '1900-01-01 00:00:00' + 
          INTERVAL CAST(CONV(substr(HEX(BinaryData),1,8), 16, 10)  AS SIGNED) DAY +
          INTERVAL CAST(CONV(substr(HEX(BinaryData),9,8), 16, 10)  AS SIGNED)* 10000/3 MICROSECOND
      AS DATETIME) AS converted_datetime
FROM
(
SELECT 0x0000987C00000000 AS BinaryData
UNION ALL
SELECT 0x00009E85013711EE AS BinaryData
) d

Resi

converted_datetime
--------------------------
2006-11-17 00:00:00
2011-02-09 18:52:34.286667

(Grazie a Ted Hopp per la soluzione nella divisione dei dati binari)