Due cose:
Innanzitutto, il tuo formato str_to_date() deve corrispondere al formato della stringa di input. Se la tua stringa di input è 10/21/2016 15:02 , il tuo formato è %m/%d/%Y %H:%i .
Vedere un riferimento per i codici di formato qui:https://dev.mysql.com/doc/refman/5.7/en/date-and-time-functions.html#function_date-format
In secondo luogo, l'utilizzo di UPDATE non cambia il tipo di dati della colonna, cambia solo il contenuto della stringa varchar.
mysql> create table t (v varchar(50));
mysql> insert into t values ('10/21/2016 15:02');
mysql> update t set v = str_to_date(v, '%m/%d/%Y %H:%i');
mysql> select * from t;
+---------------------+
| v |
+---------------------+
| 2016-10-21 15:02:00 |
+---------------------+
Ora è nel formato giusto, ma è ancora un varchar.
mysql> alter table t modify v datetime;
mysql> select * from t;
+---------------------+
| v |
+---------------------+
| 2016-10-21 15:02:00 |
+---------------------+
Ora il tipo di dati è stato modificato.
mysql> show create table t\G
CREATE TABLE `t` (
`v` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
