Mysql
 sql >> Database >  >> RDS >> Mysql

Configurazione di Kafka Connect per inviare record da Aurora utilizzando AWS MSK

No. Puoi abilitare gli schemi nei record json. Il sorgente JDBC può crearli per te in base alle informazioni della tabella

value.converter=org.apache.kafka...JsonConverter 
value.converter.schemas.enable=true

Se vuoi usare Schema Registry, dovresti usare kafkastore.bootstrap.servers .con l'indirizzo Kafka, non Zookeeper. Quindi rimuovi kafkastore.connection.url

Per favore leggi i documenti per le spiegazioni di tutte le proprietà

Non importa. L'argomento degli schemi viene creato al primo avvio del Registro di sistema

Sì (ignorando lo spazio heap JVM disponibile). Ancora una volta, questo è dettagliato nella documentazione di Kafka Connect.

Utilizzando la modalità standalone, devi prima passare la configurazione di Connect Worker, quindi fino a N proprietà del connettore in un comando

Utilizzando la modalità distribuita, utilizzi l'API REST di Kafka Connect

https://docs.confluent.io/current/connect/managing/configuring .html

Prima di tutto, è per Sqlite, non per Mysql/Postgres. Non è necessario utilizzare i file di avvio rapido, sono disponibili solo come riferimento

Anche in questo caso, tutte le proprietà sono ben documentate

https://docs.confluent.io /current/connect/kafka-connect-jdbc/index.html#connect-jdbc

Ecco ulteriori informazioni su come eseguire il debug di questo

https://www.confluent.io/ blog/kafka-connect-deep-dive-jdbc-source-connector/

Come affermato in precedenza, suggerirei personalmente di utilizzare Debezium/CDC ove possibile

Connettore Debezium per RDS Aurora