Nel FB SysTCPClient, i parametri RxSize e TxSize definiscono la dimensione dei buffer di ricezione e trasmissione dati in byte, quindi determinano la dimensione del pacchetto TCP. Il loro valore non influisce sulla dimensione dei dati in transito, in quanto nelle comunicazioni TCP i dati possono essere suddivisi in più pacchetti TCP che poi vengono “riassemblati” dal gestore della comunicazione.
Nel tuo caso il gestore della comunicazione è il FB ModbusMaster che la gestisce, siccome i pacchetti Modbus possono avere come lunghezza massima 250 coils (32 bytes) o 125 registri (250 bytes) è inutile definire valori maggiori in RxSize e TxSize. E se il valore è inferiore alla dimensione del pacchetto Modbus, il pacchetto verrà frazionato.
Ora veniamo al tuo problema che credo sia riferito ad un BUG del FB ModbusMaster_v3 presente nel package Pck055a040, il BUG è stato risolto e verrà rilasciato con la nuova versione di package Pck055a050 disponibile in versione beta scaricabile dal sito.