Pular para o conteúdo principal

VillageSQL is a drop-in replacement for MySQL with extensions.

All examples on this page work on VillageSQL. Install Now →
Inserir linhas uma de cada vez é a forma mais rápida de deixar uma importação grande lenta. O MySQL processa cada INSERT de uma única linha como um commit de transação completo — analisar, planejar, executar, fsync. Em escala, essa sobrecarga por linha domina. Veja como evitá-la.

INSERT de Várias Linhas

A otimização mais simples: agrupe várias linhas em uma única instrução.
O tamanho do lote importa. De algumas centenas a alguns milhares de linhas por instrução costuma ser o ideal — lotes maiores aumentam a pressão sobre a memória e estendem a duração da transação. Faça benchmarks para encontrar o ponto ideal para a sua carga de trabalho; 500 a 2000 linhas por lote é um ponto de partida comum.

Agrupamento em Transações

Envolver muitos INSERTs em uma única transação evita a sobrecarga de commit por instrução:
Sem transações explícitas, cada INSERT faz auto-commit. Auto-commit significa que cada linha é gravada individualmente no disco. Envolver 500 inserções em uma transação faz uma única gravação. Combine isso com o INSERT de várias linhas: agrupe as linhas em grupos de 500 a 1000 por instrução e envolva cada lote em uma transação.

LOAD DATA INFILE

Para importações grandes de CSV, LOAD DATA INFILE é a opção nativa mais rápida do MySQL — significativamente mais rápida do que INSERTs agrupados, porque evita a análise do SQL para cada linha.
O arquivo deve ser legível pelo processo do servidor MySQL. Por padrão, o caminho do arquivo é restrito ao diretório especificado por secure_file_priv:
Para carregar um arquivo da máquina cliente em vez do servidor:
LOCAL INFILE requer local_infile = ON no servidor e a flag --local-infile habilitada no cliente.

INSERT … SELECT

Para copiar dados entre tabelas (padrões de ETL, tabelas de preparação), INSERT...SELECT é mais rápido do que ler as linhas na aplicação e inseri-las de volta:

Desabilitando Índices Durante a Carga em Massa

Para tabelas MyISAM, desabilitar a atualização de índices não únicos durante uma inserção em massa acelera bastante as coisas:
Para InnoDB, isso não tem o mesmo efeito. Em vez disso, o InnoDB usa automaticamente um “change buffer” para atualizações de índices secundários. Para o máximo desempenho de carga em massa no InnoDB:
Reabilite essas opções imediatamente após a carga. Desabilitar unique_checks em dados que de fato têm duplicatas produz um índice corrompido.

Comparação de Desempenho

Os números exatos dependem muito do tamanho das linhas, dos índices, do hardware e da configuração. Faça benchmarks do seu caso específico.

Perguntas Frequentes

Qual deve ser o tamanho de cada lote de INSERT?

Comece com 500 a 1000 linhas e faça benchmarks. Lotes maiores reduzem a sobrecarga por commit, mas aumentam o uso de memória e a duração da transação (que mantém os bloqueios por mais tempo). Se um lote falha, o lote inteiro é revertido — lotes menores significam menos trabalho de reversão. A maioria das aplicações encontra o tamanho ideal de lote entre 500 e 5000 linhas.

Posso usar LOAD DATA INFILE com ON DUPLICATE KEY UPDATE?

LOAD DATA suporta REPLACE ou IGNORE para o tratamento de duplicatas, mas não ON DUPLICATE KEY UPDATE. Para semântica de upsert durante a carga em massa, carregue em uma tabela de preparação e depois use INSERT...SELECT...ON DUPLICATE KEY UPDATE da tabela de preparação para a tabela de destino.

A inserção em massa ignora os triggers?

Não. Os triggers disparam para cada linha afetada, incluindo as carregadas por LOAD DATA INFILE e INSERT...SELECT. Se o seu trigger faz um trabalho significativo, ele deixará as cargas em massa proporcionalmente mais lentas. Para migrações de dados puras, você pode querer desabilitar os triggers temporariamente.

Solução de Problemas

Essas técnicas de carga funcionam sem alterações no VillageSQL, um substituto direto do MySQL com extensões.

Veja também