VillageSQL is a drop-in replacement for MySQL with extensions.
All examples on this page work on VillageSQL. Install Now →
INSERT de uma única linha como um commit de transação completo — analisar, planejar, executar, fsync. Em escala, essa sobrecarga por linha domina. Veja como evitá-la.
INSERT de Várias Linhas
A otimização mais simples: agrupe várias linhas em uma única instrução.Agrupamento em Transações
Envolver muitos INSERTs em uma única transação evita a sobrecarga de commit por instrução:LOAD DATA INFILE
Para importações grandes de CSV,LOAD DATA INFILE é a opção nativa mais rápida do MySQL — significativamente mais rápida do que INSERTs agrupados, porque evita a análise do SQL para cada linha.
secure_file_priv:
LOCAL INFILE requer local_infile = ON no servidor e a flag --local-infile habilitada no cliente.
INSERT … SELECT
Para copiar dados entre tabelas (padrões de ETL, tabelas de preparação),INSERT...SELECT é mais rápido do que ler as linhas na aplicação e inseri-las de volta:
Desabilitando Índices Durante a Carga em Massa
Para tabelas MyISAM, desabilitar a atualização de índices não únicos durante uma inserção em massa acelera bastante as coisas:unique_checks em dados que de fato têm duplicatas produz um índice corrompido.
Comparação de Desempenho
Os números exatos dependem muito do tamanho das linhas, dos índices, do hardware e da configuração. Faça benchmarks do seu caso específico.
Perguntas Frequentes
Qual deve ser o tamanho de cada lote de INSERT?
Comece com 500 a 1000 linhas e faça benchmarks. Lotes maiores reduzem a sobrecarga por commit, mas aumentam o uso de memória e a duração da transação (que mantém os bloqueios por mais tempo). Se um lote falha, o lote inteiro é revertido — lotes menores significam menos trabalho de reversão. A maioria das aplicações encontra o tamanho ideal de lote entre 500 e 5000 linhas.Posso usar LOAD DATA INFILE com ON DUPLICATE KEY UPDATE?
LOAD DATA suporta REPLACE ou IGNORE para o tratamento de duplicatas, mas não ON DUPLICATE KEY UPDATE. Para semântica de upsert durante a carga em massa, carregue em uma tabela de preparação e depois use INSERT...SELECT...ON DUPLICATE KEY UPDATE da tabela de preparação para a tabela de destino.
A inserção em massa ignora os triggers?
Não. Os triggers disparam para cada linha afetada, incluindo as carregadas porLOAD DATA INFILE e INSERT...SELECT. Se o seu trigger faz um trabalho significativo, ele deixará as cargas em massa proporcionalmente mais lentas. Para migrações de dados puras, você pode querer desabilitar os triggers temporariamente.
Solução de Problemas
Essas técnicas de carga funcionam sem alterações no VillageSQL, um substituto direto do MySQL com extensões.
Veja também
- Transações no MySQL — agrupando inserções em massa em transações para segurança e velocidade
- Migrações de Esquema no MySQL — inserções em massa costumam fazer parte do trabalho de migração de dados
- UPSERT no MySQL — tratando chaves duplicadas durante uma carga
- Inserir várias linhas no MySQL — a própria instrução de várias linhas
- MySQL INSERT SELECT — copiando as linhas que uma consulta retorna