GC overhead limit exceeded ao executar o job no Studio

O GC overhead é um erro comum ocasionado devido a utilização de 98% ou mais da memória alocada por padrão no HEAP.

Compartilhe este post

GC overhead limit exceeded

GC overhead limit exceeded é um erro ocasionado devido a utilização de muitos recursos durante a execução de um Job.

Diagnóstico:

Esse erro acontece devido ao job estar utilizando mais memória que pode ser acessada por padrão. Isso pode acontecer independentemente da quantidade de memória alocada para o JobServer, ou seja, pode-se ter 32gb de memória para o job, mas o erro ainda poderá acontecer.

O erro é causado quando o job utiliza 98% ou mais do espaço do HEAP alocado por padrão no JobServer, geralmente definido quando o JobServer, TAC ou outro módulo Talend é iniciado usando a flag “-XX:MaxHeapSpace”.

Solução:

Para que esse problema seja resolvido, podemos alterar o seu tipo de memória para dinâmica, assim o job usará a quantidade necessária para que o mesmo execute. Para isso basta adicionarmos a seguinte flag:

-XX:-UseGCOverheadLimit

Quando o job é executado, essa flag ignorará o limite de cache da JVM e usará a quantidade de memória necessária.

Como adicionar uma flag JVM para a execução de um Job?

Abra o Studio e naveque nesse caminho > Run Tab na barra de designer view, advanced e marque a caixinha “Use specific JVM arguments“.
Após isso clique em “New” e cole o argumento “-XX:-UseGCOverheadLimit“.

O GC overhead é um erro comum ocasionado a utilização de muitos recursos em um único job.
Clique em “Ok” e salve o job.
Na próxima vez que o job for executado / compilado, seja no studio ou no Job Conductor, o parâmetro JVM será incluído no próprio job para que a flag seja aplicada.

Para saber mais sobre JVM arguments, utilização de memória e otimização do job, acesse esse link.

Agora sem mais erros, basta trabalhar com os seus dados sempre mantendo a confiabilidade dos mesmos. Para saber mais sobre os princípios da confiabilidade dos dados, clique aqui.

Assine nossa newsletter

Fique por dentro das novidades mais recentes sobre o Talend e aprenda com nossos experts

Leia outros posts do nosso blog

Comparativo das edições Talend

Comparativo das edições do software de ETL e Integração de dados Talend, contemplando as edições TOS (Talend Open Studio) e as versões da edição TIS

Talend

5 Princípios da Confiabilidade dos Dados

Os dados sustentam a transformação digital das organizações e as tecnologias inovadoras essenciais para sua viabilidade a longo prazo, incluindo análises avançadas, inteligência artificial e aprendizado de máquina. No entanto, a maioria das empresas não consegue medir a saúde de seus dados e 62% de seus funcionários disseram que não confiam em seus dados, aponta uma recente pesquisa global realizada pela Talend.

Quer acelerar a tomada de decisão com dados de qualidade?

Fale conosco agora mesmo!

Fale com nossos experts

O café é por nossa conta!