Delay in Webhooks queue subsystem

O incidente foi resolvido e o serviço encontra-se 100% operacional.

Os webhooks já estão sendo processados e enviados em tempo real novamente.

Identificamos que a origem da instabilidade estava relacionada ao banco de dados responsável pelo subsistema de webhooks. Por esse motivo, o dashboard ainda pode apresentar informações parcialmente dessincronizadas até uma nova atualização.

No momento, o sistema já está online e voltando a processar e exibir normalmente os webhooks gerados nos últimos 30 minutos.

Nosso time segue atuando na normalização completa do histórico de webhooks que ficaram represados durante a instabilidade. A expectativa é que esses registros sejam reprocessados e fiquem visíveis no dashboard ainda hoje.

Os webhooks foram enviados, mas o nosso sistema não está conseguindo refletir esse processamento no banco de dados.

Como se trata de um problema no nosso provedor de banco de dados, essas informações não estarão disponíveis até que a situação seja normalizada. Assim que isso acontecer, os dados serão processados e poderão ser consultados normalmente.

Identificamos uma instabilidade em nossos provedores, o que está causando atraso no processamento de alguns eventos.

Nosso time já está atuando para normalizar o cenário o mais rápido possível e mitigar os impactos.

Até o momento, não identificamos perda de informações.

Seguimos monitorando o ambiente e compartilharemos novas atualizações assim que houver mudanças.

We are currently investigating this issue.