Slides da apresentação na qual falamos sobre uma forma de enviar os logs do log4net (de uma aplicação .net) utilizando Kinesis e AWS ElasticSearch para consumi-los através do Kibana.
ser “livres para escalar” (1 instância ou “N”) • Deve ser fácil consultar os logs • Deve ser fácil graficar os logs • Deve ser fácil identificar logs de uma aplicação específica
aberto (código aberto) que tem capacidade para tratar de grandes quantidades de dados em tempo real. Trata-se de um servidor de buscas distribuído e é baseado em Apache Lucene.
para o Elasticsearch. • Fornece recursos de visualização em cima do conteúdo indexado em um cluster de Elasticsearch. • Permite criar gráficos de barra, pizza, linha, dispersão entre outros, com grandes volumes de dados.
aplicativos personalizados que processam ou analisam dados de streaming para necessidades específicas. É possível adicionar continuamente vários tipos de dados como rastros de cliques, registros de aplicativos e mídia social a um stream de dados do Amazon Kinesis de centenas de milhares de origens. Em segundos, os dados estarão disponíveis para seus aplicativos do Amazon Kinesis para leitura e processamento por meio do stream. Fonte: https://aws.amazon.com/kinesis/data-streams/faqs/
mais fácil de carregar de forma confiável dados de streaming em datastores e ferramentas de análises. O serviço pode capturar, transformar e carregar dados de streaming no Amazon S3, no Amazon Redshift, no Amazon Elasticsearch Service e no Splunk, possibilitando análises praticamente em tempo real com as ferramentas e painéis de inteligência de negócios que você já usa hoje. Fonte: https://aws.amazon.com/pt/kinesis/data-firehose/
TB por hora • Distribui os dados em três zonas de disponibilidade • Por padrão, os dados estão disponíveis por 24 horas, mas é possível alterar para até 7 dias (custo adicional) • Monitoramento disponível via Cloudwatch
de escala são os Shards. Um único Shard garante 1000 PUTs (1MB) por segundo (entrada) e 2MB de saída por segundo. 1 Shard = 1MB (entrada) e 2MB (saída) por segundo 10 Shards = 10MB (entrada) e 20MB (saída) por segundo
GBs de streaming por segundo • Permite processamento em lotes • Suporta criptografia • Suporta dados comprimidos • Monitoramento disponível via Cloudwatch