# ESP-BEATS - Bateria Eletrônica Embarcada ## Integrantes | Nome | Matrícula | |-----------------------------------|-----------| | Gabriela Silva Alves | 211030756 | | Maria Luisa Alves Rodrigues| 211039617 | | Yan Werlley| 211030649 | | Nicolas Bomfim Dias Bandeira | 211062348 | ## Objetivo do estudo Este trabalho apresenta um estudo de uma bateria eletrônica / pad de percussão digital inteligente, tomando como referência o **Alesis SamplePad Pro**. O foco é entender como um produto detecta impactos, converte o gesto em evento musical, aciona amostras de áudio com baixa latência e se integra a sistemas externos via MIDI e interfaces digitais. Como inspiração inicial do grupo, a ideia também nasceu do controlador de bateria da franquia **Guitar Hero**, que marcou nossa infância e ajuda a explicar o interesse pelo formato de bateria digital, pela resposta imediata aos golpes e pela experiência lúdica de transformar movimento em som. O recorte escolhido conversa diretamente com os recursos disponíveis na disciplina, em especial sensores de impacto, sensores de som, sensores de toque e unidade de medição inercial, que podem ser mapeados para uma arquitetura embarcada com ESP32. ## 1. Descrição do produto selecionado ### Produto de referência comercial **Alesis SamplePad Pro** é um pad de percussão tabletop voltado para músicos, bateristas, percussionistas de palco, estúdios e criadores de conteúdo. O equipamento combina pads sensíveis à velocidade, biblioteca interna de sons, expansão via cartão SD e conectividade para integração com outros instrumentos e softwares musicais. ### Principais funções - Captura de golpes em pads com resposta à intensidade do impacto. - Disparo de sons internos e de samples carregados pelo usuário. - Organização por kits, permitindo configurar timbres diferentes por contexto musical. - Expansão para uso híbrido, conectando pads externos, pedais e sistemas MIDI. - Uso como interface de prática, performance ao vivo, gravação e ensino. ### Componentes e princípios de funcionamento - 9 pads internos single-zone sensíveis à velocidade, baseados em sensores piezoelétricos, cada um com LED de feedback ao golpe. - Entradas externas de expansão: Pad 1 (1/4" TRS dual-zone ou TS single-zone, mapeado para EXT 1A/1B), Pad 2 (1/4" TS single-zone, mapeado para EXT 2), entrada de Kick (modos SWITCH ou TRIGGER) e entrada de Hi-Hat (modos SWITCH ou VARIABLE, com leitura analógica de posição). - Circuitos analógicos de condicionamento para adaptar os pulsos curtos e de alta impedância gerados pelo impacto, com sensibilidade ajustável por pad (SENS 1-8) e curva de velocity global (Pad Curve 1-8), permitindo calibrar o ganho/limiar e o mapeamento de dinâmica. - Processador interno para leitura de eventos, cálculo de velocity (camadas A/B com faixas Vel 000-127), seleção de amostras, gerenciamento de kits e lógica de modos de disparo (POLY, MONO, LOOP, STOP, TMP, CLK, HAT) e mute groups (1-16) para exclusão mútua entre samples. - Memória interna com pré-carregamento de samples (até 48 MB por kit) para playback de baixa latência, e suporte a cartão SD/SDHC (até 32 GB, FAT32) para amostras .WAV personalizadas (16-bit, mono/estéreo, 11.025k-48k Hz). - Interfaces de comunicação para integração com DAWs, módulos externos e controladores musicais: MIDI In/Out (5-pin DIN), porta USB/MIDI (MIDI sobre USB + acesso ao cartão SD como armazenamento), e configuração de canais MIDI de envio/recepção, Program Change e MIDI Clock. - Saídas de áudio analógicas: Main Out (1/4" L/R), Phones Out (1/4" estéreo) e Aux In (1/8" estéreo) com mixagem e controles de volume independentes. ### Público-alvo - Bateristas que precisam de um pad compacto para ensaio e performance. - Percussionistas que desejam tocar timbres eletrônicos e samples híbridos. - Professores e estudantes que necessitam de um instrumento versátil para treino. - Criadores de conteúdo que usam gravação direta, MIDI e disparo de loops. ### Tecnologias de comunicação e controle embarcadas - MIDI e USB-MIDI para integração com computadores e instrumentos virtuais. - Entradas de trigger para expansão de pads e pedais. - Armazenamento em cartão SD/SDHC para bibliotecas adicionais de áudio. - Fluxo de controle baseado em eventos, com prioridade para baixa latência entre o impacto e a resposta sonora. ### Imagem do produto ![alt text](image.png) ### Referência principal do produto - Alesis SamplePad Pro User Guide: https://www.alesis.com/rscdn/768/documents/SamplePad%20Pro%20-%20User%20Guide%20-%20v1.3.pdf ## 2. Análise técnica do funcionamento ### 2.1 Cadeia de aquisição do impacto Em um pad eletrônico, o golpe aplicado à superfície gera um pulso elétrico muito curto quando há um piezoelétrico associado ao material de toque. Esse pulso apresenta alta impedância, amplitude variável e grande sensibilidade a ruído, o que exige uma etapa de condicionamento antes da leitura digital. Na prática, a cadeia típica inclui: - Sensor piezoelétrico ou elemento de trigger equivalente. - Rede de proteção e limitação de tensão para proteger o ADC. - Buffer de alta impedância para não carregar o sensor. - Filtragem RC e/ou detector de envelope para extrair a energia do impacto. - Limiar com histerese para distinguir toque válido de vibração residual e crosstalk. ### 2.2 Amostragem e estimação de velocidade A velocidade do golpe é estimada a partir da amplitude máxima, da área do envelope ou da energia acumulada em uma janela curta logo após o impacto. Para isso, o módulo de controle precisa amostrar em alta taxa e com jitter controlado. Uma implementação robusta costuma usar: - Amostragem rápida dos canais de trigger. - Captura por interrupção ou por leitura periódica em tarefa dedicada. - Janela de processamento curta para reduzir o tempo entre impacto e som. - Curvas de velocity ajustáveis para simular resposta musical natural. ### 2.3 Barramentos e protocolos Produtos dessa classe normalmente combinam vários barramentos: - **MIDI** e **USB-MIDI** para eventos de nota, mudança de kit e sincronismo. - **USB** para atualização, transferência de amostras e integração com software. - **SD/SDHC** para expansão de bibliotecas de áudio. - **I2C/SPI** para displays, memória, expansões e periféricos. - **I2S** para conversão e saída de áudio em módulos de melhor qualidade. ### 2.4 Técnicas de redução de latência O elemento crítico em um pad digital é a latência total de resposta. Para manter a sensação de toque natural, o sistema precisa minimizar o intervalo entre o impacto e o som. As técnicas mais relevantes são: - Tarefas priorizadas no sistema operacional embarcado. - Processamento determinístico e sem alocação dinâmica no caminho crítico. - Buffers de áudio pequenos, mas estáveis, para evitar estouro e falhas. - Pré-carregamento de samples na RAM ou em cache. - Atraso de leitura configurado para ignorar vibração de retorno e evitar retrigger. ### 2.5 Síntese técnica Em resumo, o funcionamento de um pad eletrônico depende da combinação entre um sensor mecânico de impacto, uma frente analógica rápida, um firmware com estado bem definido e um caminho de áudio/controle desenhado para baixa latência. O produto é, ao mesmo tempo, uma interface musical, um sintetizador de eventos e um sistema de tempo real. ## 3. Proposta de reprodução com ESP32 ### 3.1 Mapeamento conceitual A ideia é reproduzir, em escala acadêmica, o comportamento de um pad eletrônico inteligente usando um ESP32 com suporte ao ecossistema ESP-IDF. O projeto pode ser dividido em quatro blocos: - **Entrada de impacto**: piezos sob cada pad ou sensores de impacto da lista da disciplina. - **Leitura de gesto**: ADC interno para protótipos e ADC externo para melhor resolução e menor ruído. - **Camada musical**: geração de eventos MIDI, disparo de samples e ajuste de velocity. - **Saída de áudio e comunicação**: I2S para áudio local, BLE MIDI ou Wi-Fi para integração externa. ### 3.2 Arquitetura proposta - **ESP32-S3** como controlador principal, por ter bom suporte a FreeRTOS, periféricos modernos e interface com áudio e comunicação. - **ADC externo** recomendado para canais de trigger quando houver necessidade de maior consistência entre pads. - **Codec/I2S DAC** para saída de áudio com qualidade superior ao DAC interno, especialmente em reprodução de samples. - **microSD** para armazenar kits e amostras. ### 3.3 Uso do ESP-IDF No ESP-IDF, a implementação pode usar: - **FreeRTOS** para particionar leitura, áudio, interface e comunicação. - **xTaskCreatePinnedToCore** para isolar a tarefa de trigger em prioridade mais alta. - **Queues e ring buffers** para transportar eventos de golpe até o motor de áudio. - **Drivers I2S, ADC, SPI, I2C, BLE e Wi-Fi** para integração dos periféricos. - **NVS** para salvar curvas de sensibilidade e configurações de kit. ### 3.4 Limitações esperadas - O ADC interno do ESP32 é útil para prova de conceito, mas sofre com ruído, não linearidade e variação entre chips. - A resposta de áudio em tempo real depende fortemente do tamanho de buffer e da estabilidade das tasks. - BLE MIDI melhora a mobilidade, mas pode aumentar a latência em relação a USB-MIDI. - Wi-Fi é ótimo para telemetria, mas não é a primeira escolha para o caminho crítico de disparo musical. - O áudio interno do chip não entrega a mesma fidelidade de um codec dedicado em I2S. ### 3.5 Diagrama conceitual ```mermaid flowchart LR P[Pads piezoelétricos] --> A[Condicionamento analógico] A --> C[ADC interno ou ADC externo] C --> E[ESP32 + ESP-IDF] E --> F[Task de detecção e velocity] F --> G[Task MIDI / BLE MIDI] F --> H[Task de áudio] H --> I2[I2S DAC / codec] I2 --> J[Amplificador / fone / line out] G --> K[Notebook / DAW / módulo externo] E --> L[microSD / kits / samples] E --> M[Wi-Fi para telemetria e configuração] ``` ### 3.6 Fluxo de software sugerido 1. A tarefa de trigger detecta o pico do impacto. 2. O firmware calcula velocity e aplica curva de resposta. 3. O motor de kit escolhe a amostra ou nota MIDI correspondente. 4. A tarefa de áudio toca o sample por I2S ou envia MIDI para outro host. 5. A UI atualiza estado, kit, sensibilidade e pads ativos. ## 4. Pesquisa bibliográfica ### 4.1 Tecnologias para a solução embarcada #### 1) Design of a Piezoelectric Sensor and Its Analog Interface for Bending-Vibration Measurements - PDF: https://hal.science/hal-01694045/file/sensors-14-20543.pdf - Resumo: o trabalho analisa a estrutura de um patch piezoelétrico e discute sua interface analógica para medição de vibração e flexão. Para um pad eletrônico, ele é relevante porque o problema é o mesmo em essência: transformar uma deformação mecânica muito breve em um sinal tratável por eletrônica embarcada sem perder dinâmica nem introduzir excesso de ruído. #### 2) Design and Performance of a Metal-Shielded Piezoelectric Sensor for High-Frequency Structural Impact Measurements - PDF: https://www.mdpi.com/1424-8220/17/6/1284/pdf - Resumo: o artigo apresenta um sensor piezoelétrico com blindagem metálica, voltado a medições de impacto em altas frequências. A contribuição para o ESP-BEATS é direta: blindagem, resposta rápida e rejeição de ruído são exatamente as propriedades desejadas em pads de percussão sujeitos a golpes repetitivos e interferência mecânica. #### 3) Impact of Audio Delay and Quality in Network Music Performance - PDF: https://www.mdpi.com/1999-5903/17/8/337/pdf - Resumo: o estudo investiga como atraso e qualidade de áudio afetam a execução musical em rede. Isso ajuda a justificar o desenho de baixa latência no ESP-BEATS, especialmente quando a saída de áudio local precisa parecer instantânea e quando a comunicação externa por Wi-Fi não deve entrar no caminho crítico da execução. #### 4) Wireless Inertial Measurement Units in Performing Arts - PDF: https://www.mdpi.com/1424-8220/25/19/6188/pdf - Resumo: o trabalho explora IMUs sem fio em contextos de performance, incluindo transmissão de mensagens MIDI e captura de gestos. Embora o ESP-BEATS não utilize baquetas inteligentes, o artigo fornece embasamento sobre latência MIDI sem fio e protocolos de comunicação relevantes para a comunicação BLE MIDI do sistema. ### 4.2 Aplicação e uso de baterias eletrônicas / interfaces digitais #### 1) Audio Recognition of the Percussion Sounds Generated by a 3D Auto-Drum Machine System via Machine Learning - PDF: https://www.mdpi.com/2079-9292/13/9/1787/pdf - Resumo: o artigo descreve um sistema de auto-drum em 3D e usa aprendizado de máquina para reconhecer sons de percussão gerados pelo conjunto. A relevância para o ESP-BEATS está na ideia de gerar e classificar eventos percussivos de forma inteligente, o que pode inspirar modos automáticos, reconhecimento de padrões e validação da resposta sonora do sistema. #### 2) Enhancing Musical Learning Through Mixed Reality: A Case Study Using PocketDrum and Meta Quest 3 for Drum Practice - PDF: https://www.mdpi.com/1424-8220/25/22/6836/pdf - Resumo: o estudo apresenta uma aplicação de aprendizado musical em realidade mista que integra sensores PocketDrum e rastreamento manual do Meta Quest 3. O trabalho é útil para o ESP-BEATS porque mostra como instrumentos de percussão digitais podem ser usados como ferramentas de ensino, não apenas de performance, reforçando a importância de feedback rápido e visualização clara do gesto. #### 3) Multimodal Drumming Education Tool in Mixed Reality - PDF: https://www.mdpi.com/2414-4088/8/8/70/pdf - Resumo: este artigo apresenta uma ferramenta multimodal para ensinar rudimentos e polirritmia, com avaliação com usuários. Para o projeto, ele demonstra que interfaces de bateria digital ganham valor quando combinam som, gesto e feedback visual, algo que pode ser reproduzido com ESP32, sensores simples e uma camada de visualização externa. #### 4) The Creative Drummer: An EEG-Based Pilot Study on the Correlates of Emotions and Creative Drum Playing - PDF: https://www.mdpi.com/2076-3425/13/1/88/pdf - Resumo: correlações entre emoçãoe execução de bateria em músicos experientes. Sua principal utilidade para o ESP-BEATS é como o instrumento eletrônico precisa responder de forma musical e expressiva, e não apenas funcional. Isso reforça o uso de curvas de velocity, sensibilidade ajustável e baixa latência percebida. ## 5. Comparativo com produtos similares ### Tabela de referência | Produto | Geração / perfil | Pads / zonas | Conexões e expansão | Processamento / biblioteca | |---|---|---:|---|---| | Alesis SamplePad Pro | Referência do estudo, pad tabletop compacto | 8 pads sensíveis à velocidade | MIDI/USB, entradas de trigger, expansão via SD/SDHC | 10 kits e mais de 200 sons; foco em samples e disparo rápido | | Roland SPD-SX PRO | Topo de linha moderno | 9 pads internos | 4 entradas de trigger externas, suporte a até 8 pads adicionais com cabo Y, USB/MIDI | 32 vozes de polifonia, 32 GB internos e mais de 1500 sons | | Roland SPD-SX | Geração anterior profissional | 9 pads internos | 2 entradas de trigger externas, expansão para pads adicionais, USB/MIDI | Modo sampler profissional com memória interna e foco em palco | | Alesis Strike MultiPad | Pad profissional com foco em performance e sampling | 9 pads | USB áudio/MIDI, expansão de triggers, cartão de memória e integração com computador | Biblioteca ampla de sons e workflows de gravação/samples | | Yamaha DTX-MULTI 12 | Pad/módulo híbrido mais versátil | 12 pads | MIDI/USB, entradas para expansão e interface de uso múltiplo | 64 notas de polifonia, 1.061 vozes e 100 MB de wave memory | | Yamaha DD-75 | Bateria digital de entrada | 8 pads touch-responsive + 2 pedais | Saídas para fone, alimentação externa e integração MIDI/USB em usos de estudo | Instrumento compacto, com display simples e proposta educacional | ### Leitura comparativa - O **SamplePad Pro** se destaca como baseline equilibrado entre custo, portabilidade e uso prático em estúdio e palco. - O **SPD-SX PRO** representa a solução mais robusta em processamento e expansão, servindo como referência de mercado para um produto premium. - O **SPD-SX** mostra a evolução histórica do segmento e é útil para comparar gerações anteriores de sampling pads. - O **Strike MultiPad** explora a fronteira entre pad de performance e estação de samples. - O **DTX-MULTI 12** amplia a noção de pad com maior número de zonas e forte apelo para percussão híbrida. - O **DD-75** ajuda a situar a categoria em um nível de entrada, útil para estudo e iniciação musical. ## Referências ### Documentos da disciplina - [README da atividade](/README.md) - [Lista de sensores e atuadores](/Lista_de_Sensores.md) ### Produto de referência - Alesis SamplePad Pro User Guide: https://www.alesis.com/rscdn/768/documents/SamplePad%20Pro%20-%20User%20Guide%20-%20v1.3.pdf - Alesis SamplePad Pro downloads: https://www.alesisdrums.com/samplepadpro/downloads/ - Roland SPD-SX PRO product page: https://www.roland.com/us/products/spd-sx_pro/ - Roland SPD-SX PRO manual page: https://www.roland.com/global/support/by_product/spd-sx_pro/owners_manuals/ - Roland SPD-SX owner manual: https://cdn.roland.com/assets/media/pdf/SPD-SX_OM.pdf - Yamaha DTX-MULTI 12 owner manual: https://data.yamaha.com/files/download/other_assets/0/314150/VJC2010_owners_manual_dtxm12_En_C0.pdf - Alesis Strike MultiPad user guide: https://www.strikemultipad.com/downloads/strike-multipad-user-guide-v1_0.pdf ### Artigos acadêmicos utilizados - https://hal.science/hal-01694045/file/sensors-14-20543.pdf - https://www.mdpi.com/1424-8220/17/6/1284/pdf - https://www.mdpi.com/1999-5903/17/8/337/pdf - https://www.mdpi.com/1424-8220/25/19/6188/pdf - https://www.mdpi.com/2079-9292/13/9/1787/pdf - https://www.mdpi.com/1424-8220/25/22/6836/pdf - https://www.mdpi.com/2414-4088/8/8/70/pdf - https://www.mdpi.com/2076-3425/13/1/88/pdf ### Observações finais - As especificações de mercado podem variar por revisão de firmware e região. - A proposta com ESP32 privilegia reatividade musical e simplicidade de manutenção, então o condicionamento analógico e a disciplina de tarefas em tempo real são mais importantes que a adição de recursos sofisticados demais para o protótipo. - A combinação de piezos, IMUs e MIDI BLE cobre bem a reprodução conceitual do comportamento de um pad eletrônico moderno dentro do escopo da disciplina.