Áudio, vídeo e leitura · 2025/1

MiMU Gloves

Trabalho 1 - 2025-1

1. Identificação

Grupo: MiMU GLOVES


2. Descrição Geral do Produto

  • Nome do Produto:

    MiMU Gloves

  • Funções principais:

    Ela captura os movimentos dos dedos através de sensores de flexação em cada um dos dedos e também captura dados de movimentos utilizando giroscópio, em todas as direções, fornescendo a um computador ou dispositivo MIDI configurado uma forma de controlar música, sons, efeitos, imagens e praticamente qualquer comando que pode ser feito por um mouse ou teclado ou recebido por um dispositivo MIDI.

  • Segmento de mercado:

    Música, Artes Performáticas, Wearable Technology.

  • Imagem(s) do produto:

    MiMU GLOVES IMAGEM

  • Vídeo de demonstração:

    Tiny Desk MiMU Gloves, minuto 9:15


3. Características Técnicas

ESP 32 block diagram

3.1 Unidade de Processamento

ESP32-D0WD-V3

  • Tipo: Microcontrolador (System-on-Chip, SoC)
  • Arquitetura: Dual-core Xtensa LX6 (32 bits)
  • Fabricante: Espressif Systems
  • Frequência de clock: Até 240 MHz

O microcontrolador ESP32 será responsável por ler dados de um IMU (e.g., aceleração e giroscópio) e sensores de flexão, mapear esses dados para MIDI, e enviar via WI-FI para um programa desktop de música.

Fonte: ESP32 Series datasheet


3.2 Memória

  • SRAM: 520Kb
  • ROM: 448Kb

SRAM atendendo às necessidades de processamento e a ROM garantindo a base operacional. A PSRAM externa (como a ESP-PSRAM64H) pode ser adicionada para escalabilidade.

Fonte:


3.3 Sistema Operacional

  • Tipo: Sem sistema operacional embutido.

3.4 Sensores e Atuadores

Conexão:

  • I2C (IMU) serve para conectar o acelerômetro e os giroscópios no mesmo barramento, útil em sensores.
  • Resistência variável (Flex) para os sensores de flexão ele serve diretamente como uma resistência variável, com isso a conexão do microcontrolador consegue interpretar o quanto o dedo foi dobrado

3.5 Interfaces de Comunicação com Fio


3.6 Interfaces de Comunicação Sem Fio


3.7 Entradas/Saídas (I/O)

  • GPIOs disponíveis: 32 GPIOs configuráveis
  • ADC/DAC: 8 GPIO com canais analógicos para SAADC, COMP ou LPCOMP inputs
  • PWM: 3 módulos PWM que podem fornecer até 12 canais PWM com controle de frequência individual em grupos de até quatro canais.
  • Datasheet nRF52832 Nordic

3.8 Fonte de Energia e Sistema de Alimentação

  • Tipo: Power Bank 5V
  • Conexão: O power bank serve como uma maneira fácil de adiicionar energia as luvas sem estar conectado a cabos de energia, para nosso projeto experimental é funcional, só temos que tomar cuidado com a tensão do sensor IMU MPU-6050, pois ele atua em 3.3V, soluções que teremos que ter é ou somente ter ele no pino da raspberry, ou criar um circuito com resistores numa protoboard ou por fim utilizar um conversor lógico para diminuir essa tensão.

3.9 Firmware e Atualizações

  • Firmware: Software de baixo nível que controla o microcontrolador captando sinais e enviando para o software Glover através do protocolo MIDI ou OSC. Firmware antigo é aberto, porém a versão recente e suas atualizações são de código fechado e aconteceram em 2018.

3.10 Proteção e Segurança

Recursos de Segurança do ESP32-D0WD-V3

  • Secure Boot: Garante que apenas firmware assinado digitalmente seja executado, verificando sua integridade na inicialização. No projeto, protege o código que processa sensores e gera MIDI contra alterações maliciosas, essencial para dispositivos usados em eventos públicos.

  • Flash Encryption: Criptografa o conteúdo da Flash externa (firmware e mapeamentos MIDI) com AES-256, impedindo acesso não autorizado. Protege configurações personalizadas, como gestos mapeados para notas MIDI, mesmo se a luva for perdida.

  • 1024-bit OTP, até 768-bit para clientes: Memória de programação única (OTP) de 1024 bits, com até 768 bits disponíveis para chaves ou dados do usuário. Pode armazenar chaves criptográficas para autenticação MIDI, reforçando a segurança.

  • Aceleração de Hardware Criptográfico:

    • AES: Suporta criptografia AES-128/256 para proteger mensagens MIDI enviadas via Bluetooth (BLE), evitando interceptação.
    • Hash (SHA-2): Gera resumos criptográficos para verificar a integridade do firmware ou dados MIDI.
    • RSA: Usa RSA-3072 para assinaturas digitais, garantindo atualizações OTA seguras.
    • ECC: Oferece criptografia de curva elíptica para autenticação eficiente, útil em conexões BLE.
    • Random Number Generator (RNG): Gera números aleatórios verdadeiros para chaves de sessão, fortalecendo a segurança das comunicações MIDI.

Fonte: ESP32 Series datasheet


3.12 Interface com o Usuário


4. Artigos Acadêmicos

Artigo Resumo Link para PDF
An Instrumented Glove for Control Audiovisual Elements in Performing Arts O artigo apresenta o desenvolvimento de uma luva instrumentada capaz de controlar elementos audiovisuais em apresentações performáticas. A proposta principal é utilizar sensores embutidos (como acelerômetros e sensores de flexão) para capturar movimentos manuais que são posteriormente traduzidos em comandos musicais e visuais. Link para o artigo
Estimação de atitude do satélite CBERS-4 utilizando o Filtro de Kalman Estendido O TCC em questão utiliza de cálculos de sensores e atuadores (giroscópios) para gerar matrizes de rotação utilizando quatérnions que são úteis ao uso de rotação na luva Link para o artigo
Enhancing spatial perception through sound: mapping human movements into MIDI O artigo propõe um sistema que mapeia movimentos humanos em música MIDI usando rastreamento em tempo real e sintetização, com resultados positivos em uma experiência imersiva. O mesmo reforça a viabilidade da luva, destacando a importância da expressividade gestual e da interação com ambientes. Link para o artigo
MIDI Protocol and MIDI Over USB O artigo de Siqi Wang, "MIDI Protocol and MIDI Over USB", introduz a história do protocolo MIDI, desde os anos 1940 até sua modernização com USB, destacando a necessidade de padronização em equipamentos musicais. Link para o artigo
Exploring Textile Controllers for Computer Music Artigo de Nanette Lind, investiga o uso de tecidos como interfaces físicas para controlar música por computador. A autora apresenta experimentos com controladores têxteis que integram sensores de toque e pressão costurados em tecidos, permitindo interações táteis e expressivas na performance musical digital. O estudo destaca as qualidades estéticas e ergonômicas dos tecidos, enfatizando seu potencial para criar experiências performáticas mais corporais e sensoriais. Lind conclui que os controladores têxteis ampliam o repertório expressivo dos músicos e oferecem novas possibilidades para o design de instrumentos digitais. Link para o artigo
Capture and Express Gloves Explora o uso de luvas sensoriais como interfaces para performance musical eletrônica gestual. Schacher analisa o desenvolvimento histórico dessas tecnologias, desde os primeiros experimentos na década de 1980 até implementações contemporâneas, incluindo seu próprio trabalho com luvas sensoriais. O estudo aborda questões como corporeidade, tangibilidade e a tradução do movimento em som, destacando os desafios e oportunidades que essas interfaces oferecem para a expressão musical e a interação afetiva. Link para o artigo
Musical Interaction with Hand Posture and Orientation: A Toolbox of Gestural Control Mechanisms O artigo propõe uma ferramenta para controlar música usando a postura e orientação das mãos via sensores. Ele apresenta métodos de controle gestual contínuo e discreto, facilitando performances musicais expressivas e rápidas Link para o artigo
A modular architecture for IMU-based data gloves O artigo propõe uma luva sensorizada baseada em arquitetura modular, composta por módulos centrais e sensoriais independentes. A solução busca ser reprodutível, flexível e de fácil manutenção, utilizando hardware e software abertos Link para o artigo

5. Produtos Relacionados (Tabela Comparativa)

Produto CPU Memória Comunicação Sensor/Atuador Sistema Operacional
GLISS Depende do smartphone Depende do smartphone Wi-Fi Sensores do smartphone: Acelerômetro, Giroscópio, Tela sensível ao toque (pads); Atuadores: Feedback háptico (vibração), Visual (tela) iOS
LEAP MOTION Não informado Não informado USB 3.0 Sensores: 2 câmeras infravermelhas, 3 LEDs infravermelhos (rastream Flex, Orientation, Hand Position, Hand Tilt, Drum Hits, Gestures, Posture, Tracking); N/A
GENKI WAVE Não informado Não informado Bluetooth Low Energy Sensores de movimento, toque, acelerômetro e giroscópio N/A
MICRO:BIT Nordic nRF52833 (ARM Cortex-M4, 64 MHz) 512 KB de flash e 128 KB de RAM Bluetooth Low Energy, micro-USB Acelerômetro, magnetômetro e microfone N/A
Logitec Spotlight nRF51802 iFixit 16KB nordicsemi Bluetooth de baixa energia e conexão sem fio de 2,4 GHz Logitec Sensor de movimento, Acelerômetro 3D e giroscópio Logitec Proprietário
Continue sua descoberta.Explorar outros projetos ↗