Integrantes

1. Descrição Geral do Produto

O OpenMV Cam H7 Plus é uma câmera inteligente de baixo consumo, voltada para aplicações de visão computacional embarcada. Desenvolvida para facilitar a implementação de algoritmos de processamento de imagem em tempo real, ela é frequentemente utilizada em aplicações de robótica, automação, monitoramento e dispositivos IoT. O produto se destaca por permitir o desenvolvimento com a linguagem MicroPython, o que simplifica a prototipagem e implementação de sistemas embarcados com visão computacional.

• Aplicações principais: Detecção de objetos, seguimento de linha, reconhecimento de padrões e análise visual para sistemas autônomos.
• Segmento de mercado: Dispositivos embarcados para visão computacional, automação industrial, projetos de robótica educacional e protótipos de IoT.

Referências:

• Página oficial do OpenMV: openmv.io
• Documentação do OpenMV Cam H7 Plus: Docs OpenMV

2. Detalhamento das Características

2.1 Unidade de Processamento

• Microcontrolador (MCU):
  O OpenMV Cam H7 Plus utiliza o microcontrolador STM32H7 da STMicroelectronics, baseado na arquitetura ARM Cortex-M7.
  • Arquitetura: ARM Cortex-M7
  • Frequência de Clock: Em torno de 400–480 MHz (a depender da configuração e revisão do hardware).
  • Fabricante: STMicroelectronics

Referências:

• Documentação do OpenMV Cam H7 Plus: Docs OpenMV

2.2 Memória

• Memória Volátil (RAM):
  Possui 33MB de RAM para processar imagens em tempo real e executar o interpretador MicroPython.
• Memória Não-Volátil (Flash/ROM):
  Inclui 34MB de flash interna para armazenar o firmware, scripts e a aplicação desenvolvida.
• Memória EEPROM:
  Alguns modelos podem ter áreas dedicadas para armazenamento de parâmetros e configurações, embora muitas vezes essas funcionalidades sejam implementadas na memória flash.

Referências:

• Especificações detalhadas encontradas na documentação técnica do produto

2.3 Sistema Operacional

• Tipo de Sistema:
  O dispositivo roda um firmware dedicado que gerencia o hardware e executa scripts em MicroPython. Não utiliza um sistema operacional completo (GPOS) nem um RTOS tradicional, mas sim um ambiente bare-metal otimizado para tarefas de visão computacional.

Referências:

• Informações sobre o firmware e ambiente de desenvolvimento disponíveis em OpenMV GitHub

2.4 Sensores e Atuadores

• Sensores:

  • Câmera Integrada:
    O OpenMV H7 Plus integra uma interface para conectar módulos de câmera (em alguns casos, a câmera pode vir embutida). Estes sensores capturam imagens para processamento.
  • Outros Sensores:
    A plataforma pode ser expandida para integrar sensores de movimento, luminosidade ou outros, conectados via interfaces digitais (GPIO, I2C etc.).

• Atuadores:

  • O dispositivo pode controlar atuadores externos (como LEDs, motores ou relés) através de suas saídas digitais e interfaces como PWM.

• Conexão com a MCU:

  • São utilizados GPIOs e barramentos como I2C, SPI, e UART para a comunicação com sensores adicionais ou módulos externos.

Referências:

• Exemplos de integração e aplicação visual podem ser encontrados nas notas técnicas do OpenMV

2.5 Interfaces de Comunicação com Fio

O OpenMV Cam H7 Plus possui diversas interfaces para comunicação:

• I2C: Para conectar sensores e módulos de baixo consumo.
• SPI: Usado em interfaces de alta velocidade para câmeras e periféricos.
• UART: Para depuração e comunicação serial com outros dispositivos.
• USB-OTG: Permite a atualização de firmware e a comunicação com o computador.

Referências:

• Especificações e diagramas de pinos estão disponíveis na documentação técnica

2.6 Interfaces de Comunicação Sem Fio

Embora o foco principal do OpenMV Cam H7 Plus seja o processamento de imagem, módulos sem fio (como Wi-Fi ou Bluetooth) podem ser integrados por meio de módulos externos conectados via UART ou SPI, ampliando a conectividade para aplicações IoT.

Referências:

• Exemplos de integração com módulos sem fio são mencionados em tutoriais e projetos na comunidade OpenMV

2.7 Unidades de Entrada/Saída (I/O)

• GPIO:
  Diversas portas de I/O para conexão e controle de sensores e atuadores.
• ADC/DAC:
  Conversores que possibilitam a leitura de sinais analógicos provenientes de sensores.
• PWM:
  Utilizado para controle de dispositivos como motores ou ajuste de intensidade de LEDs.

Referências:

• Diagramas de pinos e exemplos de aplicação disponíveis na documentação OpenMV

2.8 Fonte de Energia e Sistema de Alimentação

• Tipos de Alimentação:
  O dispositivo pode ser alimentado por fontes de 5V (via USB) ou, em implementações específicas, por baterias recarregáveis.
• Gerenciamento de Energia (PMIC):
  O sistema possui circuitos de gerenciamento que garantem a estabilidade da alimentação.
• Backup e Circuitos de Reset:
  Os circuitos de reset e supervisão garantem uma inicialização segura e proteção contra quedas de tensão.

Referências:

• Informações disponíveis nos esquemas elétricos e notas técnicas distribuídas pelo fabricante

2.9 Firmware e Atualizações

• Firmware:
  Desenvolvido internamente, controla o hardware, processa imagens e executa os scripts em MicroPython.
• Atualizações Over-the-Air (OTA):
  Enquanto o firmware principal é atualizado via conexão USB, existem iniciativas e bibliotecas que podem viabilizar atualizações remotas em projetos personalizados.

Referências:

• Fonte: Repositório OpenMV no GitHub e tutoriais oficiais

2.10 Unidade de Proteção e Segurança

• Criptografia e Segurança:
  Embora não seja o foco principal do dispositivo, o firmware pode incluir rotinas para proteção dos dados processados e armazenamento seguro das chaves de acesso, dependendo da aplicação.
• Medidas Adicionais:
  Em implementações críticas, pode-se incorporar módulos de segurança externos ou utilizar técnicas de criptografia por software.

Referências:

• Discussões e propostas de segurança para sistemas embarcados com OpenMV podem ser encontradas em publicações da comunidade

2.11 Armazenamento Externo

Micro SD Slot:

• SD < 2GB Max
• SDHC < 32GB Max
• SDXC < 2TB Max

Referências:

• Documentação do OpenMV Cam H7 Plus: Docs OpenMV

2.12 Interface com o Usuário (UI)

O OpenMV Cam H7 Plus não possuí interface de interação com o usuário (UI) integrada.

3. Artigos Acadêmicos Relacionados

3.1 Aspectos Tecnológicos:

3.1.1 Artigo 1 - YOLO: Towards Single-Shot Object Detection on Microcontrollers:

O artigo apresenta um estudo sobre a viabilidade de utilizar o YOLO, um detector de objetos em disparo único, em microcontroladores de recursos limitados. Apesar do YOLO ser geralmente aplicado em plataformas maiores com GPU, os autores adaptaram a técnica para funcionar em dispositivos baseados em Cortex-M, como o OpenMV H7 R2. Eles conseguiram alcançar cerca de 3,5 FPS em imagens RGB de 128×128 pixels, utilizando menos de 800 KB de memória Flash e menos de 350 KB de RAM. Além disso, o trabalho apresenta resultados experimentais em três tarefas de detecção de objetos, analisando a precisão obtida em cada uma.

Referências:

• YOLO: Towards Single-Shot Object Detection on Microcontrollers: Artigo

3.1.2 Artigo 2 - Eyes on Nature: Embedded Vision Cameras for Terrestrial Biodiversity Monitoring:

Este estudo apresenta o desenvolvimento de uma câmera de visão embarcada portátil e resistente às intempéries, utilizando o OpenMV Cam H7+, para monitoramento da biodiversidade terrestre. O dispositivo foi projetado para ser de baixo consumo energético e expansível, permitindo a coleta de dados em campo sem necessidade de infraestrutura complexa. A pesquisa demonstra a viabilidade de utilizar o OpenMV Cam H7+ em aplicações de monitoramento ambiental, destacando sua capacidade de operar em condições adversas e sua flexibilidade para integração com diferentes sensores e módulos de comunicação. O estudo também fornece instruções detalhadas para a construção do dispositivo, incluindo modelos CAD de código aberto para impressão 3D do invólucro, facilitando a replicação e adoção da tecnologia por outros pesquisadores e profissionais da área.

Referências:

• Eyes on Nature: Embedded Vision Cameras for Terrestrial Biodiversity Monitoring:: Artigo

3.1.3 Artigo 3 - TinyissimoYOLO: A Quantized, Low-Memory Footprint, TinyML Object Detection Network for Low Power Microcontrollers:

Este artigo apresenta o TinyissimoYOLO, uma rede de detecção de objetos altamente flexível, quantizada e com footprint de memória reduzido, projetada para microcontroladores de baixo consumo. Com apenas 422 mil parâmetros, a rede permite detecção de objetos em tempo real em microcontroladores embarcados, utilizando menos de 0,5 MB de memória para armazenar os pesos da rede neural. O TinyissimoYOLO foi implementado em diversos microcontroladores, incluindo o STM32H7A3, semelhante ao utilizado no OpenMV Cam H7, demonstrando eficiência energética e alta taxa de quadros por segundo. A arquitetura foi treinada com técnicas de quantização-aware e implantada com quantização de 8 bits, permitindo inferência eficiente em dispositivos com recursos limitados.

Referências:

• TinyissimoYOLO: A Quantized, Low-Memory Footprint, TinyML Object Detection Network for Low Power Microcontrollers: Artigo

3.1.4 Artigo 4 - An Experimental Study on Deep Learning Technique Implemented on Low Specification OpenMV Cam H7 Device:

Este estudo investiga a viabilidade de implementar técnicas de aprendizado profundo no OpenMV Cam H7, um dispositivo de especificações modestas. Foram realizados testes práticos em diversas aplicações, incluindo reconhecimento facial, reconhecimento de expressões faciais, detecção e contagem de objetos, e estimativa de profundidade de objetos. Utilizando redes neurais convolucionais (CNNs), o estudo demonstrou que o OpenMV Cam H7 é capaz de executar essas tarefas com precisão satisfatória, mesmo com suas limitações de hardware. Os resultados destacam o potencial do OpenMV Cam H7 em aplicações de visão computacional embarcada, especialmente em cenários onde baixo custo e consumo de energia são essenciais.

Referências:

• An Experimental Study on Deep Learning Technique Implemented on Low Specification OpenMV Cam H7 Device: Artigo

3.2 Aplicações / Uso do Produto :

3.2.1 Artigo 1 - Automated Catfish Seed Counting and Size Classification Using YOLOv8 and MobileNetV2

O artigo apresenta uma ferramenta automatizada para contar e classificar sementes de bagre, melhorando a precisão e eficiência em comparação com métodos manuais, que podem prejudicar os peixes. Utilizando YOLOv8 e MobileNetV2, o sistema captura, detecta, rastreia e classifica os alevinos em três categorias de tamanho conforme o padrão indonésio (SNI). A coleta de imagens é feita com a OpenMV Cam H7 Plus, e foram comparados os métodos Blob e YOLOv8 para a detecção. A combinação de YOLOv8 e MobileNetV2 atingiu uma precisão média de 90,32%, oferecendo uma solução prática para contagem e categorização de sementes de bagre em tempo real na aquicultura.

No trabalho, o OpenMV Cam H7 Plus foi usado como plataforma principal para capturar imagens dos alevinos de bagre em movimento, viabilizando a detecção, rastreamento e classificação por tamanho. Seu uso mostra como sistemas embarcados de baixo consumo e recursos limitados podem ser aplicados em tarefas complexas de visão computacional em tempo real. A placa serviu como sensor e pré-processador de imagens, alimentando modelos como YOLOv8 e MobileNetV2 para a classificação automática. Essa abordagem destaca a eficiência do OpenMV Cam H7 Plus para aplicações de visão embarcada, reforçando seu papel em soluções de baixo custo e alta precisão para automação na aquicultura.

Referências:

• Automated Catfish Seed Counting and Size Classification Using YOLOv8 and MobileNetV2: Artigo

3.2.2 Artigo 2 - A Plug-and-Play TinyML-based Vision System for Drone Automatic Landing

O artigo apresenta um sistema de pouso automático para plataformas aéreas robóticas, que permite pousos seguros e precisos sem intervenção humana. O sistema é plug-and-play, baseado em visão computacional e aprendizado de máquina, e é compatível com controladores de voo da série Pixhawk. Ele é implementado no microcontrolador de baixo consumo OpenMV Cam H7 Plus, mostrando que placas de recursos limitados podem apoiar funções autônomas em UAVs. Experimentos demonstraram que o sistema identifica corretamente a plataforma de pouso, alinha o UAV para o pouso e consome apenas 2% da energia total do UAV, alcançando 93,5% de acurácia e 94,0% de precisão.

O OpenMV Cam H7 Plus é utilizado neste trabalho como uma câmera integrada de microcontrolador que suporta o sistema de aterrissagem automática para veículos aéreos não tripulados. Os aspectos mais importantes e sua aplicação em sistemas embarcados incluem:

1. Processamento em Tempo Real: O OpenMV Cam H7 Plus, equipado com um processador ARM Cortex M7, permite realizar processamento de imagem diretamente na bordo, o que é útil para identificar zonas seguras de aterrissagem rapidamente, sem depender de conectividade de rede.

2. Baixo Consumo de Energia: O sistema foi projetado para manter um consumo energético mínimo, crucial para a autonomia de voo dos UAVs. O trabalho demonstra que a solução representa apenas 2% da energia total consumida pelos UAVs, permitindo voos mais longos e eficientes.

3. Quantização de Redes Neurais: Para se adequar às limitações de memória do OpenMV, o autor implementa uma técnica de quantização de rede neural que reduz o tamanho do modelo de 77,2 MB para 6 MB. Essa compressão é essencial para garantir que o processamento seja viável em um hardware com recursos constritos.

4. Integração com o Pixhawk: O OpenMV Cam H7 Plus é compatível com o controlador de voo Pixhawk, o que facilita a comunicação e a utilização do sistema em uma ampla gama de configurações de UAVs. A comunicação entre os dois dispositivos é feita através da interface MAVLink, permitindo que o OpenMV atue como um computador auxiliar no controle da aeronave.

5. Desempenho e Validação: A pesquisa valida a eficácia do sistema não apenas por meio de simulações, mas também através de testes em cenários reais, alcançando uma taxa de acerto de identificação de 93,5% para áreas de aterrissagem.

Esses fatores fazem do OpenMV Cam H7 Plus uma escolha ideal para aplicações de visão computacional em sistemas embarcados, permitindo a operação de drones autônomos de maneira eficiente e eficaz.

Referências:

• A Plug-and-Play TinyML-based Vision System for Drone Automatic Landing: Artigo

3.2.3 Artigo 3 - Hardware Deployable Edge-AI Solution for Prescreening of Oral Tongue Lesions Using TinyML on Embedded Devices

Neste trabalho, o OpenMV Cam H7 Plus foi utilizado como dispositivo de borda embarcado para pré-triagem automatizada de lesões orais na língua. O sistema aplica visão computacional com um modelo MobileNetV2 retreinado e quantizado para int8 usando o TensorFlow Lite for Microcontrollers, otimizando o uso de memória e energia. A quantização permitiu reduzir em mais de 60% o consumo de RAM e memória flash em comparação ao modelo original float32, mantendo alta precisão (98,69%) e velocidade de inferência (~1,1 ms). A aplicação demonstra o OpenMV Cam H7 Plus como uma plataforma eficiente para Edge-AI em sistemas embarcados, especialmente para soluções médicas portáteis de baixo custo em regiões com recursos limitados.

Referências:

• Hardware Deployable Edge-AI Solution for Prescreening of Oral Tongue Lesions Using TinyML on Embedded Devices: Artigo

3.2.4 Artigo 4 - An Embedded Vision System for Autoimmune Skin Diseases Classification Based on Deep Learning: A Preliminary Study

Neste trabalho, o OpenMV Cam H7 Plus foi utilizado demonstrando sua capacidade de executar modelos compactos de CNN em tempo real para monitoramento e detecção precoce de doenças. Um conjunto de dados foi criado combinando imagens de esclerodermia, pele saudável e outras condições (vitiligo, psoríase e lúpus), aplicando técnicas de aprendizado por transferência e ajuste fino em seis arquiteturas de rede. O MobileNetV2 apresentou o melhor desempenho (95,18% de precisão para classificação binária e 75,90% para multiclasse), além de ocupar apenas 2,5 MB de memória, viabilizando sua execução eficiente no OpenMV Cam H7 Plus. Assim, o estudo mostra o potencial de sistemas embarcados de visão para diagnósticos médicos acessíveis e em tempo real.

Referências:

• An Embedded Vision System for Autoimmune Skin Diseases Classification Based on Deep Learning: A Preliminary Study: Artigo

4. Produtos Relacionados

Foram pesquisados quatro produtos de diferentes gerações da linha OpenMV e um produto concorrente do OpenMV H7 Plus, conforme listados a seguir:

• Pixy2 CMUcam5: concorrente do OpenMV H7 Plus, lançado em 2018. Entre as funcionalidades de destaque, consegue detectar e rastrear linhas e objetos, detectar cores, ler códigos de barra e filmar a 60 quadros por segundo.

• OpenMV M4 V1: primeiro produto da linha OpenMV, lançado em 2014. Foi descontinuado e não está mais a venda pelo site oficial da OpenMV.

• OpenMV H7 R2: produto antecessor ao OpenMV H7 Plus, lançado em 2019.

• OpenMV Cam RT1062: produto sucessor ao OpenMV H7 Plus, lançado em 2023.

• OpenMV N6: último produto da linha OpenMV, lançado em 2023, tendo o hardware mais avançado até o então.

Referências:

• Manual do NXP LPC4330: Site
• Especificações técnicas do Pixy2: Site
• Página oficial do OpenMV Cam H7 R2: Site
• Manual do OpenMV Cam H7 R2: Site
• Página oficial do OpenMV Cam RT1062: Site
• Página oficial do i.MX RT1060: Site
• Página oficial do OpenMV Cam M4 V1: Site
• Página oficial do OpenMV N6: Site