AHALab · Teatro de sombras com os dedosTeatro de sombras com os dedos
Primeiro, faça uma marionete de sombra com articulações e providencie seus adereços. Depois que a câmera identificar os dedos, será possível controlar a cabeça e os quatro membros da marionete com os cinco dedos, e então criar uma cena ou um jogo com colegas.
Faça uma peça de sombras que os colegas também possam jogar
Como fazer o fantoche de sombra seguir a mão ainda permitindo que os colegas brinquem logo de primeira?
Primeiro, desenhe seu próprio personagem
Dê um nome a ele, pense em algo que ele deve fazer, depois desenhe a cabeça, corpo, membros e acessórios. Pode usar recorte de papel ou desenhar em uma prancheta digital; depois, leve ao palco para testar movimentos e ajuste se houver problemas.
Deixe cartões de personagens, sombras corporais dos membros, versões antes e depois das alterações, regras de controle e registros do experimento; por fim, encene uma pequena peça de dois minutos.
Cada grupo tem de 3 a 4 pessoas, revezando-se entre operar a marionete, programar, testar e organizar a apresentação. Cada pessoa deve explicar claramente uma escolha que fez e depois informar o que mudou.
Como fazer durante a aula
Primeiro faça uma ação, escreva as regras de controle e depois faça o personagem segui-la. Peça para um colega testar, registre onde não deu certo, encontre a causa e então ajuste.
Crianças de 7 a 9 anos devem primeiro desenvolver personagens e praticar expressão de movimentos; estudantes mais velhos aprendem classificação de características, treinamento de modelos de mãos e rastreamento de múltiplas pessoas.
Uma mão fixa controla um personagem
| Movimentos da mão | Resposta do personagem | O que se pode aprender |
|---|---|---|
| Movimento da palma | Posicionado no palco após calibração | Coordenadas, espelhamento, mapeamento e erro |
| Movimentos de extensão e flexão dos cinco dedos | Vire a cabeça com o dedo médio, mova os braços com o dedo indicador e o dedo anelar, mova as pernas com o polegar e o dedo mínimo | Articulações, ângulos e animação em camadas |
| Polegar e indicador se pinçam | Lua brilhante, capture o alvo | Proporção, limite e histerese |
| Gestos em V / polegar para cima / punho fechado seguido de mão aberta | Saltar / virar / usar adereços (com opção de ligar ou desligar) | Sequência de movimentos, confirmar tempo e resfriamento |
| Após se aproximar do adereço, feche os dedos / abra a palma da mão | Pegue e mova / coloque os adereços; mantenha meio aperto | Estado do movimento, atraso e propriedade do objeto |
| Vire a palma da mão para o outro lado | Personagens, linhas de fantoches e adereços pessoais são virados | Direção 3D e confirmação contínua |
| A mão volta após sair de cena | Mantenha o papel original, confirme e depois restaure; se não tiver certeza, vincule manualmente. | Rastreamento, remapeamento e tratamento de exceções |
Primeiro controlar um fantoche de sombra
Após calibrar, mova para a posição designada e pare
Cada mão controla um personagem
Observe se troca de pessoas após cruzamento ou obstrução
Experimento de cooperação com quatro mãos
Registrar sincronização e números de identificação dos personagens
Experimento de exibição das dez mãos
Determine o limite de pessoas após o teste
Fantoches de sombra opcionais: Sun Wukong, Nezha, Zhu Bajie, Erlang Shen, Hua Mulan, Coelho de Jade, Chang’e. Por padrão, é exibida a linha do fantoche, podendo alternar para joystick ou ocultar a conexão.
O palco pode ser trocado por paisagem à luz da lua, Montanha dos Frutos e Flores, lago de lótus ou feira de lanternas. Lanternas, pêssegos imortais, bolas de flores e borboletas podem ser movidos; a mesa pode receber objetos; tambores e cataventos vão responder. É possível escolher o cenário conforme a combinação de personagens ou arrumar por conta própria.
O programa atual tem dez slots de personagem, o reconhecimento de número de mãos também pode ser ajustado para dez. A capacidade de controlar dez mãos reais ainda não foi verificada. Demonstração de dez personagens usa entrada simulada, indicado claramente na página.
Escolha um conjunto de aulas adequado para estudantes
Primeiro escolha um plano de aula por idade, depois ajuste a dificuldade conforme a leitura, operação e experiência experimental dos alunos.
| Idade e horas de aula | Como se fala/faz na aula | Abrir material didático |
|---|---|---|
| Idades de 7 a 9 anos 4 vezes × 60 minutos | "Mexa o dedo médio e veja onde ele se move." Um passo de cada vez, pode ser desenhado, identificado ou narrado oralmente. | Quatro aulas curtas ↗ |
| 10 a 12 anos 8 vezes × 90 minutos | "Só mude uma configuração e tente o mesmo objetivo de novo." Escreva as regras, anote o número de tentativas, peça para um novo colega brincar. | Plano de aula detalhado de oito aulas ↗ |
| 13 a 15 anos 8 vezes × 90 minutos | “Qual registro apoia seu julgamento?” Leia um pequeno trecho de código, faça um design comparativo e explique o escopo de aplicação do resultado. | Plano de aula detalhado de oito aulas ↗ |
Cada aula inclui perguntas em sala, possíveis dificuldades dos alunos e como o professor pode ajudar, além de uma pequena tarefa antes do fim da aula. É possível alternar entre o plano detalhado do professor e as cinco páginas de projeção para os alunos, e também imprimir a folha de registro. Para aulas de pesquisa para maiores de 15 anos, um horário separado é organizado.
A idade serve como referência para o planejamento das aulas; a inscrição deve considerar também a experiência prévia de leitura, operação e experimentação dos alunos. Abaixo está o resumo de oito aulas para 10 a 12 anos.
L01Fazer uma marionete de sombra que se move90 minutos
Sem dizer o nome, como fazer o colega entender o que ele está fazendo?
Desenhe a cabeça, o corpo, os membros e os adereços, e marque os pontos de conexão. Faça com que um colega adivinhe uma ação e altere uma parte de acordo com o feedback dele.
- Conhecimentos a serem usados
- Contorno, translucidez, conexão vazada, articulação, personagem e adereços
- Como organizar
- 10 minutos observando contornos, adivinhar o personagem → 10 minutos escrever cartão de personagem → 15 minutos testar uma articulação → 30 minutos produção em pedaços → 20 minutos atuar sem dar nomes → 5 minutos guardar as duas versões.
- O que ficou para trás
- Cartões de personagem, diagramas divididos com marcação das articulações, frases originais do colega adivinhando os movimentos, duas versões antes e depois da modificação.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L02Por que o reconhecimento é errado na câmera90 minutos
O que acontece com os pontos na tela se sua mão fica bloqueada por um pouco?
Aponte os pontos-chave das mãos, diferenciando imagem, esqueleto e ações do personagem. Mude apenas um aspecto entre o bloqueio ou a iluminação, registrando as duas condições.
- Conhecimentos a serem usados
- Pixels, detecção, 21 pontos-chave das mãos, saída do modelo e regras
- Como organizar
- 10 minutos para brincar antes de observar → 20 minutos para desenhar o processo de reconhecimento → 25 minutos para cobrir parte e tentar novamente → 20 minutos para trocar registros → 15 minutos para explicar usando evidências
- O que ficou para trás
- Um diagrama de esqueleto anotado, duas condições comparativas, um exemplo de erro cujo motivo ainda é indeterminado.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L03Faça o fantoche de sombra parar onde deseja parar90 minutos
Você não precisa esticar muito as mãos — consegue andar para os dois lados do palco?
Complete a calibração com dois ângulos confortáveis e alcance o centro e os cantos. Compare as duas configurações de suavização no mesmo alvo e explique sua escolha.
- Conhecimentos a serem usados
- Coordenadas normalizadas, espelhamento, mapeamento de alcance, suavização e atraso
- Como organizar
- 10 minutos para indicar posições no papel → 15 minutos para prever o mapeamento → 20 minutos para calibrar e revezar → 30 minutos para configurar dois níveis para comparação → 15 minutos para escolher e explicar
- O que ficou para trás
- Comparação de dois registros de parâmetros sob o mesmo conjunto de objetivos, antes e depois de uma calibração, e justificativa da escolha dos parâmetros.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L04Cada um dos cinco dedos controla uma parte90 minutos
Como você faz seu personagem agir apenas quando você quer?
Conecte corretamente cinco dedos e cabeça, membros correspondentes, e tente dois movimentos de polegar. Escreva uma regra “Quando... então...”, e use registros de sucesso e falha para checar.
- Conhecimentos a serem usados
- Julgamento condicional, proporção, limiar, histerese, duração, evento
- Como organizar
- 10 minutos para adivinhar qual linha vai se mover → 15 minutos para achar a amplitude adequada para o polegar → 20 minutos para escrever uma regra de movimento → 30 minutos para tentar em duas categorias → 15 minutos para pegar e colocar props e repetir
- O que ficou para trás
- Cartas de ligação dos cinco dedos, uma regra condicional, gravações separadas de 10 movimentos intencionais e 10 movimentos normais.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L05Convide colegas para jogar seu jogo90 minutos
Sem que você esteja ao lado explicando, os colegas sabem o que fazer?
Use o cenário e os objetos existentes para criar uma pequena tarefa com condição de conclusão. Observe dois novos jogadores e ajuste as regras nos pontos em que ficaram presos.
- Conhecimentos a serem usados
- Variáveis, pontuação, colisão, estado, feedback do jogo
- Como organizar
- 10 minutos para experimentar uma tarefa → 15 minutos para escrever as regras no papel → 30 minutos para cenário e auto-teste → 25 minutos para dois novos jogadores → 10 minutos para reservar uma modificação
- O que ficou para trás
- Um cartão de regras, uma tarefa executável, pelo menos o primeiro registro de tentativa de dois novos jogadores e uma modificação.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L06Duas mãos, não troque os personagens.90 minutos
Você e o colega trocaram de posição, o papel ainda segue a mão original?
Use números para diferenciar "quem" e "onde". Teste a troca das mãos, bloqueios e saída seguindo os mesmos passos, registrando se houve troca incorreta.
- Conhecimentos a serem usados
- Detecção e rastreamento, ID único, associação de dados, obstrução, degradação
- Como organizar
- 10 minutos para primeiro jogar com cartas numeradas → 15 minutos para escrever acordos de vínculo → 30 minutos para testar três cenários três vezes cada → 20 minutos para recuperar os personagens que saíram → 15 minutos para informar o próximo grupo
- O que ficou para trás
- Cada cenário, três registros de identidade, um passo de falha reproduzível, uma frase de capacidade condicional.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L07Troque de pessoa, ele ainda se reconhece?90 minutos
Ela reconheceu minha mão; ela pode reconhecer sua mão?
Separe o amostrador do testador, registre quantas tomadas cada tipo fez. Com as tentativas de quem não participou da amostragem, indique quais ações ele pode confundir.
- Conhecimentos a serem usados
- Características, rótulos, conjunto de treinamento, conjunto de teste, classificador, matriz de confusão
- Como organizar
- 10 minutos para adivinhar o resultado da troca → 20 minutos para coleta segmentada → 20 minutos para ver a saída e testar → 25 minutos para B testar de forma independente → 15 minutos para revisar a previsão
- O que ficou para trás
- Cartões de dados registrados por pessoa e trecho, resultados de classificação dos não participantes da amostra, casos de erro ou recusa, escopo de aplicação.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
L08Encene uma parte da peça e peça para os colegas assistirem90 minutos
Será que o público consegue entender o que aconteceu e aprender a brincar também?
Use personagens, cenário e adereços para apresentar uma história de dois minutos com começo e fim. Cada participante usa uma vez para observar e explicar suas modificações.
- Conhecimentos a serem usados
- Narrativa, usabilidade, medição, assinatura, reflexão
- Como organizar
- 15 minutos para organizar a sequência da história → 20 minutos para ensaio em grupo → 25 minutos para apresentação e convite para experiência → 20 minutos para ouvir feedback e explicar alterações → 10 minutos para organizar o trabalho
- O que ficou para trás
- Two-minute work, one specific explanation per person, one audience feedback sheet and one change for the next version.
Plano detalhado do professor para 10 a 12 anos ↗ · Plano detalhado do professor para 13 a 15 anos ↗
Este conjunto de aulas ainda é um rascunho de preparação e não foi testado em sala. A sétima aula pode usar kNN neste computador para aprender movimentos pessoais; o treinamento da rede neural de pose para mãos ainda está programado para aula complementar.
Ver por que ele interpretou errado
Usar MediaPipe em aulas; em aulas de pesquisa, usar YOLO.
Na aula, use primeiro MediaPipe para reconhecer os pontos-chave das mãos. O YOLO26 com pesos de Pose gerais reconhece o esqueleto humano; para controlar os dedos, é necessário treinar separadamente ou obter um modelo de mão, destinado aos alunos mais velhos em pesquisa.
Com base em:Guia oficial do MediaPipe · Documentação do Ultralytics Pose
Vamos ver quão preciso é
Use cinco pontos de posicionamento para ver o erro de posição, além de registrar tremores ao parar a mão, o atraso entre o movimento da mão e a resposta na tela, toques acidentais e troca de personagem errada. O limite de parâmetros, a taxa de quadros de inferência e o número real de jogadores também precisam ser verificados separadamente.
O reconhecimento funciona localmente e não grava automaticamente. Atualmente, é possível praticar usando teclado e mouse ou ativar a câmera, jogar o mini-jogo de pegar a lua, ou colocar a sombra chinesa em uma janela de mesa transparente; também há função de classificação de gestos individuais. Ainda não foram implementadas telas múltiplas, editor de blocos e treinamento de modelo de pontos-chave da mão.
Primeiro interprete um trecho, depois escreva algo
Leve dez tarefas de escrita, como "Eu vou criar contos de fadas", "Novas versões de histórias" e "Metamorfose", para o palco de sombras chinesas. Primeiro crie uma parte, apresente aos colegas, registre os movimentos e diálogos, e então escreva seu próprio texto. Cada tarefa inclui planejamento do professor, história em três atos, registros de observação e questões de revisão.
Abrir teatro de sombras com dedos · Redação em chinês ↗ · Veja o planejamento de aula de dez tarefas ↗
Pode-se escolher livremente o personagem e o cenário, e suas falas aparecerão no teleprompter do palco. A redação é salva no navegador atual, com suporte para impressão, exportação e backup. Essas tarefas correspondem às unidades de redação do Ensino Fundamental 3º ao 6º ano na China. Ao utilizá-las, siga o material didático da sua turma.
Uma linha, um movimento
Organize uma pequena peça em inglês para fantoches de sombra. Primeiro, ouça o professor lendo; marque manualmente com círculos as palavras que precisam de ajuda, depois revezem-se nos papéis de narrador, falas e manipulação do fantoche. Três planos de aula divididos por idade acompanham seis pequenas peças. No palco, é possível ouvir a demonstração, usar o microfone para repetir e depois combinar falas e movimentos para a apresentação.
Abrir material do curso de teatro em inglês ↗
O conteúdo da história de J04 ou L08 pode ser substituído sem aumentar a carga horária original. Suporta gravação frase a frase, reescuta e leitura com mudança de cor: frases acima e abaixo no teleprompter em cinza, frase atual em preto; palavras lidas até atingir a linha de prática ficam azuis, as demais permanecem iguais. O professor pode ajustar o limite de pontuação de prática de pronúncia para palavras em azul conforme a idade dos alunos. A pontuação de pronúncia ainda não foi calibrada para voz infantil e precisa de revisão do professor.
Materiais do curso e código
Este projeto ainda está na área de desenvolvimento de curso e ainda não foi publicado. O próximo passo é usar pessoas reais para testar a mão única e dupla, localização, toques acidentais e atribuição de papéis em cruzamentos, e então decidir como fazer as versões de quatro e dez mãos com base nos resultados.