AHALab · Marionette con le ombre delle ditaTeatro delle ombre con le dita
Per prima cosa crea un pupazzo ombra snodato e equipaggialo con oggetti di scena. Una volta che la fotocamera riconosce le dita, puoi usare tutte e cinque le dita per controllare la testa e gli arti del pupazzo, quindi creare una scena o un gioco con un partner.
Metti in scena un gioco d'ombre a cui possono partecipare anche i compagni di classe
Come puoi fare in modo che la marionetta ombra segua i movimenti della mano e lasci che anche i compagni di classe ci giochino immediatamente?
Progetta prima il tuo personaggio
Dagli un nome, pensa a qualcosa che dovrebbe fare, quindi disegna la testa, il corpo, gli arti e gli oggetti di scena. Puoi tagliare dalla carta o disegnare su un tavolo da disegno digitale; dopo aver terminato, vai sul palco per provare le azioni e apportare modifiche in caso di problemi.
Conserva le carte dei personaggi, le marionette ombra congiunte, le bozze prima e dopo la modifica, le regole di controllo e le registrazioni sperimentali e infine esegui una breve rappresentazione di due minuti.
Ogni gruppo è composto da 3 o 4 persone, che, a turno, manovrano le marionette, scrivono programmi, testano e organizzano spettacoli. Ogni persona deve spiegare una scelta fatta e cosa ha cambiato in seguito.
Come farlo in classe
Prima esegui un'azione, scrivi le regole di controllo, quindi lascia che il personaggio le segua. Chiedi a un partner di effettuare un test di gioco, registra i punti in cui fallisce, trova il motivo e quindi modifica.
I bambini dai 7 ai 9 anni fanno prima pratica di ruolo ed espressione di azioni; gli studenti più grandi imparano quindi la classificazione delle caratteristiche, l'addestramento al modello manuale e il monitoraggio di più persone.
Una mano controlla un personaggio.
| Movimenti delle mani | Risposta del personaggio | Cosa si può imparare |
|---|---|---|
| Movimento del palmo | Raggiungere la posizione del palco dopo la calibrazione | Coordinate, mirroring, mappatura ed errore. |
| Estendi e piega ciascun dito separatamente | Gira la testa con il dito medio, muovi entrambe le braccia con l'indice e l'anulare, muovi entrambe le gambe con il pollice e il mignolo | Giunti, angoli e animazione a strati |
| Avvicina il pollice e l'indice | Luna splendente, prendi il bersaglio | Rapporto, soglia e isteresi |
| Gesto a V / pollice alzato / palmo aperto dopo aver stretto il pugno | Salta / Gira / Usa un oggetto (può essere attivato/disattivato) | Sequenza di azioni, tempo di conferma e tempo di recupero |
| Unisci le dita / apri il palmo dopo esserti avvicinato agli oggetti di scena | Raccogli e sposta/metti giù gli oggetti di scena; mantenere la presa a metà mentre si tiene. | Stati dell'azione, isteresi e proprietà dell'elemento |
| Gira il palmo dall'altra parte | Capovolgi insieme il personaggio, i fili della marionetta e gli oggetti di scena personali | Orientamento 3D e conferma continua |
| La mano ritorna dopo essere usciti | Mantieni il ruolo originale, ripristina dopo la conferma; associare manualmente se incerto | Monitoraggio, riabbinamento e gestione delle eccezioni |
Controlla prima una marionetta ombra
Spostarsi nella posizione specificata dopo la calibrazione, quindi fermarsi
Ogni mano controlla un personaggio
Osserva se le persone vengono scambiate dopo aver attraversato o bloccato
Test di cooperazione a quattro mani
Registra la sincronizzazione e i numeri di serie dei caratteri
Test delle prestazioni a dieci mani
Determinare il numero massimo di partecipanti dopo il test
Marionette ombra opzionali: Sun Wukong, Nezha, Zhu Bajie, Erlang Shen, Hua Mulan, Jade Rabbit, Chang'e. Le stringhe del pupazzo vengono visualizzate per impostazione predefinita e possono essere commutate su un joystick o nascondere le connessioni.
Il livello può essere cambiato in Paesaggio illuminato dalla luna, Montagna di fiori e frutti, Stagno di loto o Mercato delle lanterne. Lanterne, pesche fatate, palline di fiori e farfalle possono essere spostate; il tavolo può contenere oggetti e tamburi e girandole risponderanno. Puoi scegliere lo sfondo in base alla combinazione di personaggi o organizzarlo tu stesso.
Il programma corrente ha dieci slot per caratteri e anche il numero di mani riconosciute può essere impostato su dieci. Non è stato ancora verificato se dieci mani reali possano essere controllate stabilmente. La dimostrazione di dieci caratteri utilizza un input simulato, che sarà chiaramente indicato sulla pagina.
Scegli una serie di lezioni adatte agli studenti
Seleziona prima un piano di insegnamento in base all'età, quindi adatta la difficoltà in base alla lettura, al funzionamento e all'esperienza sperimentale degli studenti.
| Età e ora di lezione | Cosa viene detto e fatto in classe | Apri la lezione |
|---|---|---|
| Dai 7 ai 9 anni 4 volte × 60 minuti | 'Muovi il dito medio e guarda cosa si muove.' Un passo alla volta, sa disegnare, indicare o descrivere oralmente. | Quattro brevi lezioni ↗ |
| Dai 10 ai 12 anni 8 volte × 90 minuti | "Cambia semplicemente un'impostazione, quindi prova di nuovo lo stesso obiettivo." Scrivi le regole, registra i conteggi e lascia che un nuovo partner ci provi. | Appunti didattici per tutte le otto lezioni ↗ |
| Dai 13 ai 15 anni 8 volte × 90 minuti | "Quale documento supporta il tuo giudizio?" Leggi un piccolo segmento di codice, progetta un confronto, spiega l'intervallo applicabile del risultato. | Appunti didattici per tutte le otto lezioni ↗ |
Ogni lezione include domande in classe, luoghi in cui gli studenti potrebbero rimanere bloccati e come gli insegnanti possono aiutare, oltre a un piccolo compito prima della fine. È possibile scambiare i piani dettagliati degli insegnanti e le proiezioni degli studenti di cinque pagine e stampare i fogli di registrazione. Le lezioni di ricerca dai 15 anni in su sono programmate separatamente.
L'età serve come riferimento per la pianificazione delle lezioni; la selezione del corso dipende anche dall'esperienza di lettura, operativa e sperimentale esistente degli studenti. Di seguito è riportato un riepilogo di otto lezioni per bambini dai 10 ai 12 anni.
L01Crea un pupazzo che si muove90 minuti
Senza fare nomi, come puoi far capire al tuo partner cosa sta facendo?
Disegna la testa, il corpo, gli arti e gli oggetti di scena e segna i punti di connessione. Lascia che un partner indovini un'azione e ne modifichi una parte in base al suo feedback.
- Conoscenza che verrà utilizzata
- Contorni, traslucenza, connessioni cave, giunti, personaggi e oggetti di scena
- Come organizzare
- 10 minuti per guardare la sagoma e indovinare il carattere → 10 minuti per scrivere una scheda personaggio → 15 minuti per provare una canna → 30 minuti per la creazione segmentata → 20 minuti per agire senza dire nomi → 5 minuti per riordinare due bozze
- Lascia qualcosa
- Carte dei personaggi, diagrammi di frammenti che segnano le giunture, compagni che indovinano le parole originali delle azioni, bozze prima e dopo la modifica.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L02Perché è stato erroneamente identificato nello scatto90 minuti
Se la mano è leggermente bloccata, cosa succederà al punto sullo schermo?
Identificare i punti chiave delle mani, distinguere tra scena, scheletro e azioni del personaggio. Modificare solo un fattore di occlusione o illuminazione e registrare entrambe le condizioni.
- Conoscenza che verrà utilizzata
- Pixel, rilevamento, 21 punti chiave della mano, output del modello e regole
- Come organizzare
- 10 minuti prima gioca e poi osserva → 20 minuti disegna il processo di riconoscimento → 25 minuti copre una parte e riprova → 20 minuti scambia record → 15 minuti spiega utilizzando le prove
- Lascia qualcosa
- Un diagramma di scheletro etichettato, due serie di confronti di condizioni e un errore la cui causa non può ancora essere determinata.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L03Fai fermare la marionetta ombra dove vuoi che si fermi.90 minuti
La tua mano riesce a raggiungere entrambi i lati del palco senza allungarsi troppo?
Completa la calibrazione utilizzando due angoli comodi e raggiungi il centro e gli angoli. Confronta due livelli di livellamento sullo stesso target e spiega la tua scelta.
- Conoscenza che verrà utilizzata
- Coordinate normalizzate, mirroring, mappatura dell'intervallo, livellamento e ritardo
- Come organizzare
- 10 minuti per posizionare i punti su carta → 15 minuti per prevedere la mappatura → 20 minuti per calibrare e ruotare → 30 minuti per impostare due livelli per il confronto → 15 minuti per scegliere e spiegare
- Lascia qualcosa
- Registra le impostazioni di due parametri con lo stesso obiettivo, confronta prima e dopo una calibrazione e spiega il motivo della scelta dei parametri.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L04Ciascuna delle cinque dita controlla una parte90 minuti
Come puoi far sì che il personaggio agisca solo quando lo desideri?
Collega correttamente cinque dita con la testa e gli arti e prova due movimenti del pollice. Scrivi una regola di "Quando... allora..." e controllala con successo e tocca erroneamente i record.
- Conoscenza che verrà utilizzata
- Giudizio condizionale, proporzioni, soglie, isteresi, durata, eventi
- Come organizzare
- 10 minuti per indovinare quale linea si sposterà → 15 minuti per trovare l'ampiezza appropriata per il pollice → 20 minuti per scrivere una regola di azione → 30 minuti per provare due categorie → 15 minuti per raccogliere e posizionare oggetti di scena e recitare.
- Lascia qualcosa
- Scheda di connessione a cinque dita, una regola condizionale, registrazioni separate di 10 azioni intenzionali e 10 movimenti normali.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L05Invita un compagno a giocare al tuo gioco90 minuti
Se non stai accanto a spiegare, i compagni di classe sanno cosa fare?
Progetta un piccolo compito con le condizioni di completamento utilizzando la scena e gli oggetti di scena esistenti. Osserva due nuovi giocatori e modifica le regole in base a dove rimangono bloccati.
- Conoscenza che verrà utilizzata
- Variabili, punteggio, collisioni, stati, feedback di gioco
- Come organizzare
- 10 minuti per sperimentare un compito → 15 minuti per scrivere le regole su carta → 30 minuti per la scenografia e l'auto-test → 25 minuti per invitare due nuovi giocatori → 10 minuti riservati per una revisione
- Lascia qualcosa
- Una carta regola, un'attività eseguibile, registrazioni dei primi tentativi di almeno due nuovi giocatori e una modifica.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L06Due mani, non scambiare il carattere sbagliato90 minuti
Tu e il tuo partner vi siete scambiati di posto; il ruolo segue ancora la mano originale?
Utilizza i numeri per distinguere "chi" e "dove". Prova lo scambio di mani, la copertura e l'uscita dai passaggi con la stessa procedura, registrando se si verificano errori.
- Conoscenza che verrà utilizzata
- Rilevamento e tracciamento, ID univoco, associazione dati, occlusione, degradazione
- Come organizzare
- 10 minuti per giocare per la prima volta con le carte numerate → 15 minuti per scrivere accordi vincolanti → 30 minuti per provare ciascuno dei tre scenari tre volte → 20 minuti per recuperare i giocatori che se ne sono andati → 15 minuti per spiegare al gruppo successivo
- Lascia qualcosa
- Record di identità per tre scenari tre volte ciascuno, un passaggio fallito riproducibile e una frase che descrive l'abilità condizionale.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L07Cambia la persona, la riconoscerà ancora?90 minuti
Ha riconosciuto la mia mano; può riconoscere la tua mano?
Campionatori e tester separati, registra il numero di segmenti campionati per ciascun tipo. Utilizzare i tentativi dei campionatori non partecipanti per mostrare quali azioni potrebbero identificare erroneamente.
- Conoscenza che verrà utilizzata
- Caratteristiche, etichette, set di training, set di test, classificatore, matrice di confusione
- Come organizzare
- . 10 minutes to guess the change result → 20 minutes to collect in segments → 20 minutes to review outputs and try use → 25 minutes for B to test independently → 15 minutes to review predictions
- Lascia qualcosa
- Schede dati registrate per persona e segmento, risultati di classificazione dei non partecipanti, casi di errore o rifiuto e istruzioni sull'ambito applicabili.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
L08Metti in scena una scena e invita i compagni di classe a guardare90 minuti
Il pubblico riesce a capire cosa sta succedendo e anche a imparare a suonare?
Realizza una storia di due minuti con un inizio e una fine utilizzando personaggi, scene e oggetti di scena. Ogni persona usa l'osservazione una volta per spiegare la propria modifica.
- Conoscenza che verrà utilizzata
- Narrativa, usabilità, misurazione, firma, riflessione
- Come organizzare
- 15 minuti per organizzare l'ordine della storia → 20 minuti per provare in gruppo → 25 minuti per la performance e invitare gli altri a sperimentare → 20 minuti per ascoltare feedback e discutere revisioni → 10 minuti per organizzare il lavoro
- Lascia qualcosa
- Un pezzo di due minuti, ogni persona fornisce una spiegazione dettagliata, un modulo per il feedback del pubblico e una modifica per la versione successiva.
Programma di lezioni per insegnanti dai 10 ai 12 anni ↗ · Programma di lezioni per insegnanti dai 13 ai 15 anni ↗
Questa serie di lezioni è ancora una bozza per la preparazione delle lezioni e non è stata ancora insegnata in prova. Nella Lezione Sette, i movimenti personali possono essere appresi utilizzando kNN su questo dispositivo; Per la lezione estesa è ancora previsto un corso di formazione sulla rete neurale sulla posa della mano.
Scopri perché ha commesso un errore di riconoscimento
Utilizza MediaPipe in classe; nelle sessioni di ricerca, guarda YOLO
In classe, utilizzare MediaPipe per identificare prima i punti chiave della mano. I pesi universali YOLO26 riconoscono lo scheletro umano; per controllare le dita, è necessario addestrare o ottenere un modello di mano separato, riservato agli studenti più grandi per la ricerca.
Secondo:Guida ufficiale MediaPipe · Documentazione sulla posa degli Ultralitici
Verifica quanto è accurato
Utilizza il posizionamento a cinque punti per verificare gli errori di posizione; registra anche tremori quando la mano si ferma, il ritardo dal movimento della mano alla risposta dello schermo, l'attivazione di gesti accidentali e gli scambi errati di caratteri. Anche i limiti dei parametri, il frame rate ragionato e il numero effettivo di riproducibili devono essere verificati separatamente.
Il riconoscimento viene eseguito localmente su questo dispositivo e non registra i video automaticamente. Attualmente è possibile esercitarsi utilizzando tastiera e mouse o accendere la fotocamera, giocare al gioco “Catch the Moon” e anche posizionare le marionette ombra in una finestra del desktop trasparente; c'è anche una funzione di classificazione dei gesti personali. L'addestramento su multischermo, editor a blocchi e modello di punti chiave manuali non è ancora stato implementato.
Prima agisci, poi scrivi di qualcosa
Sposta dieci compiti come "Scrivo fiabe", "Nuovi adattamenti di storie" e "Metamorfosi" sul palco delle marionette ombra. Innanzitutto, componi un segmento, eseguilo per un partner, registra azioni e dialoghi, quindi scrivi il tuo articolo. Ogni compito include la preparazione dell'insegnante, una storia in tre fotogrammi, registrazioni di osservazioni e domande di revisione.
Apri il gioco delle ombre con le dita · Scrittura cinese ↗ · Visualizza i programmi delle lezioni per dieci attività ↗
Puoi scegliere ruoli e scene e le tue battute appariranno sul gobbo del palco. Le composizioni vengono salvate nel browser corrente, supportando la stampa, l'esportazione e il backup. Questi compiti corrispondono alle unità di composizione per i gradi dal 3 al 6 nelle scuole primarie cinesi. Per favore usa il libro di testo della tua classe quando li applichi.
Una riga, un'azione
Metti in scena una breve commedia inglese con marionette ombra. Per prima cosa ascolta l'insegnante leggere ad alta voce, cerchia manualmente le parole che necessitano di aiuto, quindi ruota i ruoli di narratore, dialogo e burattinaio. Tre programmi di lezioni specifici per età coprono sei brevi rappresentazioni. Sul palco puoi ascoltare le dimostrazioni, aprire il microfono per seguire, quindi combinare battute e azioni da eseguire.
Apri il corso di teatro inglese ↗
Usa questa storia al posto di quella in J04 o L08 senza aggiungere tempo alla lezione. Registra e riproduci ogni riga. Le righe precedente e successiva sono grigie; la linea corrente è nera. Le parole che sono state lette e raggiungono la soglia della pratica diventano blu; gli altri rimangono invariati. Gli insegnanti possono modificare tale soglia per la fascia di età. Il riferimento alla pronuncia non è stato calibrato sul parlato dei bambini e necessita della revisione dell’insegnante.
Materiali e codice del corso
Questo progetto è ancora nella fase di sviluppo del corso e non è stato rilasciato pubblicamente. Il passo successivo è testare il posizionamento, il tocco errato e l'assegnazione dei ruoli durante il gioco incrociato con test in persona reale a una e due mani, quindi decidere come implementare le versioni a quattro e dieci mani in base ai risultati.