Tutorial completo sulla scansione 3D con il tuo cellulare Android

La conversione di un oggetto reale in un modello digitale non è più appannaggio esclusivo di laboratori costosi o grandi studi. Oggi è possibile Scansione 3D piuttosto valida con il tuo telefono Android, sfruttando la tua fotocamera ToF (Time of Flight) o, in mancanza di questa, la fotocamera normale combinata con la fotogrammetria e un software gratuito sul tuo computer.

Con un po' di pazienza, un po' di abilità con le foto e le app giuste, puoi Ricostruisci statue, figure, persone o oggetti di uso quotidiano in 3D Senza spendere una fortuna. In questo tutorial, vedrai passo dopo passo come sfruttare la fotocamera ToF del tuo dispositivo Android (e anche una fotocamera tradizionale) per creare modelli 3D pronti per essere modificati, condivisi o stampati.

Cos'è la fotogrammetria e in che modo la fotocamera ToF del tuo Android si inserisce in questo contesto?

La base di quasi tutti i flussi di lavoro di scansione mobile è la fotogrammetria o Structure From Motion (SfM)Questo metodo prevede l'utilizzo di numerose foto dello stesso oggetto, scattate da angoli diversi, in modo che un software specializzato possa calcolare la posizione della fotocamera in ciascuna immagine e ricostruire la geometria 3D a partire dai pixel.

In pratica, ciò che fa il programma è ricerca di elementi ripetuti tra diverse immaginiIl processo prevede di dedurre la posizione da cui è stata scattata ciascuna foto e, utilizzando tali informazioni, di creare punti nello spazio 3D (una nuvola di punti) che vengono poi trasformati in una mesh con facce e triangoli. Maggiore è il numero di foto utili a disposizione e migliore è la loro qualità, più denso e dettagliato sarà il modello.

La fotocamera ToF presente su molti telefoni Android aggiunge un ulteriore livello: Registra direttamente le informazioni sulla profondità misurando il tempo impiegato dalla luce per rimbalzare.Alcune app combinano questa misurazione della profondità con immagini RGB per migliorare la scansione, soprattutto a brevi distanze e con oggetti di piccole e medie dimensioni. Ciononostante, la fotogrammetria pura (utilizzando solo foto) rimane fondamentale quando si desidera catturare oggetti di grandi dimensioni come statue, facciate o spazi.

Materiali necessari per la scansione 3D con un dispositivo Android

Innanzitutto, non è necessario allestire un laboratorio domestico. Con pochi elementi, è possibile crearne uno. "Scanner 3D fai da te" basato sul tuo cellulare Android:

• Un telefono Android con una buona fotocameraIdealmente, avresti bisogno di una fotocamera di almeno 12 megapixel. Se il tuo dispositivo ha una fotocamera ToF, ancora meglio, ma non è indispensabile. Puoi anche usare una fotocamera reflex digitale se hai dimestichezza con la fotografia.
• Illuminazione omogeneaUna luce intensa con ombre nette rende le cose difficili per il software. L'ideale sarebbe una luce morbida e uniforme, oppure una giornata nuvolosa se si lavora all'aperto.
• Un computer decenteNon serve un computer potentissimo, ma è necessario qualcosa in grado di eseguire programmi come Cura senza bloccarsi continuamente. È molto utile per alcuni software di fotogrammetria. avere una GPU NVIDIA con supporto CUDAperché il calcolo è notevolmente accelerato.
• Software gratuito per fotogrammetria e modifica di meshEsistono diverse opzioni gratuite per ricostruire e pulire il tuo modello 3D.

Con questa attrezzatura di base puoi scansiona qualsiasi cosa, dalle piccole statuette ai grandi elementi urbani. semplicemente organizzando bene le foto e il flusso di lavoro.

Software gratuito per ricostruire modelli 3D dal tuo dispositivo Android

Quando si tratta di elaborare le foto scattate con il cellulare, hai a disposizione diversi potenti strumenti gratuiti. Ognuno ha le sue peculiarità, ma tutti ti permettono di... conversione di immagini 2D in un modello 3D utilizzabile.

Principali programmi di fotogrammetria

• Colmap (Windows/Mac/Linux)È una delle soluzioni open-source più robuste per la fotogrammetria. Consente la ricostruzione automatica della scena a partire dalle foto, genera una nuvola di punti densa e può produrre una mesh di base. Richiede elevate prestazioni hardware e in genere sfrutta... Schede NVIDIA che utilizzano CUDA.
• 3DF Zephyr gratuito (Windows)La versione gratuita ha un limite di 50 foto, ma è molto intuitiva per i principianti. Se si hanno meno immagini, ad esempio di un piccolo oggetto scansionato a distanza ravvicinata con la telecamera ToF, di solito è sufficiente.
• VisualSFM (Windows/Mac/Linux)Si tratta di un'opzione più consolidata, utile per le ricostruzioni SfM, sebbene la sua interfaccia possa apparire un po' datata. In combinazione con Meshlab o Meshmixer, può produrre modelli di tutto rispetto.

In tutti i casi è importante chiarire che Il calcolo può richiedere da pochi minuti a diverse ore.Dipende dal numero di foto e dalla potenza del tuo computer. Se il tuo computer ha difficoltà, valuta la possibilità di ridurre la risoluzione delle immagini o il numero totale di scatti.

Programmi per la lavorazione e la pulizia della rete

Una volta ricostruito il modello, il passo successivo è pulire e preparare la rete per l'uso effettivoÈ qui che entrano in gioco altri strumenti gratuiti:

• laboratorio di magliaIdeale per lavorare con nuvole di punti e mesh dense. Consente di creare una nuova mesh a partire da un insieme di punti, rimuovere il rumore, correggere le facce problematiche, ridurre il numero di poligoni ed esportare in diversi formati (PLY, OBJ, STL…).
• Meshmixer: molto utile per post-elaborazione dei modelli destinati alla stampa 3DDispone di strumenti come "Taglio piano", "Crea solido", selezione ed eliminazione di aree e persino funzioni di scultura di base.
• FrullatoreSe vuoi fare un ulteriore passo avanti, Blender è l'ideale per Perfezionamento della geometria tramite scultura digitale e migliorare tutte quelle imperfezioni e artefatti tipici della fotogrammetria.

La combinazione tipica è solitamente: ricostruisci con Colmap o Zephyr, pulisci e generi una rete fine con laboratorio di maglia, finisci con Meshmixer o Blender Se stai cercando un componente perfetto da stampare o integrare in un motore 3D come Unity.

Come scattare buone foto per la scansione 3D con il tuo cellulare Android

La qualità del modello finale dipende molto più sulle foto che sul softwareA prescindere dalla qualità della tua telecamera ToF, se le immagini RGB risultano sfocate, presentano riflessi o mancano di dettagli, segui questi principi di base per aumentare le probabilità di una scansione riuscita.

Impostazioni della fotocamera e numero di foto

Con un telefono Android moderno, configura la fotocamera in massima risoluzione e disabilita le modalità automatiche insolite (filtri di bellezza, HDR aggressivo, ecc.) che possono alterare i colori o il contrasto tra gli scatti.

Se stai usando una DSLR, imposta un'apertura intorno a f/7-f/8 per una buona profondità di campo ed evitare le aree fuori fuoco. In ogni caso, scatta molte foto: per gli oggetti piccoli puoi rimanere in 20-50 immaginiMa per pezzi grandi o molto dettagliati, è meglio arrivare a 50-80 foto o anche 100.

Movimento attorno all'oggetto

La regola d'oro è Non spostare l'oggetto durante il processoCiò che si muove sei tu (e il tuo dispositivo mobile), che descrivi dei cerchi attorno al modello. Immagina che l'oggetto sia al centro di un cerchio e che tu gli cammini intorno mantenendo una distanza relativamente costante.

In ogni posizione, assicurati che l'oggetto occupa buona parte dell'inquadratura Assicurati che la fotocamera sia il più perpendicolare possibile alla superficie principale che desideri riprendere. Una volta completato un cerchio a una certa altezza, alza o abbassa leggermente la fotocamera e ripeti il ​​processo per assicurarti di coprire sia la parte superiore che quella inferiore.

Sovrapposizione di foto e controllo dell'ambiente

Il software ne ha bisogno ciascuna area dell'oggetto appare in diverse foto consecutiveCome riferimento, si punta a una sovrapposizione del 60-80% tra un'immagine e l'altra. Questo aiuta l'algoritmo a individuare i punti comuni e a calcolare la geometria con precisione.

Cerca di rendere l'ambiente il più stabile possibile: Evitate di camminare, di passare con le auto o di muovere i rami. In primo piano. Se stai effettuando una scansione per strada, potrebbe essere una buona idea farlo durante le ore di minore affluenza (ad esempio, all'ora di pranzo o la mattina presto).

Illuminazione e tipologie di superficie

La luce è fondamentale. Quando possibile, lavorare con una luce morbida e diffusaLe giornate nuvolose sono perfette per stare all'aperto. Se il sole è forte, le ombre nette possono ingannare l'algoritmo e distorcere il modello, quindi cercate zone ombreggiate o aspettate un altro momento.

Le superfici ideali sono opaco, strutturato e antiriflessocome pietra, cemento, legno grezzo o sculture dettagliate. Se l'oggetto è molto lucido o metallico, le cose si complicano: i riflessi cambiano a seconda dell'angolazione e la fotogrammetria va in tilt.

Un trucco molto pratico è Elimina la lucentezza con spray opacizzanti, farina o nastro adesivo.Ad esempio, su superfici in vetro o laccate, è possibile ricoprirle parzialmente con del nastro adesivo per creare texture ed eliminare i riflessi speculari, migliorando notevolmente la ricostruzione.

Errori comuni da evitare

Esistono diversi errori comuni da evitare se si desidera che la scansione 3D effettuata con Android sia utilizzabile:

• Realizza un video ed estrai i fotogrammiPuò funzionare in caso di emergenza, ma la qualità è solitamente inferiore: maggiore sfocatura da movimento e minore nitidezza rispetto alle singole foto.
• Non rivedere le immaginiSe sono presenti foto sfocate, rumorose o sovraesposte, eliminatele prima dell'elaborazione. Anche poche immagini di scarsa qualità possono compromettere la ricostruzione.
• Posiziona l'oggetto lontanoSe l'oggetto occupa solo una piccola parte della foto, il software ha a disposizione pochissime informazioni. Avvicinati il ​​più possibile senza perdere l'intera inquadratura, oppure scatta foto ravvicinate.

Finché rispetterai questi punti fondamentali, il tuo telefono Android, con o senza ToF, sarà in grado di generare dati sufficienti affinché il software possa costruire un modello 3D convincente.

Dal cellulare al computer: organizzare le foto per la scansione 3D

Una volta scattate tutte le foto con il telefono, è il momento di trasferirle sul computer. Il modo più semplice è... copiali in una cartella dedicata per ogni progettoAd esempio, "Scanning_Statue_Plaza". Al suo interno, crea una sottocartella chiamata "Photos" e salva tutte le immagini lì.

Non preoccuparti dei nomi dei file se provengono da dispositivi diversi; programmi di fotogrammetria Le foto non devono seguire un ordine numerico specifico.Si consiglia di esaminare visivamente la cartella per rimuovere le foto sfocate o eccessivamente ripetute.

Ricostruire il modello 3D con Colmap o altri software gratuiti.

Analizziamo un flusso di lavoro tipico con Comprimi in Windowsche servirà da riferimento anche se sceglierai altri programmi (la logica generale è molto simile).

Configurazione di base in Colmap

1. Apri Colmap (ad esempio, con il file Colmap.bat).
2. Nel menu in alto, inserisci “Ricostruzione – Ricostruzione automatica”.
3. Scegline uno Cartella dell'area di lavoroÈ qui che Colmap memorizzerà i risultati intermedi e la griglia finale (può essere una cartella correlata a "Foto").
4. Indica il cartella delle immagini che contiene le foto scattate con il tuo Android.
5. Lascia vuoto il campo "Albero del vocabolario", a meno che tu non voglia scaricarne uno dalla pagina ufficiale per velocizzare l'abbinamento delle immagini.
6. Se le foto provengono da un video, cambia il tipo di dati in "Fotogrammi video"; altrimenti, lascialo come "Immagini singole".
7. Regola la qualità a “Medio” per migliorare la stabilitàSu molti dispositivi, l'opzione "Alta" aumenta i crash senza fornire miglioramenti significativi, tranne che in scenari molto complessi.
8. Mantieni le restanti opzioni con le impostazioni predefinite e premi "Correre".

A seconda del numero di foto e della potenza del tuo PC, il processo può richiedere da 5 minuti a "lasciarlo in esecuzione tutta la notte". Al termine, vedrai una vista 3D con la scena ricostruita e le telecamere posizionate attorno all'oggetto.

Comprensione dei file di output di Colmap

All'interno della cartella di lavoro, Colmap genererà diverse sottocartelle. Le più importanti si trovano solitamente in un percorso simile a "workspace/dense/0/". Lì troverete, tra gli altri, due file chiave:

• fuso a strati: contiene il nuvola di punti densa ricostruitaNon si tratta ancora di una mesh, ma di un insieme di punti 3D. Solitamente fornisce la base di qualità migliore per creare una mesh pulita in Meshlab.
• rete metallicaQuesta è una mesh triangolata generata automaticamente da Colmap. Può servire come punto di partenza rapido se non si vogliono complicare le cose, anche se Di solito non è l'opzione più raffinata. e avrà quasi sempre bisogno di ritocchi.

Tenete presente che le mesh sono generate tramite fotogrammetria. Non sono pronti per la stampa.Spesso presentano buchi, volti strani, aree fluttuanti e una scala arbitraria che dovrai regolare nel software di slicing o di editing.

Creazione e pulizia di mesh in Meshlab

Se vuoi ottenere il massimo dai tuoi dati, la cosa migliore da fare è partendo dalla nuvola di punti “fused.ply” e creare la propria rete ben controllata.

Importa e pulisci la nuvola di punti

1. apre laboratorio di maglia e vai su “File – Importa mesh” per caricare il file fused.ply.
2. Vedrai una nuvola di punti fluttuare nello spazio 3D. Il primo passo è Rimuovi tutto ciò che non appartiene all'oggetto principale (pavimento, muri, alberi, pezzi di persone che sono passate...).
3. usa lo strumento “Seleziona i vertici” nella barra superiore. Tieni premuto il pulsante sinistro per disegnare una selezione rettangolare attorno ai punti che desideri eliminare.
4. Premi il bottone “Elimina i vertici” per rimuovere i punti selezionati.
5. Ripeti il ​​processo finché non rimangono solo i punti che compongono l'oggetto che ti interessa scansionare.

Questo filtraggio preliminare è essenziale perché Se lasci troppi "elementi superflui" in giro, la mesh finale risulterà piena di artefatti. e sarà più difficile da risolvere in seguito.

Ricostruire la superficie con Poisson

Una volta ottenuta la nuvola di punti pulita, è il momento di convertirla in una mesh:

1. Apri il menu “Filtri – Rimodellazione della mesh, semplificazione e ricostruzione – Ricostruzione della superficie di Poisson filtrata”.
2. Regola il parametro “Profondità della ricostruzione”Valori compresi tra 13 e 15 offrono generalmente un buon equilibrio tra dettaglio e tempo di calcolo.
3. All'inizio, lascia le altre opzioni con le impostazioni predefinite, a meno che tu non voglia sperimentare configurazioni avanzate.
4. stampa "Applicare" e attendere che Meshlab generi la mesh.

È comune che i bordi della maglia appaiano con forme strane o zone arricciatePer ripulirli, usa gli strumenti di selezione delle facce ("Seleziona nell'area triangolare") e poi "Elimina facce" finché non rimane solo il volume di tuo interesse.

Levigatura, riduzione dei poligoni ed esportazione

Per migliorare ulteriormente il risultato, è possibile applicare alcuni filtri aggiuntivi:

• En “Filtri – Levigatura, uniformità e deformazione – Levigatura laplaciana” È possibile levigare la superficie. Aumentare i "Passaggi di levigatura" a valori compresi tra 8 e 15, assicurandosi di non perdere troppi dettagli.
• Se il modello ha un numero eccessivo di facce e si muove lentamente, vai a “Filtri – Levigatura, uniformazione e deformazione – Decimazione del collasso dei bordi quadrici” e stabilisce un numero ragionevole di poligoni come obiettivo. Di solito non è necessario avere più di un milione di volti Per la maggior parte degli utilizzi, si ottengono già buoni risultati visivi con 100.000.
• Per eliminare i volti enormi che di solito sono errori di ricostruzione, prova “Filtri – Selezione – Seleziona le facce con lati più lunghi di…”Attiva l'anteprima, regola la soglia ed elimina i volti selezionati se sono chiaramente errati.

Quando sei soddisfatto, vai a “File – Esporta mesh” e scegli il formato che fa per te: PLY, OBJ o 3DS se vuoi mantenere colore e consistenza per l'utilizzo nella visualizzazione 3De STL se la tua destinazione principale sarà la stampa 3D.

Post-elaborazione della mesh: Meshmixer, Blender e stampa 3D

Quando importi il ​​tuo modello STL (o simile) in un programma di modifica mesh come Meshmixer, vedrai che normalmente Non è solo l'oggetto desiderato che apparema anche parti dell'ambiente che sono state incluse nella ricostruzione.

Pulizia di base in Meshmixer

In Meshmixer è possibile eseguire un post-processing di base molto rapido:

• Stati Uniti d'America strumenti di selezione e cancellazione per rimuovere frammenti di terreno, muri, alberi o qualsiasi oggetto estraneo che circonda il modello principale.
• Utilizzare la funzione “Taglio piano” per effettuare tagli dritti e netti alla base o sulle parti che si desidera rimuovere con precisione.
• Se il modello è cavo nella parte inferiore o presenta dei fori, ricorrere a “Rendi solido” per generare un volume solido pronto per la stampa.
• Completa i dettagli con il strumento per scolpire per levigare piccole imperfezioni o riempire aree problematiche.

Se preferisci lavorare in Blender, puoi importare il file e Utilizza strumenti da scultura per rifinire i bordi, levigare le superfici e ripristinare le forme perdute.È particolarmente utile quando la fotogrammetria ha lasciato superfici ruvide o rumorose.

Preparazione per la stampa 3D

Una volta ottenuto un modello pulito e solido, è possibile esportarlo come file STL e aprirlo nel proprio software di slicing preferito, ad esempio. Ultimaker CureLì puoi:

• Regolare scala e orientamento del modello.
• Scegliere il parametro riempimento, altezza dello strato e supporti.
• Generare il file CODICE G per inviarlo alla tua stampante 3D.

Tenete presente la scala del modello fotogrammetrico Non è reale per impostazione predefinita.Se hai bisogno di una misura specifica, dovrai confrontarla con un riferimento (ad esempio, l'altezza reale della statua) e ridimensionare manualmente il modello nel software di slicing.

Utilizzo delle app di scansione 3D su Android: quando ha senso

Oltre al classico flusso di lavoro fotogrammetrico, su Android ne hai parecchi Applicazioni di scanner 3D che sfruttano la fotocamera e, in alcuni casi, il sensore ToF.Sono molto comodi, ma presentano anche notevoli limitazioni.

Vantaggi della scansione 3D con app per dispositivi mobili

Tra i punti di forza di queste app figurano:

• Basso costo di ingressoHai già il telefono, quindi tutto ciò che devi fare è installare l'app. Non c'è bisogno di investire in scanner 3D di fascia alta.
• Portabilità assolutaPuoi portare lo "scanner" ovunque. Perfetto per catturare scene all'aperto o dettagli architettonici senza dover trasportare hardware aggiuntivo.
• heyMolte applicazioni sono progettate per utenti senza alcuna esperienza tecnica. L'interfaccia ti guida passo passo e in pochi minuti potrai vedere un modello approssimativo.

Se la tua priorità è la rapidità piuttosto che la precisione assoluta, una buona app di scansione 3D per Android può tirarti fuori da più di una situazione difficile.

Limitazioni e svantaggi comuni

D'altro canto, quasi tutte le soluzioni mobili presentano alcuni svantaggi:

• Minore precisione e risoluzione rispetto a uno scanner dedicato o a un flusso di lavoro di fotogrammetria desktop ben configurato.
• portata limitataMolte app sono progettate per oggetti di piccole o medie dimensioni. Scansionare una statua di grandi dimensioni, la facciata di un edificio o un'intera stanza può risultare problematico.
• Estrema sensibilità alla luceLe stesse ombre marcate, i riflessi e le variazioni di illuminazione che influenzano la fotogrammetria sono ancora più evidenti nelle scansioni "in tempo reale" effettuate con i telefoni cellulari.
• Restrizioni d'usoAlcune app impongono limiti di dimensione o obbligo di pagamento per ogni esportazione in formati come STL o OBJ.

Pertanto, sebbene la scansione 3D con un telefono cellulare sia uno strumento molto pratico, Non è sempre l'opzione migliore se hai bisogno di risultati metrologici o di dettagli estremamente precisi..

Esempi di oggetti e trucchi pratici in base al materiale

Non tutti gli oggetti si comportano allo stesso modo davanti alla fotocamera del tuo dispositivo Android. Alcuni sono particolarmente "indulgenti", mentre altri richiedono accorgimenti particolari.

Statue e sculture

Le statue, soprattutto se fatte di pietra o altri materiali grezzi, sono candidati ideali per la fotogrammetria mobileSolitamente presentano una texture ricca, curve morbide e dettagli che il software riconosce facilmente.

Tuttavia, di solito sono all'aperto, quindi devi Osserva le ombre, le persone che passano e le macchineCerca di aspettare che non ci sia nessuno direttamente nell'inquadratura e scegli momenti della giornata in cui la luce è morbida.

Figure stampate in 3D e modelli dipinti

La scansione di una stampa 3D potrebbe sembrare ridondante se si possiede già il file STL originale, ma ha senso quando La figura è dipinta a mano e si desidera riprodurre anche la texture.Confrontare il modello ricostruito con il file originale è anche un buon modo per valutare la qualità del proprio flusso di lavoro.

La geometria non sarà identica e i dettagli più fini andranno persi, ma Con un paio di modifiche in Blender o Meshmixer, il risultato può essere piuttosto rispettabile.soprattutto per esporre il dipinto o utilizzarlo in visualizzazioni.

Superfici lucide: lame, metallo lucidato, plastica laccata

Oggetti come una racchetta da ping pong, parti cromate o plastiche laccate presentano un problema: Le loro superfici lisce e lucide non mostrano quasi nessuna trama fissaMuovendosi, la luce riflessa cambia, quindi il software non riesce a trovare punti stabili.

Per risolverlo, puoi Aggiungi texture artificiale con nastro adesivo da pittore, spray opacizzanti o polveri fini.Ad esempio, applicando diverse strisce di nastro adesivo sulla superficie liscia si creano aree opache che la fotogrammetria può tracciare, evitando gravi deformazioni nella mesh.

Vetro e superfici trasparenti

Il vetro e altri materiali trasparenti sono ancora più complicati. Il software di fotogrammetria tende a ignora le aree morbide e trasparenti e riconosci solo i bordiquindi il risultato finale presenta spesso lacune significative.

Ancora una volta, la soluzione risiede in per rendere temporaneamente opaca la superficieCopri il vetro con del nastro adesivo, applica della vernice idrosolubile con uno spray oppure cospargi con un materiale che non danneggi l'oggetto e che possa essere pulito in seguito.

Con queste precauzioni e adattando la tecnica a ogni tipo di oggetto, il tuo telefono Android, la sua fotocamera ToF e il software appropriato possono diventare uno strumento molto serio per Digitalizzazione 3D a prezzi accessibili, in grado di competere con gli scanner economici in molti casi e di permetterti di portare a casa modelli di quasi tutto ciò che vedi per strada. Condividi la guida e più persone sapranno come farlo.