Forskere har udviklet VideoPainter, en avanceret teknologi inden for video-inpainting og redigering, der muliggør gendannelse og redigering af videoer i enhver længde ved hjælp af kunstig intelligens. Denne metode adresserer tidligere udfordringer ved at introducere en dobbeltstrømsarkitektur, hvor en effektiv kontekst-encoder behandler maskerede videoer og integrerer baggrundsinformation i en forudtrænet video-model. Denne tilgang reducerer modellens kompleksitet og sikrer en mere præcis integration af baggrundskontekst.
Derudover introducerer VideoPainter en ny teknik kaldet “target region ID resampling”, som gør det muligt at håndtere videoer af vilkårlig længde, hvilket øger teknologiens praktiske anvendelighed. Forskerne har også udviklet en omfattende datasæt-pipeline ved hjælp af eksisterende computer vision-modeller, hvilket har resulteret i VPData og VPBench – det største video-inpainting datasæt og benchmark til dato med over 390.000 forskellige videoklip.
Ud over inpainting udforsker VideoPainter også anvendelser inden for video-redigering og generering af video-redigeringspar-data, hvilket demonstrerer teknologiens alsidighed og potentiale i praksis. Gennem omfattende eksperimenter har VideoPainter vist overlegen ydeevne inden for både video-inpainting og redigering, målt på otte nøgleparametre, herunder videokvalitet, bevarelse af maskeregioner og tekstuel sammenhæng.
Denne teknologi repræsenterer et betydeligt fremskridt inden for video-redigering og -gendannelse, hvilket kan få stor indflydelse på områder som filmproduktion, digital restaurering og indholdsoprettelse.
Billedet illustrerer, hvordan kunstig intelligens kan bruges til at redigere og genskabe videoindhold ved at udfylde manglende eller beskadigede dele af en video.
Se og læs meget mere på kilden.
Kilde: GitHub
