Órák a 2021/22. tavaszi félévben:
- Előadás: hétfőként 17.45-19.15 MS Teams
- Gyakorlat: keddenként 17.45-19.15 MS Teams
- Első óra kivételesen (fakultatív): február 8. 10.15 ELTE mélygarázs
Koronavírus-infó: Egyelőre megszűntek akorlátozások, az órák élőben lesznek, de Teams-es közvetítés is lesz.
Teams csoporthoz elvileg mindenki kapott meghívót, akinek gondja van, a hajder@inf.elte.hu címen legyen szíves jelezni!
A tárgy oktatói:
Előadások fóliái
Vizsgaalkalmak
- május 17. 10.00-tól 0-825 Farkas Gyula terem
- május 31. 10.00-tól 0-825 Farkas Gyula terem
- június 7. 10.00-tól 0-825 Farkas Gyula terem
- június 14. 10.00-tól 0-825 Farkas Gyula terem
- június 29. 10.00-tól 1-106 Cholnoky Jeno terem
Vizsga teljesítéséhez szükséges írásos anyagok
Gyakorlatok anyagai
- Grafikus felület
- Affin transzformációk
- RANSAC
- Megjelenítés (3D ponthalmaz)
- Multi-modell illesztés
- Homográfia becslése
- Objektumdetekció LiDAR pontfelhőn
Vizsgakérdések
- Becsléselmélet alapjai: nevezetes gradiensek; homogén és inhomogén túlhatározott lineáris egyenletrendszerek megoldása. SVD algoritmus.
- Síkok és egyenesek illesztése pontfelhőre. Optimális illesztés.
- Robusztus illesztés: RANSAC algoritmus. Multi-model illesztés
- Kameramodellek: perspektív kamera, gyengén perspektív kamera, merőleges vetítés.
- Perspektív kamera kalibrációja ismert térbeli alakzat esetén. Projekciós mátrix becslése és felbontása
- Perspektív kamera kalibrációja sakktábla segítségével.
- Homográfia. Panorámakép készítése homográfia segítségével.
- Homográfia becslése.
- Esszenciális és fundamentális mátrix fogalma, levezetése. Rektifikáció.
- Fundamentális és esszenciális mátrix becslése. Esszenciális mátrix felbontása
- Mélységbecslés (trianguláció) kalibrált sztereó képpárok esetében.
- Rekonstrukció merőleges vetítés és gyenge perspektív kamera feltételezésével (Tomasi-Kanade faktorizáció).
- Rekonstrukció 3D-s ponthalmazok összefûzésével. Átfedő ponthalmazok optimális regisztrációja.
- Rekonstrukció pontosítása kötegbehangolással (bundle adjustment).
- Rekonstrukció hardveres támogatással: szkennelés strukturált fény vagy lézer segítségével.
Beadandók bemutatása
- 2022. május 16. 14.00-tól (MS Teams)
- 2022. május 30. 14.00-tól (MS Teams)
- 2022. június 6. 14.00-tól (MS Teams)
- 2022. június 13. 14.00-tól (MS Teams)
- 2022. június 28. 15.30-tól (MS Teams)
Beadandó feladatok
A feladatokat a Canvasba kell feltölteni, a megadott időpontig.
- Pontfelhőszínezés (35%) Határidő: április 12. 23:59
2. Képösszefűzés homográfiával (35%) Határidő: április 29. 23:59
Adott egy autó, amelyre két kamerát rögzítettünk. A két kamera időben teljesen szinkronizáltan készít felvételeket. 10 szinkornizált képpárt kell összefűzni homográfia segítségével. A képek innen letölthetőek.
(Dev1 és Dev2 jelzi a kamerákat, a kép sorszáma a kiterjesztés előtt olvasható.)
Szempontok:
Csak egyszer szükséges a homográfiát kiszámítani, nem kell mind a két képpárra.
A két kép között a pontmegfeletetéseket automatikusan kell elkészíteni. Az ASIFT online felületen elérhető algoritmust javasoljuk a célra. (OpenCV beépített megfeletetői is használhatóak!)
Homográfia becslésre az órán vett algoritmust lehet használni. Viszont a koordináták normalizálását implementálni kell.
RANSAC algoritmussal robusztussá kell tenni a homográfia becslését: négy véletlenszerűen kiválasztott pontból kell becsülni a homográfia-jelölteket. Nem szabad elfelejteni a végén az inlier-ekből a végső homográfiát megbecsülni!
Pontozás:
- Pontmegfelelések generálása 5%
- Normalizált homográfiabecslés 7%
- RANSAC-es homográfiabecslés 13%
- Eredmények 10%
Az összefűzött képeket és a forráskódot töltsük fel a CANVAS-ba (ZIP-pelve)!
3. Feladat: Trianguláció standard szereo-ra
Adott egy autó, amelyre két kamera fel van rögzítve. A két kamera “standard stereo” konfigurációt valósít meg. Tehát a képsíkjuk egybeesik, a két kamera közötti eltolás egy vizszintes mozgatás segítségével történt. (Hétköznapisasan szólva: a két kamera egymás mellett van.)
A beadandó feladat célja a két kép alapján 3D pontfelhőt készíteni. Az alábbi feladatokkal kell foglalkozni:
- Készítsünk a két képen (automatikus) pontmegfeleltetést. Pl. az ASIFT online elérhető algoritmust használhatjuk erre a célra. (5%)
- Szűrjük ki az outlier-eket. Bármilyen algoritmust lehet használni, saját ötletet is beletérve. Ha jobb nem jut eszünkbe, készítsünk egy RANSAC-implementációt! (10%)
- Implementáljuk a standard stereora működő speciális 3D triangulációs algoritmust! (10%)
- Mentsük el az eredményt pl. PLY pontfelhős formátumba! Tipp: a nagyon távol lévő pontokat dobjuk ki, mert zavarják a “látványt”! (5%)
Öt sztereó képpár innen letölthető. A kamera (belső) paramétereit is feltöltöttük (malaga.mat) (A két kamerára azonosak a paraméterel) A kamerák közötti bázistáv 12cm. A pixelméret 166.67 pixel/millimeter, a fókusztáv 3.8mm. Futtassuk le az elkészített algoritmust mind az öt példára, az eredményeket CANVAS-ba töltsük fel, az implementációval együtt!
Tárgy érdemjegye
Vizsga teljesítése: beadandó feladatok (100%) + szóbeli vizsga (100%) + bónusz pontok (~20%, a gyakorlatokon szerezhető)
Végső osztályzat:
- Jeles (5): 170%-
- Jó (4): 140-169%
- Közepes (3): 110-139%
- Elégséges (2): 80-109%
- Elégtelen (1): 0-79%
Egyéb segédanyagok, óravázlatok
- Matematikai alapok
- Rekonstrukciós módszerek áttekintése
- 3d-s ponthalmazok regisztrációja
- Optika alapjai
- Kameramodellek
- Projektív kamera kalibrációja
- Homográfia
- Vizuális burok algoritmus (angol)
- Masírozó kockák – Marching cube algoritmus (Wikipedia – angol)
- Lézeres és projektoros szkennelés
- Mintaillesztés különbség és korreláció alapú módszerekkel (angol)
- Sarokdetektálás és Lucas-Kanade pontkövetés
- TomasiKanade faktorizáció
- Projektív geometria alapjai
- Mélységbecslés
- Kótegelt behangolás (bundle adjustment)
- Rekonstruált objektumok vizualizációja
- X3D
Saját példák
- Valós és virtuális mozgás keverése (animált GIF, 33MByte!)
- Objektum rekonstrukció Input Output
Profi példák
Elérhetőség
Hajder Levente
ELTE IK, Algoritmusok és Alkalmazásaik Tanszék, 2.704-es szoba.