Háromdimenziós Számítógépes Látás

Órák a 2021/22. tavaszi félévben:

  • Előadás: hétfőként 17.45-19.15  MS Teams
  • Gyakorlat: keddenként 17.45-19.15  MS Teams
    • Első óra kivételesen (fakultatív): február 8. 10.15 ELTE mélygarázs

Koronavírus-infó: Egyelőre megszűntek akorlátozások, az órák élőben lesznek, de Teams-es közvetítés is lesz.

Teams csoporthoz elvileg mindenki kapott meghívót, akinek gondja van, a hajder@inf.elte.hu címen legyen szíves jelezni!

A tárgy oktatói:

Előadások fóliái

Vizsgaalkalmak

  1. május 17. 10.00-tól 0-825 Farkas Gyula terem
  2. május 31. 10.00-tól 0-825 Farkas Gyula terem
  3. június 7. 10.00-tól 0-825 Farkas Gyula terem
  4. június 14. 10.00-tól 0-825 Farkas Gyula terem
  5. június 29. 10.00-tól 1-106 Cholnoky Jeno terem

Vizsga teljesítéséhez szükséges írásos anyagok

Gyakorlatok anyagai

Vizsgakérdések

  1. Becsléselmélet alapjai: nevezetes gradiensek; homogén és inhomogén túlhatározott lineáris egyenletrendszerek megoldása. SVD algoritmus.
  2. Síkok és egyenesek illesztése pontfelhőre. Optimális illesztés.
  3. Robusztus illesztés: RANSAC algoritmus. Multi-model illesztés
  4. Kameramodellek: perspektív kamera, gyengén perspektív kamera, merőleges vetítés.
  5. Perspektív kamera kalibrációja ismert térbeli alakzat esetén. Projekciós mátrix becslése és felbontása
  6. Perspektív kamera kalibrációja sakktábla segítségével.
  7. Homográfia. Panorámakép készítése homográfia segítségével.
  8. Homográfia becslése.
  9. Esszenciális és fundamentális mátrix fogalma, levezetése. Rektifikáció.
  10. Fundamentális és esszenciális mátrix becslése. Esszenciális mátrix felbontása
  11. Mélységbecslés (trianguláció) kalibrált sztereó képpárok esetében.
  12. Rekonstrukció merőleges vetítés és gyenge perspektív kamera feltételezésével (Tomasi-Kanade faktorizáció).
  13. Rekonstrukció 3D-s ponthalmazok összefûzésével. Átfedő ponthalmazok optimális regisztrációja.
  14. Rekonstrukció pontosítása kötegbehangolással (bundle adjustment).
  15. Rekonstrukció hardveres támogatással: szkennelés strukturált fény vagy lézer segítségével.

Beadandók bemutatása

  • 2022. május 16. 14.00-tól (MS Teams)
  • 2022. május 30. 14.00-tól (MS Teams)
  • 2022. június 6. 14.00-tól (MS Teams)
  • 2022. június 13. 14.00-tól (MS Teams)
  • 2022. június 28. 15.30-tól (MS Teams)

Beadandó feladatok

A feladatokat a Canvasba kell feltölteni, a megadott időpontig.

  1. Pontfelhőszínezés (35%) Határidő: április 12. 23:59

2. Képösszefűzés homográfiával (35%) Határidő: április 29. 23:59

Adott egy autó, amelyre két kamerát rögzítettünk. A két kamera időben teljesen szinkronizáltan készít felvételeket. 10 szinkornizált képpárt kell összefűzni homográfia segítségével. A képek innen letölthetőek.
(Dev1 és Dev2 jelzi a kamerákat, a kép sorszáma a kiterjesztés előtt olvasható.)

Szempontok:

Csak egyszer szükséges a homográfiát kiszámítani, nem kell mind a két képpárra.

A két kép között a pontmegfeletetéseket automatikusan kell elkészíteni. Az ASIFT online felületen elérhető algoritmust javasoljuk a célra. (OpenCV beépített megfeletetői is használhatóak!)

Homográfia becslésre az órán vett algoritmust lehet használni. Viszont a koordináták normalizálását implementálni kell.

RANSAC algoritmussal robusztussá kell tenni a homográfia becslését: négy véletlenszerűen kiválasztott pontból kell becsülni a homográfia-jelölteket. Nem szabad elfelejteni a végén az inlier-ekből a végső homográfiát megbecsülni!

Pontozás:

  • Pontmegfelelések generálása 5%
  • Normalizált homográfiabecslés 7%
  • RANSAC-es homográfiabecslés 13%
  • Eredmények 10%

Az összefűzött képeket és a forráskódot töltsük fel a CANVAS-ba (ZIP-pelve)!

3. Feladat: Trianguláció standard szereo-ra

Adott egy autó, amelyre két  kamera fel van rögzítve. A két kamera “standard stereo” konfigurációt valósít meg. Tehát a képsíkjuk egybeesik, a két kamera közötti eltolás egy vizszintes mozgatás segítségével történt. (Hétköznapisasan szólva: a két kamera egymás mellett van.)

A beadandó feladat célja a két kép alapján 3D pontfelhőt készíteni. Az alábbi feladatokkal kell foglalkozni:

  • Készítsünk a két képen (automatikus) pontmegfeleltetést. Pl. az  ASIFT online elérhető algoritmust használhatjuk erre a célra. (5%)
  • Szűrjük ki az outlier-eket. Bármilyen algoritmust lehet használni, saját ötletet is beletérve. Ha jobb nem jut eszünkbe, készítsünk egy RANSAC-implementációt! (10%)
  • Implementáljuk a standard stereora működő speciális 3D triangulációs algoritmust!  (10%)
  • Mentsük el az eredményt pl. PLY pontfelhős formátumba! Tipp: a nagyon távol lévő pontokat dobjuk ki, mert zavarják a “látványt”! (5%)

Öt sztereó képpár innen letölthető.  A kamera (belső) paramétereit is feltöltöttük  (malaga.mat)  (A két kamerára azonosak a paraméterel) A kamerák közötti bázistáv 12cm. A pixelméret 166.67 pixel/millimeter, a fókusztáv 3.8mm. Futtassuk le az elkészített algoritmust mind az öt példára, az eredményeket CANVAS-ba töltsük fel, az implementációval együtt!

Tárgy érdemjegye

Vizsga teljesítése: beadandó feladatok (100%) + szóbeli vizsga (100%) + bónusz pontok (~20%, a gyakorlatokon szerezhető)

Végső osztályzat:

  • Jeles (5): 170%-
  • Jó (4): 140-169%
  • Közepes (3): 110-139%
  • Elégséges (2): 80-109%
  • Elégtelen (1): 0-79%

Egyéb segédanyagok, óravázlatok

Saját példák

Profi példák

Elérhetőség

Hajder Levente
ELTE IK, Algoritmusok és Alkalmazásaik Tanszék, 2.704-es szoba.