Heute hat das US Patentamt eine Patentanmeldung von Apple veröffentlicht, die sich auf die Videocodierung sowie auf Systeme, Verfahren und Vorrichtungen bezieht, um ein dreidimensionales Modell einer Szene aus einem RGB-D-Sensor für Virtual Reality (VR), Augmented Reality (AR) und Mixed Reality (MR) für ein mögliches zukünftiges Headset und andere Apple Geräte zu erstellen.
Die Erfindung von Apple umfasst Geräte, Systeme und Verfahren, die eine gleichzeitige Lokalisierung und Zuordnung von RGB-D-Sensoren, wie beispielsweise RGB-D-Kameras, ermöglichen.
Verschiedene vorgestellte Implementierungen beinhalten Vorrichtungen, Systeme und Verfahren, die eine Trajektorie eines RGB-D-Sensors schätzen oder eine 3D-Rekonstruktion der vom RGB-D-Sensor erfassten Szene (z.B. laufende Videoinhalte) darstellen. In einigen Implementierungen können solche virtuellen Rekonstruktionen von Virtual Reality (VR), Mixed Reality (MR)-Anwendungen und/oder Augmented Reality (AR)-Anwendungen aufgerufen, interagiert oder in Kombination mit diesen verwendet werden.
Eine exemplarische Implementierung beinhaltet das Empfangen mehrerer Einzelbilder einer realen Szene in einem Sichtfeld einer Kamera zu mehreren Zeiten, wobei die Einzelbilder Farbwerte und Tiefenwerte für Pixel für das Sichtfeld der Kamera beinhalten.
Das Gerät wählt Keyframes aus den mehreren Bildern der realen Szene im Sichtfeld der Kamera aus. Die Keyframes sind den Kameraposen zugeordnet, die in einem dreidimensionalen (3D) Koordinatensystem (3D) definiert sind.
Die Vorrichtung empfängt einen aktuellen Rahmen der realen Szene, der sich derzeit im Sichtfeld der Kamera befindet. Der aktuelle Rahmen enthält aktuelle Farbwerte und Tiefenwerte für die Pixel für das Sichtfeld der Kamera zu einem aktuellen Zeitpunkt. Die Vorrichtung bestimmt basierend auf dem aktuellen Bild eine aktuelle Kameraposition der Kamera im 3D-Koordinatensystem.
Die Vorrichtung bietet eine virtuelle Darstellung des aktuellen Bildes basierend auf der aktuellen Kameraposition der Kamera und zwei oder mehreren Keyframes. Die virtuelle Darstellung erfolgt basierend auf den Farb- und Tiefenwerten der beiden oder mehrerer Keyframes.
Apples Patent ist hier grafisch abgebildet. Es handelt sich dabei um ein Blockdiagramm einer vereinfachten elektronischen Vorrichtung. FIG. 2 ist ein Blockdiagramm eines vereinfachten Verfahrens zum Verschmelzen von Tiefeninformationen aus einem aktuellen Rahmen mit einem vorhandenen Keyframe. Die Vorrichtungen können ein iPhone, iPad, Mac oder ein Head-Mounted-Display (HMD) beinhalten, das einen Bildschirm zum Anzeigen von 2D/3D-Bildern oder einen Bildschirm zum Anzeigen stereoskopischer Bilder aufweist und Operationen wie einen VR-, einen MR- oder einen AR-Bildschirm beinhaltet.
Apples Patent FIG. 3A oben ist ein Diagramm, das den aktuellen RGB-D-Sensoreingang zeigt, z.B. ein Standard-RGB-Farbbild aus Kameravideoinhalten und eine ausgerichtete Standardkamera-Depth-Map. FIG. 3B ist ein Diagramm, das das Rendern einer aktuellen virtuellen 3D-Rekonstruktion in dieselbe Pose zeigt, die den in FIG. 3A dargestellten Bildern entspricht.
Die Patentanmeldung 20190304170 von Apple, die am Donnerstag das U.S. Patentamt veröffentlichte, wurde bereits im ersten Quartal 2019 eingereicht. Da es sich um eine Patentanmeldung handelt, ist der Zeiptunkt der Markteinführung eines solchen Produkts derzeit unbekannt.
Apples Erfinder dieses Patents ist Maxime Meilland, der mit Apple Frankreich arbeitet. Maxime ist ein Computer Vision Engineer. Maxime war der CTO von PIXMAP, einem Unternehmen, das aktuell das weltweit einzigste 8K Headset produziert:
Im Juni veröffentlichte Apple offensichtlich einen Bericht mit dem Titel „Apples 8K Foveated Display Technology könnte für beide Mini-Displays für ein VR-Headset und ein Wall Mounted Display+ gelten“.
RBG-D-Sensoren wurden in Microsofts Kinect verwendet, das in der Anfangsphase die PrimeSense-Technologie einsetzte, die jetzt im Besitz von Apple ist. Der Asus Xtion Pro Live verwendet ebenfalls RBG-D-Sensoren.
Im Jahr 2017 gab es den PFTrack 2017 – RGB-D Depth Sensor Support für MacBooks, wie im folgenden Video gezeigt.
Bei dem heute vorgestellten Patent von Apple geht es um die Miniaturisierung dieser Technologie für ein zukünftiges Headset.
Vielen Dank für Ihren Besuch.