淘寶Buy+技術(shù)運(yùn)用出現(xiàn)的難點(diǎn)分析

Buy+技術(shù)是首個(gè)購(gòu)物+VR的結(jié)合，而這個(gè)結(jié)合自然會(huì)出現(xiàn)一些難題，那么到底有哪些難題呢。

1、圖片識(shí)別

作為技術(shù)人員，我們首先想到的是做圖片識(shí)別。有一個(gè)標(biāo)定的圖片，然后跑算法，一幀一幀去算，看每張圖片里是不是有你想要的物品。

但是這個(gè)方案經(jīng)過(guò)討論以后很快就被否定，也沒(méi)有去嘗試，因?yàn)樽叩矫總�(gè)位置時(shí)看到的物品的面都不一樣，這給圖像識(shí)別帶來(lái)很大難度。

而且很多商品在場(chǎng)景中看上去并不是那么大，對(duì)圖像識(shí)別的要求實(shí)在太高，按照目前的技術(shù)無(wú)法實(shí)現(xiàn)。

2、顏色識(shí)別

于是我們想到了一個(gè)辦法，把整個(gè)全景視頻拍兩遍，第一遍正常拍，第二遍在有商品的位置用一個(gè)有特殊顏色的物品代替。

然后用顏色的識(shí)別來(lái)取出商品相應(yīng)的位置;

這里有兩個(gè)難點(diǎn)，首先兩次拍攝的速度必須是一樣的，另外需要把場(chǎng)景中特殊顏色的位置全部用圖像算法摳出來(lái)。

我們真實(shí)嘗試時(shí)發(fā)現(xiàn)了兩個(gè)問(wèn)題，一是如果代替物很小，在整個(gè)圖片中的像素表現(xiàn)是不夠的;二是很容易被其它顏色干擾。

比如燈光，每個(gè)商店的燈光不一樣，而且環(huán)境中可能會(huì)有與物體顏色一樣的東西。

經(jīng)過(guò)多次嘗試后發(fā)現(xiàn)，這個(gè)方案也是不可行的。因?yàn)槲覀儗?duì)現(xiàn)場(chǎng)的燈光跟環(huán)境基本沒(méi)有控制力。

3、轉(zhuǎn)換坐標(biāo)系

這時(shí)我們又嘗試了另外一個(gè)方案，我們開(kāi)始拍的時(shí)候把視頻的第一幀拿出來(lái)，所有物體離攝像頭的距離都測(cè)出來(lái)。

然后根據(jù)攝像頭的勻速運(yùn)動(dòng)判斷商品下一幀會(huì)在什么位置。

這個(gè)方案理論上蠻通的，但實(shí)現(xiàn)的時(shí)候也遇到很大技術(shù)困難，首先是勻速運(yùn)動(dòng)的問(wèn)題，這個(gè)用軌道車可以解決。

第二點(diǎn)，整個(gè)坐標(biāo)系轉(zhuǎn)化的問(wèn)題，測(cè)量時(shí)一個(gè)很小的誤差會(huì)導(dǎo)致坐標(biāo)系轉(zhuǎn)化(平面坐標(biāo)轉(zhuǎn)化為三維坐標(biāo))產(chǎn)生很大的誤差。

還有，每個(gè)攝像頭的參數(shù)不一樣，這導(dǎo)致每次坐標(biāo)系轉(zhuǎn)化的參數(shù)都要重新通過(guò)數(shù)據(jù)去訓(xùn)練。

我們嘗試去訓(xùn)練Insta 360的一個(gè)設(shè)備，最后訓(xùn)練完拿到坐標(biāo)系的參數(shù)，誤差還可以。但是后來(lái)嘗試其它攝像頭，發(fā)現(xiàn)這個(gè)參數(shù)是完全不可用的。

到此我們的第三種方案也基本可以認(rèn)為是不可行的。

4、空間移動(dòng)方案

這次我們完成了兩個(gè)方向的全自由移動(dòng)，原理也是蠻簡(jiǎn)單的，我們把一個(gè)視頻拍完以后，轉(zhuǎn)成一個(gè)倒播的視頻。

只需要在正向走動(dòng)的時(shí)候播正向的視頻。

5、3D商品的展示和交互體系

3D商品的展現(xiàn)，我們選擇了一個(gè)蠻實(shí)用的方案，就是每個(gè)物品環(huán)拍一圈，然后每隔一定度數(shù)取一張照片，把它形成一個(gè)連播的文件。

用戶進(jìn)來(lái)的時(shí)候，就默認(rèn)先播一圈，但這里也有蠻坑的事情。如果商品和背景需要融合得很好的話，需要把背景摳成透明的。

我們做了幾百個(gè)商品，每個(gè)商品都有很多張圖片，基本上屬于不能完成的工作量。

我們通過(guò)綠幕的手段，結(jié)合一些圖片提取的方法讓效率變得很高，最終把這件事情完成。

剛才提到功能上線在手淘，像這種超級(jí)app對(duì)包的大小非常敏感，導(dǎo)致我們沒(méi)法用一些現(xiàn)成的游戲引擎。

里面所有UI和交互都是我們自己用Open GL研發(fā)的。

我們構(gòu)建了自己的坐標(biāo)體驗(yàn)，事件的調(diào)度體系，UI復(fù)用還有粒子系統(tǒng)，動(dòng)畫(huà)系統(tǒng)和事件檢測(cè)機(jī)制。