亚洲第一综合天堂另类专_亚洲AV综合天堂在线观看_亚洲va成无码人在线观看天堂_亚洲A∨无码精品午夜电影香港_亚洲av日韩av无码a一区_亚洲av无码不卡私人影院

在移動網(wǎng)絡(luò)、云計(jì)算、人工智能等技術(shù)發(fā)展的驅(qū)動下，直播成為當(dāng)今時(shí)代的一個(gè)電商新物種。而該領(lǐng)域發(fā)展至今，無論是從量級上，還是技術(shù)上，作為行業(yè)中的佼佼者——淘寶直播，一直以來，都備受技術(shù)人的關(guān)注。

在阿里文娛2019雙11貓晚技術(shù)沙龍中，來自淘系技術(shù)部高級無線技術(shù)專家長孫泰帶來了淘寶直播的主題分享，從雙11的場景中，看淘寶直播的趨勢（強(qiáng)實(shí)時(shí)互動、內(nèi)容電商）、淘寶直播電商互動探索（低延時(shí)、連麥以及電商營銷AI互動）、電商直播未來思考（5G+直播）。

2019年淘寶直播的表現(xiàn)

從數(shù)字來看，直播已經(jīng)不是一個(gè)網(wǎng)紅主導(dǎo)的事情，很多的商家特別的天貓品牌商家，都把直播當(dāng)作日常的運(yùn)營工具，整體覆蓋在雙11期間非常高，基本上覆蓋頭部全部品牌，50%的商家都在使用直播工具來當(dāng)作營銷場景。從行業(yè)覆蓋來看購物來看，目前也是比較豐富的；另外直播有一個(gè)村播的計(jì)劃，會深入到農(nóng)村里面，因?yàn)楝F(xiàn)在整個(gè)的網(wǎng)絡(luò)覆蓋還是比較好的，村播的原產(chǎn)地的直播，直接帶動整體經(jīng)濟(jì)的發(fā)展

今年直播在行業(yè)場景的覆蓋進(jìn)一步提升，淘寶直播通過開放的方式支持了集團(tuán)多個(gè)業(yè)務(wù)的直播場景，今年貓晚直播就是通過直播的開放平臺支持的。

大家有沒有在別的地方看到淘寶直播？比如微博。其實(shí)李佳琦的直播間在阿里內(nèi)部所有平臺都會進(jìn)行聯(lián)播，李佳琦的微博也有很多的粉絲，可以很方便的將微博的粉絲進(jìn)行更強(qiáng)的變現(xiàn)，因?yàn)樘詫氈辈ナ且粋€(gè)變現(xiàn)非常強(qiáng)的平臺。作為基礎(chǔ)直播平臺，我們通過SDK的方式、小程序的方式、覆蓋了阿里全系的應(yīng)用。

內(nèi)容電商的新形態(tài)

回到電商直播，電商直播本質(zhì)上一個(gè)人貨場的概念。首先是人，也就是用戶和直播，另外是直播這個(gè)場，基于視頻流的實(shí)時(shí)互動；這里面包含很多東西，最直接就是發(fā)評論問直播什么，直播看到評論就會回復(fù)用戶，以及主播會給用戶發(fā)送他的權(quán)益。另外是貨，直播商品中心，我們把基于淘寶大盤進(jìn)行選品，整合供應(yīng)鏈，其實(shí)大家也發(fā)現(xiàn)譬如李佳琦、薇婭的直播間，搶到就是賺到，這是商品力強(qiáng)體現(xiàn)的一個(gè)點(diǎn)。

淘寶直播電商互動探索：低延時(shí)、連麥以及電商營銷AI互動

淘寶直播業(yè)務(wù)架構(gòu)

在淘寶直播整體的業(yè)務(wù)架構(gòu)圖中。首先需要明確主播怎么進(jìn)來，其中重點(diǎn)是機(jī)構(gòu)怎么進(jìn)來的，商家怎么進(jìn)來，另外是商品中心，也就是怎么樣做好選品，把好的品類選出來，商家賣自己的貨，但是如果是網(wǎng)紅，就需要連接商家和主播；中控臺是開播工具以及直播場的管理工具，包括PC移動的推流工具和管理公里。

中間是直播平臺，也是直播的核心能力。其中直播開放平臺是我們把直播的互動，直播SDK開放出去，包括這次貓晚互動落地在手淘等。另外是直播的穩(wěn)定性，這個(gè)很重要，卡頓，成功率、秒開率、穩(wěn)定性問題排查等，比如說天津某個(gè)節(jié)點(diǎn)出問題了，能夠快速定位出來，并解決。質(zhì)量平臺是我們對直播業(yè)務(wù)和技術(shù)的監(jiān)控平臺。

上層是分發(fā)，增長很重要，我們有一套基于數(shù)據(jù)驅(qū)動增長平臺，能夠高效迭代，另外還有流量調(diào)控，能夠針對主播進(jìn)行流量激勵，這些對一些商家特別重要。內(nèi)容分發(fā)一個(gè)是搜索、一個(gè)是推薦，特別是直播場景，和原先視頻、圖文，商品搜索推薦不一樣，給我們提出了新的挑戰(zhàn)。

直播技術(shù)架構(gòu)

對于淘寶直播的技術(shù)架構(gòu)，底層是基于阿里直播云搭建，推流上行，CDN分發(fā)，用戶通過邊緣拉流，大多數(shù)直播都是類似的架構(gòu)。可能業(yè)內(nèi)很多都是基于多運(yùn)營商的融合方案，我們和阿里云深度結(jié)合，在全鏈路上可以做更強(qiáng)的優(yōu)化，這塊后續(xù)也會提到。中間一層左側(cè)是生產(chǎn)平臺，包括全端推流工具，中間就是基于互動通道構(gòu)建的直播各種互動權(quán)益玩法；直播間我們也定義兩層，播放器和互動層，互動玩法開放是基于互動層實(shí)現(xiàn)的，提供直播間的互動數(shù)據(jù)能力以及玩法組件，各個(gè)場景可以深度定制，目前我們在集團(tuán)內(nèi)開放了，未來希望能夠有機(jī)會走到行業(yè)里面去的。

基礎(chǔ)營銷互動權(quán)益

營銷互動玩法，其實(shí)我們現(xiàn)在互動比這個(gè)圖更復(fù)雜，現(xiàn)在的玩法都是基于任務(wù)型的和游戲型的，做一個(gè)主播簡單的任務(wù)，才能拿到

比如貓晚參與紅隊(duì)PK，我贏了就抽獎，沒贏就不抽獎，這里面就是淘寶直播里提供一套基于任務(wù)行為驅(qū)動的互動營銷權(quán)益玩法?；A(chǔ)是親密度，如何發(fā)的有效率。所以我們定義直播親密度的玩法是基于主播和用戶的，比如某用戶是薇婭的一個(gè)摯愛粉，但是到李佳琦可能就是一個(gè)新粉，更多是強(qiáng)調(diào)用戶跟主播的關(guān)聯(lián)。用戶怎么漲分，核心也是和主播互動，比在這里直播間下單、經(jīng)常回來、觀看時(shí)間、發(fā)評論互動等?；谟H密度分?jǐn)?shù)就可以靈活的調(diào)控運(yùn)營策略，譬如排位賽等。主播也能做到差異化運(yùn)營。是平臺發(fā)現(xiàn)新的主播的很重要的場景，配置不同的賽道，從不同的賽道里篩選出不同新的有潛力的主播。

端智能互動實(shí)踐

首先是互動通道，能夠以秒級的速度推動到每個(gè)人的前面。一般有兩種模式，基于房間消息和流SEI。本質(zhì)上SEI能夠做到很好的音畫同步的體驗(yàn)，這塊在和內(nèi)容聯(lián)動的時(shí)候，比較重要。

另外一個(gè)端媒體智能基礎(chǔ)能力，MNN是淘系的開源推理引擎，這個(gè)性能非常高，也就是目前在端側(cè)AI處理，門檻已經(jīng)很低了。在端智能都做了比較深入的探索。比如今年手淘信息流端的推薦系統(tǒng)，實(shí)時(shí)感知用戶的行為在反饋給算法，提升也非常好。

比如笑臉紅包的玩法，是去年貓晚現(xiàn)場的玩法，兩個(gè)明星在玩笑臉進(jìn)行PK；端側(cè)匹配用戶的表情，對的話就加1分，錯(cuò)的話就沒有分，這是在貓晚做的一個(gè)嘗試，效果也都非常好。

另外一塊是如何生產(chǎn)玩法，因?yàn)椴豢赡苊恳粋€(gè)玩法都單獨(dú)開發(fā)。我們有一個(gè)多媒體的素材編輯平臺。從工程角度，端側(cè)集合采集、推理、渲染并編碼，目前是算力是沒問題的。

另外算法在人臉識別，手勢識別，表情識別、pose識別等，也都比較成熟?；谝惶卓缙脚_的渲染腳本，就可以實(shí)現(xiàn)在各個(gè)平臺渲染玩法。比如說這個(gè)玩法，在直播間的樹會長高，長得更高的話，可能就一個(gè)紅包出來。我們可以通過玩法編排能夠定義點(diǎn)贊、或者評論觸發(fā)樹的狀態(tài)，并在某個(gè)狀態(tài)下達(dá)到出發(fā)一個(gè)紅包的效果。這樣就可以做到很快速的上線一些比較好玩的玩法了。 

淘寶直播在低延時(shí)的嘗試

我們的直播多樣性差異很大，有大有小，李佳琦和薇婭直播間人就很多，但更多腰部和尾部其實(shí)沒那么大，整體的豐富度會非常多。比如一場發(fā)布會來講可能30秒延時(shí)OK的，但是對于電商互動來說，實(shí)時(shí)的互動就很重要了。我們也非常關(guān)注中小主播的體驗(yàn)。

拆解直播整體延時(shí)的鏈路，主播通過手機(jī)推流，采集畫面（還包括渲染的前處理），然后編碼，封包，發(fā)送到推流緩沖區(qū)，最后推到云上。用戶拉流播放側(cè)可能需要做后處理，最后渲染出來。整個(gè)流程里來看的話，延時(shí)大概是7秒，基于常規(guī)的TCP的協(xié)議的直播，基本上都是這個(gè)延時(shí)，核心是TCP協(xié)議里面，保障基礎(chǔ)的不卡必須需要大約3-5的緩沖。這點(diǎn)是由復(fù)雜的網(wǎng)絡(luò)場景限定的。

低延時(shí)怎么優(yōu)化呢？關(guān)鍵是播放緩存區(qū)，如何去做擁塞控制的問題，理論上來做基于RTP的協(xié)議，如果網(wǎng)絡(luò)非常好，理論上是可以做1秒內(nèi)的延時(shí)，所以第一步我們基于FLV-TCP的協(xié)議換成的RTP，RTP是基于UDP的流媒體傳輸協(xié)議，在流媒體場景下適配性會更好。

如何確保播得更流暢，擁塞控制就顯得很重要了。WebRTC在擁塞控制有很好的實(shí)現(xiàn)，我們做了很多改造，并將部分功能移植到我們的系統(tǒng)里面去。netEQ是webrtc里面音頻處理和控制一個(gè)非常核心的模塊?？粗辈τ诙秳拥捏w驗(yàn)，對聲音的敏感可能比圖像更強(qiáng)烈；因此我們在邊緣實(shí)現(xiàn)了類似webrtc的擁塞控制算法，包含F(xiàn)EC、netEQ等，根據(jù)端上用戶網(wǎng)絡(luò)情況，決定下行的策略，以及控制是否要丟幀等。最后我們在卡頓率不變等前提下，降低到了1.5秒的延時(shí)。以前問主播一個(gè)問題，可能7秒鐘才能聽到回復(fù)，而現(xiàn)在可能2秒鐘就回復(fù)了，這個(gè)對互動率有一個(gè)很大的提升。

另外就是連麥，譬如兩個(gè)直播PK，這里有很多不同的實(shí)現(xiàn)方式，就合流的方式來看，有端側(cè)和云側(cè)的，各有優(yōu)點(diǎn)。

我們是基于端上合流的，因?yàn)橹鞑ドa(chǎn)側(cè)手機(jī)還是蠻好的，同時(shí)在端上對整體的碼率控制，畫面控制也會更加靈活。第二點(diǎn)是連麥跟直播的融合，一般情況下，發(fā)起連麥的時(shí)候，直播大多數(shù)會中斷掉，切換到另外一個(gè)分發(fā)體系里面，從傳統(tǒng)的flv協(xié)議切換到通話的協(xié)議。這里面會導(dǎo)致用戶畫面有一些變化。我們實(shí)現(xiàn)了主播和連麥一體化的技術(shù)，就可以做到無縫切換的體驗(yàn)?？梢岳斫獬梢粋€(gè)大型的會議場景，所有人都是以連麥的方式來接入直播的，對于和主播，都是通過級聯(lián)的proxy。對于連麥而言，就是將連麥者之間的畫面做一次分發(fā)，直接把這個(gè)流跟主播合流，這對用戶和主播均是無感的，有點(diǎn)類似于視頻會議，這個(gè)也是我們在直播場景特別是超低延時(shí)直播的一個(gè)探索。

剛才提到分發(fā)體系，目前整個(gè)主流直播的技術(shù)，大體都是基于CDN的，CDN的分發(fā)體系，更多適配于圖片和視頻，邊緣回源中心，一級一級上溯，這個(gè)其實(shí)對直播不一定適合，特別有大量冷流直播，會導(dǎo)致每一個(gè)用戶的這個(gè)回源都會回到中心去，就會對不同層次節(jié)點(diǎn)造成非常大的壓力。這里去中心化的分發(fā)模式就起到作用了，尤其的5G來了之后，大碼率的傳輸就可以本地卸載，用戶在上海，另外用戶在杭州，上海的用戶直接去拉杭州的節(jié)點(diǎn)，整體分發(fā)效率就會更高。

直播內(nèi)容理解

直播主要由兩部分組成，一個(gè)是你看到的是什么，第二你跟主播在互動。譬如用戶要問主播，衣服怎么樣，是否有折扣，是否再講一下8號的寶貝，這類用戶評論里是非常普遍的，但實(shí)際上對于大的主播來說是來不及回復(fù)每一個(gè)用戶的。因此我們做了一個(gè)自動回復(fù)的助手，效果非常好，用戶在評論的表達(dá)，多數(shù)意圖是蠻明顯的，比如說像8號寶貝，那可能重新再講一下，直播助手就可以識別出來，然后就剛才講過的片段推送給用戶。幫助了主播提升用戶的運(yùn)營效率，整體的購買轉(zhuǎn)化率也提升3%。其實(shí)不僅僅智能回復(fù)，也包括打招呼等等功能，本質(zhì)上就是用AI的方式提升主播如何接客的能力。

另外一個(gè)是商品識別，直播的分發(fā)其實(shí)和傳統(tǒng)意義的圖文不太一樣，圖文比較好理解，因?yàn)橛形淖?，能分析這篇內(nèi)容講的是什么，短視頻的也能做一些深度的語義理解，結(jié)合標(biāo)題標(biāo)簽已經(jīng)用戶行為，也做很好的分發(fā)。

直播不太一樣，實(shí)時(shí)性更強(qiáng)，技術(shù)挑戰(zhàn)更大。電商直播的特點(diǎn)就是講解商品，商品的內(nèi)容構(gòu)成了互動的核心，用戶也是大多數(shù)是來買商品的。我們今年在直播的內(nèi)容理解做很多的事情，其中一塊是商品識別。比如我們的直播看點(diǎn)功能，在直播時(shí)間軸某個(gè)點(diǎn)在講什么，比如說這個(gè)點(diǎn)在講這個(gè)衣服，用戶就可以快速的在直播間跳轉(zhuǎn)到他想看的東西，提升用戶的體驗(yàn)；同時(shí)結(jié)構(gòu)化的內(nèi)容也能更好分發(fā)直播，這個(gè)比較容易理解，之前大多數(shù)是基于人到主播的匹配，現(xiàn)在能做到人到商品的匹配，這個(gè)是對直播的分發(fā)非常的重要，也是一個(gè)很大的飛躍。

具體實(shí)現(xiàn)本質(zhì)上就是一個(gè)商品檢索的過程，直播間有一個(gè)寶貝口袋，也就是這場直播的講解的商品，其實(shí)只要在口袋里少數(shù)商品去檢索匹配就好了。因此當(dāng)直播發(fā)一個(gè)商品的時(shí)候，我們會將商品主圖保存在客戶端里，識別的時(shí)候，會把當(dāng)前直播的圖片截取出來，先摳人再分割然后匹配。不過也不能解決所有問題，比如珠寶，或者其他奇怪很難識別的商品，再比如拿到手上，有遮擋等，這里面挑戰(zhàn)很大，因此我們也嘗試考慮引入ASR，嘗試進(jìn)一步理解講的東西是什么，進(jìn)一步結(jié)構(gòu)化理解當(dāng)前直播的內(nèi)容。

5G+直播AI，電商直播未來思考

5G的特性，對于直播多媒體來說，低延時(shí)和大帶寬是最直接的，廣連接可能會對IOT的作用比較大。2019年年初我們和中國電信有一次聯(lián)動，嘗試一下5G直播對于互動直播體驗(yàn)。年初5G還沒有現(xiàn)在那么普及，所以今年跟電信的合作就是在淘寶直播里做一個(gè)高清觀看并普惠到目前的大多數(shù)用戶。考慮到當(dāng)前4G手機(jī)下如何才能更好的展現(xiàn)5G高清畫面，比如4K，所以我們實(shí)現(xiàn)了一個(gè)可以支持4K播放同時(shí)能夠支持放大縮小的直播間，日常的用戶手機(jī)實(shí)現(xiàn)高清的觀看，實(shí)現(xiàn)細(xì)節(jié)的放大觀看，我們在美妝產(chǎn)品做了測試，能夠很清晰的看到主播講解的細(xì)節(jié)，體驗(yàn)也很好。

另外，5G對于AI的應(yīng)用，其中一塊就是直播的內(nèi)容理解和渲染。5G邊緣計(jì)算能夠提供較大的算力，對于直播的理解和渲染，一部分的計(jì)算能力做到云上去，理論上是邊緣到端5-20毫秒的延時(shí)，剛好是一個(gè)觀看幀的時(shí)延，有機(jī)會實(shí)現(xiàn)更強(qiáng)的直播交互體驗(yàn)，包括在直播里實(shí)現(xiàn)個(gè)性化，類似游戲的玩法都是有可能的。而這些基于邊緣的基站都可以實(shí)現(xiàn)，比如你在杭州銀泰逛街，可能看到的和別人不一樣，你會從銀泰的邊緣重新渲染銀泰相關(guān)的內(nèi)容，也許包含銀泰的廣告。這個(gè)未來5G都是有可能的。

深圳小程序開發(fā)|深圳APP開發(fā)|微信小程序開發(fā)|小程序軟件開發(fā)|抖音小程序開發(fā)