手机打开ai的软件AI技术跟大家伙儿走得,AI“秒秒钟”帮你自动搞定
鱼羊发自凹非寺
量子位报道|公众号QbitAI
要说这次什么AI技术跟你们伙儿走得最近,那真是非AI特效玩法莫属。
想整张手绘头像,无需点亮绘画技能,拿起相机打开APP拍张照,AI“秒秒钟”帮你自动搞定。
△快手“手绘封面”特效
以及已经不只是局限于单张图片,短视频的每一帧都能用这种的麻瓜“魔法”丝滑覆盖。
各种艺术风格,只有你想不到,没有AI做不到。
只是,别看那些特效滤镜层出不穷,动不动掀起一波网络狂欢,从一个模型的问世到它真正走入你的手机,那背后的故事还真不是三言两语能够轻松说完的。
特效是如何进到手机里的?
不妨以快手爆火的手绘特效为例,详细唠唠这件事。
首先,自然还是算法层面的一系列操作。
从用户录制视频/照片,到AI的“手绘作品”输出,在AI看来大概是这种一个流程:
ISP将处理好的视频/照片发送给App,AI接收到必须处理的场景,就会预先对每一帧场景进行预处理,统一格式和尺寸。
接出来,就可以开始侦测并剪切画面中的人脸,运用早已定制好样式的“艺术家”神经网络(如U-Net等)对其进行加工。
/format/jpg/quality/90'/>
这一步生成的手绘效果与输入帧进一步融合以后,手绘特效就初步完成了。
其实,在即将输出之前,每一帧场景还得经过一道化妆和美颜的方法,来提高整体图像的品质。
这之后也许有盆友会问了,现在诸多开源生成算法都很成熟,直接放到手机里,何难之有啊?
非也非也。
且不说为了最大程度保留用户本人的长相和外观特点,同时兼具绘画样式的哲学和戏剧效果,需要在整体色调和局部细节上对AI模型进行非常严格的调教,对于快手这样的App来说,训练出一个稳定好用的模型通常还仅仅第一步。
更大的困难显然在于手机这个契机本身。
手机成为移动端设施,本身算力有限。也就是说,AI的手绘能力越强悍、技术越复杂,对于手机来说,想要流畅不卡顿地运行它,就越困难。
而针对咱用户来说,如果一开特效就是一顿卡卡卡卡卡,电量哐哐掉,那也就没有哪些乐趣可言了。
此外,像手绘滤镜这样的算法,默认是在电脑CPU上运行的。CPU是一个通用计算单元,本身也只是运行AI工作负载的最佳选择。
如何解决?大体上有如下三种模式。
第一种模式,还是从算法上着手,对模型进行压缩。以快手为例,AI滤镜背后就都有多样化模型压缩算法的加持,使其可以在考虑诸多边界条件、有限的计算和存储资源条件下,把模型估算量降到最低。
只是再如何在算法上改进,硬件层面的限制一直是能够规避的难题。
然而就有了第二种模式,上云。许多App提供商就会选择在云端进行复杂的AI处理,以缓解移动端算力不足带来的挑战。
但这又导致了新的难题——在云端计算,就会得到网络环境的制约,导致额外的阈值和其它差异,也没有方法满足离线需要。
然而第三种模式,就是直接从SoC硬件厂家这一侧解决难题。
以最常见的高通骁龙移动系统为例,其采用的高通AI引擎,就在软件这一侧,实现了AI计算的加速。
高通AI引擎有啥不一样?
高通AI引擎,其实就是内置于骁龙移动系统的一套完整软硬件AI解决方案。
在软件方面,高通AI引擎搭载多核异构计算方案,包含:
此外,通过智能调度CPU、GPU和向量处理器来进行AI运算,高通AI引擎能充分发挥出不同架构处理器的特点,在推动高算力的同时,最大限度确保能效。
而在硬件方面,高通AI引擎的硬件软件包含:骁龙神经处理SDK、AndroidNN和HexagonNN。利用这种硬件软件,像视频系统那样的算法研发方,就无法迅速接入高通AI引擎,充分探索AI算法的性能边界。
事实上,快手和高通早在骁龙765移动系统启用时就展开了合作。针对App在移动系统的性能、功耗、扩展性和兼容性等方面的需求,高通神经处理SDK能够以工具的方法提供支持,并传递CPU工作负载,通过Hexagon处理器来推动AI加速。并且,双方还在模型量化压缩方面加强了合作,在提高模型性能和能耗的同时,确保AI处理的准确度。
由此带来的效果可以直接用一组数据表现:手绘滤镜帧率(FPS)提高56%,功耗下降32%。
而在去年,随着新一代骁龙778G移动系统的打造,双方的合作还在进一步增进。核心围绕的,就是第6代高通AI引擎。
骁龙778G支持的第6代高通AI引擎包括高通Hexagon770处理器,算力可达12TOPS,性能较前代系统推动翻番。为方便大家参照:苹果A14为11TOPS。
另外,骁龙778G采用的全新QualcommSpectraISP,支持每秒处理20亿像素,能够为骁龙AI引擎运行特效算法提供额外加持。
快手Y-techAI工程组负责人边红昌针对这项合作,还表示:
与高通技术公司的出众合作帮助快手突破了AI算法的性能边界。我们很高兴就能与高通继续协作,充分发挥骁龙高端芯片的强悍异构计算能力。通过提高神经网络性能并改善输出品质,我们将能为客户提供更具吸引力的应用和更高价值。”
“AI大厂”高通?
说起高通,或许你的印象还停留在“一家手机芯片厂”,长于游戏和图形。
但从手绘滤镜这个案例中,就不难看出,其实高通早已是一家AI大厂,还是App开发商们乐意携手合作的那个。
事实上,早在AI方兴未艾之时,高通就早已将AI视为科技发展的重点。
在2007年,高通旗下的QualcommResearch就开启了首个人工智能项目,并于2018年陆续成立QualcommAIResearch。
2015年,搭载第一代高通AI引擎的骁龙820发布,正式采用骁龙Hexagon向量扩展内核,以支持更强悍的AI处理能力。
在历经6年的逐年迭代以后,今年同样采用第6代高通AI引擎的骁龙888Plus手机打开ai的软件,已经实现了高达32TOPS的强悍算力。
以及,高通的AI能力似乎也比你想像的更深入日常生活。
然而不像App里的AI特效算法这样让人认知强烈,但你的手机、手机应用越来越智能背后,或多或少都有高通AI引擎的影子。
最近就有新例子——
采用了骁龙888系列的荣耀Magic3,通过画面元素识别和智能匹配、推荐,实现AI影调推荐功能,让顾客在相机上也能拍出影片大片的质感。
而同样采用了高通888Plus的红米MIX4,惊艳的屏下摄像头落地背后,少不了AI图像增强算法的加持;更有全景AI翻译新玩法,带来同声传译、屏幕翻译、拍照翻译、AI字幕等实用AI功能,让用户能在刷视频、线上会议等各种情景中,都方便体验到AI“翻译大师”的服务……
黑科技有多复杂?那不是大多数用户必须考量的。
但在高通与其合作厂商的碰撞中,更多的黑科技正在变成生活的常态。
拿来就完事了手机打开ai的软件,你说呢(手动狗头)?
—完—
@量子位·追踪AI科技和产品新动态
深有感悟的同学,欢迎赞同、关注、分享三连վ'ᴗ'ի❤
转载原创文章请注明,转载自设计培训_平面设计_品牌设计_美工学习_视觉设计_小白UI设计师,原文地址:https://www.zfbbb.com/?id=6575