华为智慧搜索更好用了！上线智慧搜图，用人话就能找出“我的”图片

　　明敏 萧箫 发自 凹非寺

　　量子位 | 公众号 QbitAI

　　搜索引擎的求变信号，比以往任何时候都要强烈。

　　先是谷歌推出AI snapshot，让搜索结果不再只是“10条蓝色链接”，还加上了AI智能总结；很快百度也把“AI伙伴”嵌入搜索引擎，通过对话就能得到问题解答。

　　不过，这些都还只是针对外部搜索。

　　对于移动端来说，“内部搜索”需要也正在同步发生改变。

　　内部搜索，相比于搜索外部世界知识，是把用户个人信息当成一个巨大知识库的搜索技术。

　　不同于谷歌和百度，这种搜索引擎更像是用户的“第二大脑”，能从拍摄过的照片、下载过的文件中精准找出所需的个人资料。

　　但无论哪种搜索，对于智能化要求都很高，甚至需要借助千亿参数级别的大模型实现。

　　以从手机中找一张照片为例。以前我们的操作习惯可能是翻个10分钟相册，从几百张表情包或是几千张照片中找到想要的那张（甚至找不到）。

　　但在搭载HarmonyOS 3.1的华为P60系列和Mate X3手机上，现在只需用自然语言描述想找的照片特征，系统就能高效识别、并给出相关图像。

　　不仅能理解整体语义，如在图库输入“山顶看日出”——

　　就连更精细的时间、地点描述也能快速get到，如语音唤起小艺搜索“去年在长白山滑雪的照片”：

　　最关键的是，这种堪比大模型语义理解的搜索方式，直接在端侧就能实现，无需将数据上传到云端处理。

　　换而言之，即使手机开飞行模式，这种内部搜索也照样能进行。

　　所以，这个新出的图片搜索功能究竟有啥特点，率先把它部署到端侧的华为又做了什么？

　　华为智慧搜图长啥样？

　　此前，在手机上搜索图片主要有两种方式。

　　一种相当于“换皮”的文件搜索，用户不仅得准确回忆起具体时间、拍摄地址等信息，甚至得精确到文件名：

　　另一种则是依靠分类AI做的图像识别功能，但这种搜图也只能通过某些场景关键词描述缩小搜索范围，例如风景、美食、人像等。

　　显然，这两种方法都还停留在“信息匹配”阶段，支持的标签数量也有限，一旦搜不出来，最终还是得回到手动翻照片流程上。

　　这是因为，我们不仅习惯用自然语言描述图片内容，而且描述的内容不限定某个名词，还可能是动词、场景、代词等。

　　要想做到搜索“记忆中”的个人图片，AI模型不仅得听得懂人话，还要能提取人话中的细粒度标签，并将之对应到图片上。

　　现在，华为最新的智慧搜图，就很好地实现了这两大功能。

　　除了可以直接搜名词找图片，还可以用任何短描述词来形容图像，如桌面下拉在智慧搜索中输入“奔跑的”，系统就能自动搜出相册中奔跑的各种人像，快速给出推荐：

　　如果感觉搜出来的范围还是太大了，还能随时增加信息标签，如“奔跑的”变成“奔跑的小狗”，立刻就能找到想要的图像：

　　当然，不止能添加一两个标签。如果你想，还可以灵活地细化描述，如加上时间、地点、人物、语义等各种复合标签，像“前年冬天和女朋友去内蒙古拍的各种好吃的”等。

　　体验过华为智慧搜图后，最直观的感受应该就是“AI理解力”和“响应速度”了。

　　相比传统的文件搜索、或是AI图像识别方法，华为智慧搜图主要实现了图片搜索功能的两大“跃迁”：

　　其一，“人话”解读能力。传统图像AI往往按“时间”、“地点”等概括词分类，而智慧搜图不仅能单独搜词分类，甚至还能放一起搜，如“去年在动物园拍的老虎”等。

　　其二，高效搜索速度。相比动辄翻上十几分钟半个小时的相册，现在无论从桌面下拉智慧搜索、打开图库、或是用小艺语音，都只需要一句话就能搜到想要的图片，系统级地提升了找信息的效率。

　　虽然听起来只是手机等移动端搜索功能上的一个小突破，然而在华为之前，端侧却没有一个厂商能够解决这个难题。

　　究竟是什么技术这么难实现？

　　技术上突破了什么难点？

　　事实上，无论是大模型的语义理解能力，还是搜索引擎的响应速度，都并非计算资源极其有限的端侧所能承受。

　　因此，之前大部分搜索引擎和大模型相关APP解决“上线到移动端”的唯一办法，是将模型计算量分配到云端，解决资源不够的问题。

　　但这势必意味着，数据处理要在云端进行。

　　具体到技术细节来看，又有三大难点：

　　其一，压缩多模态大模型并确保精度。这并非简单用剪枝或量化等方法，直接压缩几倍模型大小就能搞定。毕竟对于端侧而言，算力有限的情况下，能部署的模型大小是往往只能达到大模型的几十分之一。

　　其二，搜索所需功耗随着数据增加逐渐增大。对于端侧搜索引擎而言，面对不断更新的照片、文件等数据，只能将索引重新写一遍，这势必导致大量新的计算开支。

　　其三，模型更新等面临的云端协同问题。虽然AI模型最终部署在端侧，但无论是模型效果迭代、更新，训练还是得在云端进行，最终再下发到端侧，这势必要求厂商同时具备云端两方面的技术。

　　因此，对于数据隐私极为敏感的内部搜索而言，这两类技术想要布局到端侧上非常难。此前的“折中”方法，最多也就是将图像分类AI这种“小模型”布局到端侧，实现简单的智能搜图。

　　所以，华为究竟是如何解决这些难点，同时又最大程度上保留大模型“理解人话”效果和搜索响应速度的？

　　简单来说，华为在AI模型和搜索引擎两方面，都自研了对应的技术。

　　一方面，华为专门为端侧自研了轻量级的多模态语义理解模型，能够在不损失精度的情况下，将大模型缩小几十倍。

　　首先，用多模态语义表征模型将不同模态输入转变为语义向量，结合多模态语义对齐算法模型对齐文本和图片的语义信息，结合华为内部的海量高质量数据，提升召回率。

　　然后，依靠轻量化部署技术，在端侧实现高精度检索，同时确保数据留在本地，提高隐私安全保护。

　　另一方面，华为又使用索引分段、定期压缩合并等方式，成功将检索引擎“塞”进了移动端中。

　　检索引擎部署到端侧的核心难点，是云侧离线构建索引的方式在端侧无法实现。

　　为了解决这一问题，华为先通过采用索引分段，减少单次落盘时间，并通过定期压缩合并的方式，释放已删除数据占用的内存/磁盘资源，以降低所需的存储空间；

　　随后，又通过定义索引的格式，将地点、时间等信息作为索引的一部分，快速实现检索条件过滤，并返回和查询语句最相关的结果，相比数据库检索能提升十几倍效率。

△几乎不需要计算时间

　　不过，耗费这么大的技术资源，去实现移动端一个看似很小的“搜图”功能，华为这样做的目的究竟是什么？

　　为什么要做智慧搜图？

　　直接原因当然是手机用户——也就是你我，真的很需要这个功能。

　　试问谁没有经历过，因为找一张图片而需要化身福尔摩斯展开缜密分析的场景：

　　“我上一次看到这张图是什么时候”、“它是什么时候存的”、“那天我还拍什么了”……

　　但即便根据这些问题思索完，最终也不一定真能找到那张图。

　　尤其随着大家在手机内存的照片越来越多、种类越来越复杂——不光是记录生活的照片，还有上课拍下的PPT、网上保存的旅行图文攻略等堆在相册里，手动查找的难度也越来越高。

　　手机系统厂商们早就注意到这个事了。

　　如自动分类相册、根据标签检索、OCR检索照片文字等功能，都陆续出现在大家的手机里。

　　但是这些能力相对而言，灵活性不高、实际效果有限，很多时候也是躺在手机里“吃灰”。

　　所以，让搜图功能更智能化是目前用户侧真实存在的需求，也直接驱动了华为上线智慧搜图功能。

　　而深层原因上，还有内外两方面因素驱动。

　　外因来自于行业方面：搜索功能更拥抱AI是大势所趋。

　　通过行业各种数据的初步验证，让搜索更加智能、高效符合用户当下的需求，能推动行业向前发展。

　　不过目前覆盖的范围是互联网上的内容搜索，而日常生活中还有另一大搜索场景——端侧搜索，也需要智能化升级。

　　尤其随着用户在手机/电脑本地及个人账户中存储的文件、图片、音频等越来越多，涉及到对个人信息的搜索操作增加，这种升级也变得更加迫切起来。

　　比如微软在变革必应的同时，也推出了Windows Copilot，一举替代原本的“小娜”。它们的定位虽是AI助手，但也同样覆盖了端侧搜索的应用场景，二者最大的差距便是Windows Copilot引入更强的AI能力、更加智能化。

　　总之，无论对内对外，搜索接入更加强大的AI、向着更智能高效便捷的方向发展，已经是行业的共识。

　　深层内因：则来自于华为自身。

　　智慧搜图其实是作为华为智慧搜索战略与蓝图的一部分推出。

　　所谓智慧搜索，具体来看就是一个一站式聚合入口，实现了手机桌面下拉一下，就能以最快捷的方式，一步直达各类本机应用及信息内容，同时支持全场景跨终端搜索。

　　它的定位是进行“我的”搜索。

　　搜索范围是用户在手机端上的各类信息和功能，比如图片文件APP等；搜索的目标是智能识别用户的需求，让用户在“我的”领域内，实现更加快速便捷的操作。

　　智慧搜索的战略是要实现“本机搜索+生态搜索+全场景搜索”。

　　这三者联通，便能覆盖所有“我的”搜索。

　　其一，本机搜索是指本机应用搜索、图片搜索、文件搜索（含云端文件）、搜设置项、搜备忘录等。

　　比如最新升级版本中，智慧搜索下拉即搜华为云空间的云盘文件，只需输入文件名称关键词就能开始搜索，范围包括自己存入云盘的本地文件、微信/QQ保存的文件等。

　　前文提到的智慧搜图，也在这一范畴内。

　　此外还能智慧搜索备忘录，如采购清单、密码账单、朋友生日等等零碎信息，如果在记录时没有对内容进行分类的话，想要再查看之前记录的文稿十分费事。现在智慧搜索能帮人省去这一步了。

　　其二生态内容搜索，包括搜服务及网页内容、旅游出行、本地生活、音乐视频、购物等。

　　尤其是购物方面，能聚合全网精品商品，提供与“我”相关的购物服务。

　　其三则是全场景搜索，即跨设备搜索。

　　HarmonyOS将手机、电脑、平板等设备之间壁垒打通，形成了一个“超级终端”。

　　在登录同一帐号情况下，用户在PC端点击华为电脑桌面任务栏控制中心内搜索图标，或使用快捷键Ctrl+Alt+Q，可快速检索手机、平板内的文件。包括文档、应用、图片、视频等，并支持选择不同类型文件进行快捷预览。

　　通过整合“软硬芯云一体化”技术，端侧预置AI模型的加持，保障跨端搜索也不会有延迟感。

　　总之，无论是从最基本的用户层面，还是行业层面、华为自身，都在推动操作系统将端侧搜索体验进一步升级。

　　由此也就不难理解华为为什么要上线智慧搜图功能。

　　尤其是当下，手机操作系统经过十余年发展，在功能、内容、生态上的搭建都已经相对完善，接下来的升级和迭代一定是朝着更加细微处发展。

　　这些细小的升级和改变，更加润物细无声，往往让人在使用了很久后不得不感慨一句：真香。

　　如果从更加宏观的角度来看，这些细微功能的升级和改变，还能把人机交互体验“卷”向一个新的水平和高度。

　　从华为的动作里可以看到，它们选择了端侧搜索作为切入口之一，由点及面带来改变。

　　智慧搜图的出现，更像是一个“序章”，后面隐藏着华为对智慧搜索、手机系统、乃至人机交互的无限想象。

　　AI升级端侧，从搜索看起

　　不仅仅是华为。

　　一方面，从AI技术落地场景来看，本机搜索、甚至是“搜图”这个特定功能，或许是AI技术应用到移动端最容易忽略、又最为重要的方式之一。

　　当前这波最新的AI浪潮，正在飞速改变搜索引擎的交互方式。

　　正如开头所言，无论谷歌还是百度，都已经投身这场搜索引擎革新，在云侧改变搜索的方式，核心就是让搜索引擎具备自然语言理解能力，更好地认知并理解用户的意图。

　　但这并不意味着只有云端的搜索引擎会被迭代。

　　在端侧用自然语言搜“内部数据”，与在云端用自然语言提问一样，是长期以来用户隐秘的刚需之一。随着计算硬件的迭代和算法的优化，AI用于移动端改善用户体验，也必然成为一种全新的趋势。

　　另一方面，从人机交互角度来看，这种对内的搜索，不会局限于单一设备，必然是多端互通，形成核心以“人”为单位，最终完成全局智能化检索的生态。

　　如今人类对移动计算平台的畅想，已经从PC、手机逐渐延伸到VR、AR、智能汽车等新型终端上。

　　而在这些新型移动计算平台上，交互的形式开始不再局限于一块屏幕，转而变成更加自然的语言、手势交互。

　　最终在“万物互联”的前提下，实现多端信息的互通。

　　总之，无论从AI落地应用、还是人机交互趋势而言，搜索都是移动端必不可少的体验改善功能之一。

　　无论技术趋势如何，华为已经都从移动端侧做好了提升用户体验的准备。