高通吧 关注:174,142贴子:4,262,999
  • 27回复贴,共1

(求助)天玑9300 8gen3 8sgen3 AI性能换算对比求助

只看楼主收藏回复

看到一些天玑9300和8gen3的测评帖,有提到9300的AI算力是48 TOPS,8gen3是 45 TOPS,有几个问题凭我自己的认知想不明白,来吧里求助大家:
1. 9300和8gen3所谓的48 TOPS,45 TOPS指的是INT4精度下的性能吗?
高通Hexagon NPU和联发科APU 790都标注支持INT4和INT8/INT16混合精度,但没注明45 TOPS是哪个精度
2. 9300和8gen3的45 48TOPS是单指NPU部分的算力,还是把NPU+CPU+GPU加一起的总和AI性能?
有篇文章提到,9300单NPU可提供48 TOPS AI算力,NPU+GPU一起是68 TOPS
高通这边针对 X Elite平台,提到过单NPU 45 TOPS,平台总算力75 TOPS的说法
但没找到8gen3的45 TOPS指的是单Hexagon NPU还是NPU GPU CPU相加的成绩
3. 如果9300和8gen3的算力都指的是INT4,我能不能用联发科和高通给的指标,粗略的认为其已经达到rtx2080ti大约1/10的INT4性能?(rtx2080ti大约有430 TOPS INT4或 215 TOPS INT8性能)
4. 高通X Elite,8gen3,8sgen3的NPU算力是不是一样的?
X Elite单NPU是45 TOPS,8gen3也说是45 TOPS(但没注明是否为单NPU算力)
有张8sgen3和8gen3 PPT有写到两者Hexagon都能运行10B参数大小的模型
可以认为8sgen3和8gen3的NPU是同一代同算力吗
5. 安卓系统 Termux下以Ollama运行LLM的时候,是否能调用天玑和高通的APU NPU,还是说Termux Ollama下跑LLM或者MLCChat下跑LLM,目前调用的还只是纯CPU性能?(B站和吧里一些大佬的测试截图)
下面附上一些我找到的截图和依据,我鉴别不了真实性,麻烦大家,占用吧友时间了,感谢









IP属地:江苏1楼2024-08-05 14:06回复
    顶一下


    IP属地:江苏来自Android客户端2楼2024-08-05 14:11
    收起回复
      ollama用的是llamacpp,只支持gpu/cpu,mlc用的是opencl


      IP属地:江苏来自iPhone客户端3楼2024-08-05 14:12
      回复
        如果你想用高通自己去高通aihub下载模型编译


        IP属地:江苏来自iPhone客户端4楼2024-08-05 14:13
        收起回复
          SOCL说骁龙8+gen1的npu算力是52TOPs,说什么精度的?


          IP属地:山东来自Android客户端5楼2024-08-07 11:03
          收起回复
            高通有单独的npu吗?我记得高通ai没有单独的硬件模块,都是其他什么cpu gpu dsp等模块联合处理ai


            IP属地:江苏来自Android客户端6楼2024-08-07 12:54
            收起回复
              高通算AI算力的时候,各种算法都用过比较鸡贼,
              比如骁龙888的时候,就是CPU+GPU+DSP/NPU一起加起来按26 TOPS算的,高通845的时候大概是3 TOPS吧。X Elite平台标的比较清楚,单NPU就有45 TOPS,天玑9300是单APU 790就有48 TOPS也是标得比较清楚的。
              @甘丝桂子


              IP属地:江苏7楼2024-08-07 13:27
              收起回复
                别算了,p用没有的东西


                IP属地:福建来自Android客户端8楼2024-08-07 20:26
                回复
                  ai有屁用


                  IP属地:河北来自Android客户端9楼2024-08-22 21:20
                  回复