智能手机测试软件的猫腻

现在做一项手机评测，不跑个测试软件总是显得不科学。也有很多爱好者拿测试软件的跑分来作为手机性能的唯一依据。实际上，智能手机测试软件是个出现相当晚的东西，而智能手机测试软件因为各种原因，往往会存在一些问题。测出来的分数和实际的性能体验可能是两码事。

在 PC 跑分最热闹的时代的跑分软件，CPU 跑跑圆周率看单线程性能，内存带宽、硬盘之类的跑跑 SiSoft Sandra，显卡跑跑 3Dmark，在几个能测试帧速的游戏里面输入指令，进行测试。

后来，CPU 多核了，CPU 跑跑国际象棋，跑跑渲染。基本是一项是一项的分数。因为 PC 也好，智能手机也好，不同类的项目是不能加成的，因为不靠谱。CPU 快，GPU 慢的，综合一得分和 CPU 慢 GPU 快的一样，而实用起来，CPU 快的跑日常程序快，GPU 快的跑游戏快。总分一样两个机器，体验天差地别，跑分失去意义。

更成问题是的，测试软件通过变更权重，可以随意跑出不靠谱的分数来误导。譬如这一波产品，A 家的 GPU 强，那么我在综合得分中，调高 GPU 的权重，A 家的产品得分就高了。B 家用内存快，我调高内存得分的权重，B 家产品得分就高了。

具体谁高，看谁给我的赞助多。如果谁干脆把测试软件收购了，那想怎么调就怎么调。在测试得分中的权重变更，可以让低性能的机器得到高分，高性能的机器得到低分。

有人说综合跑分不行，我看里面的单项行不行？很遗憾，这个也有局限。最难做手脚的是处理器得分（或者说做手脚容易被抓住，需要脸皮够厚）。这个是算东西硬算出来的，但是这种得分也有差别。

问题就在你选的项目的上，加减乘除、渲染、人工智能、加密解密。而有些处理器是有硬件加速的。譬如 Intel 的处理器算除法比较快，当年跑圆周率，AMD 跑吐了血也比不上 Intel，但是实际应用则未必。

现在苹果的 A7 处理器，带加密算法的硬件模块，去跑一些包含加密算法的测试软件的时候，成绩就远远超过其他处理器，而真应用则未必。

单项项目，因为硬件的差异和测试项目的选择，也能跑出跑分和实际应用不符的例子。GPU 更是如此，如果 GPU 的渲染能力强，跑像素多的画面分就高，建模能力强，跑结构复杂的 3D 图形分就高。显存带宽大，跑高分辨率得分就高。而测试用 3d 场景、分辨率的选择，可以让 GPU 的跑分天差地别。

靠谱的测试，需要体现用户真正需要的性能。对智能手机来说，系统的用户界面、系统在带的 APP 是否开启快速运行流畅。你的手机跑这几百种 APP 是否流畅？开启是否快速？这些常用常玩的游戏是否流畅，3D 特效是否出色。这才是用户想知道的。其实，在服务器上，很早就这样来跑分了。用服务器常用的一些程序，以某个年代的一台机器为基准。后来的机器跑同样的程序，看看你时间和效率是那台基准机器的多少倍，这就是 SPEC 的测试。

这种测试才是真功夫，智能手机端还缺乏这种测试程序。