在神经网络中,除了神经元自己的激活与否外,还有神经元之间的交流,可能有多个神经元的输出,加权混合之后,成为其他神经元的输入。由于神经网络中的神经元实在太多了,都用浮点数的话,空间会非常非常大。于是,将其转化为整数,是一个不错的选择,通常而言,会将其转化为 8位的整数或者4位的整数。
为了保证人工智能的效果,也会尽可能的在空间允许范围内,采用尽可能高的量化位数。
大模型参数数量通常使用 B 为单位,表示 个参数。
每个参数根据量化的位数,使用不同大小的内存。如果量化位数为 32 ,那么一个参数将需要 32 位 二进制进行表示,也就是说,需要 4 字节来存储。
如果采用 16 位量化,那么,将只需要 2 字节进行存储。
现在,请你计算,根据计算机的 内存容量、大模型的参数数量,选择尽可能高的量化位数。
可选量化位数:[1,32] 范围内的任意整数。