FP8 是一种 8 位浮点数表示法，FP8 的详细介绍可以参考链接nv官网介绍

 

 

FP8 采取 E4M3 和 E5M2 两种表示方式，其中 E 代表指数位（Exponent），M 代表尾数位（Mantissa）。在表示范围内，E4M3 更精准，而 E5M2 有更宽的动态范围。与传统的 FP16（16 位浮点数）和 FP32（32 位浮点数）相比，它显著减少了存储，提高了计算吞吐。

 

小数的二进制表示

 

目前C/C++编译器标准都遵照IEEE制定的浮点数表示法来进行float,double运算。这种结构是一种科学计数法，用符号、指数和尾数来表示，底数定为2——即把一个浮点数表示为尾数乘以2的指数次方再添上符号。下面是具体的规格：

             符号位     阶码      尾数     长度

float           1        8        23      32

double          1        11       52      64

对float来说，按IEEE标准 阶码一共8位，可以表示范围是-128 ~ 127。因为指数可以为负，为了便于计算，规定都先加上127(2^7-1)

 

对double来说，按IEEE标准 阶码一共11位，可以表示范围是-1024 ~ 1023。因为指数可以为负，为了便于计算，规定都先加上1023(2^10-1)

 

规格化的二进制浮点数的格式一般为：(-1)^S × M × 2^E。

 

例一：

已知：double类型38414.4。

求：其对应的二进制表示。

分析：double类型共计64位，折合8字节。由最高到最低位分别是第63、62、……、0位：
最高位63位是符号位，1表示该数为负，0表示该数为正；
62-52位，一共11位是指数位；
51-0位，一共52位是尾数位。

步骤：按照IEEE浮点数表示法，下面先把38414.4转换为十六进制数。
把整数部和小数部分开处理:整数部直接化十六进制：960E。小数的处理:
0.4=0.5*0+0.25*1+0.125*1+0.0625*0+……

实际上这永远算不完！这就是著名的浮点数精度问题。所以直到加上前面的整数部分算够53位就行了。隐藏位技术：最高位的1不写入内存（最终保留下来的还是52位）。

如果你够耐心，手工算到53位那么因该是：38414.4(10)=1001011000001110.0110011001100110011001100110011001100(2)

科学记数法为：1.001011000001110 0110011001100110011001100110011001100，右移了15位，所以指数为15。或者可以如下理解：

1.001011000001110 0110011001100110011001100110011001100×2^15

于是来看阶码，按IEEE标准一共11位，可以表示范围是-1024 ~ 1023。因为指数可以为负，为了便于计算，规定都先加上1023(2^10-1)，在这里，阶码：15+1023=1038。1038的二进制表示为：100 00001110；

符号位：因为38414.4为正对应 为0；
合在一起（注：尾数二进制最高位的1不要）：
01000000 11100010 11000001 110 01100  11001100  11001100  11001100  11001100

 

 

例二：

已知：整数3490593(16进制表示为0x354321)。

求：  其对应的浮点数3490593.0的二进制表示。

 

解法如下：

先求出整数3490593的二进制表示：

 Hex:    3     5    4    3    2     1   （十六进制表示）

 Bin:   0011  0101 0100 0011 0010  0001 （二进制表示）

即： 1.101010100001100100001₂×2²¹

可见，从左算起第一个1后有21位，我们将这21为作为浮点数的小数表示，单精度浮点数float由符号位1位，指数域位k=8位，小数域位(尾数)n=23位构成，因此对上面得到的21位小数位我们还需要补上2个0才凑够23，得到浮点数的小数域表示为：

1 0101 0100 0011 0010 0001 00 共23个

 

将148转为二进制表示为10010100，加上符号位0，最后得到二进制浮点数表示01001010010101010000110010000100，其16进制表示为：

 

H:   4      A     5       5      0      C     8      4 

B:  0100   1010   0101    0101   0000   1100  1000   0100

这就是浮点数3490593.0(0x4A550C84)的二进制表示。

 

例三：

0.5的二进制形式是0.1

它用浮点数的最终形式写出来是如下格式

0               01111110                 00000000000000000000000

符号位           阶码                     小数位

正数符号位为0，负数符号位为1。

阶码是以2为底的指数。

小数位表示小数点后面的数字。

下面我们来分析一下0.5最终是如何写成0 01111110 00000000000000000000000

首先0.5是正数所以符号位为0

再来看阶码部分,由于0.5的二进制数是0.1,而0.1是1.0*2^(-1),

注：如果只有小数部分,例如0.1,那么需要右移小数点,所以0.1是1.0*2^(-1). 再比如右移3位才能放到第一个1的后面(0.001是1.0*2^(-3)), 阶码就是127-3=124.

 

要把二进制数变成(1.f)*2^(exponent)的形式,其中exponent是指数;

又由于阶码有正负之分所以, 阶码=127+exponent;即阶码=127+(-1)=126 即 01111110

余下的小数位为二进制小数点后面的数字,即00000000000000000000000

由以上分析得0.5的浮点数存储形式为0 01111110 00000000000000000000000  

 

例四

（20.59375）10 =（10100.10011 ）2

首先分别将整数和分数部分转换成二进制数：

20.59375＝10100.10011

然后 左移移动小数点，使其在第1，2位之间

10100.10011＝1.010010011×2^4   即e＝4

于是得到：

S＝0， E＝4＋127＝131， M＝010010011

最后得到32位浮点数的二进制存储格式为：

0   131           010010011

0   1000 0011     010010011

0100 1001 1010 0100 1100 0000 0000 0000＝(41A4C000)16