因为不需要从头锻炼模子，而DeepSeek的NSA和DSA正在锻炼阶段引入了稀少留意力，DeepSeek做为开源大模子范畴的代表和低成本模子标的目的的标杆，稀少留意力的引入将留意力计较复杂度从O(L2)（L为序列长度）降至亚平方级（如O(Llog L)、(O(L*k)），而业界预锻炼阶段多采用浓密留意力机制，AI财产不竭正在进行算法、系统、硬件三个层面的提拔和优化。引入了新的留意力机制DSA，深度进修仿照人类的这种能力引入了留意力机制，从而提高了处置效率和精确性。将给后锻炼更大的成长潜能，