Aquacolor

Aquacolor



store
主页
book
分类
keyboard_arrow_down
未分类
365
└数据结构
7
实践操作
7
└安全
0
└语言
4
└AI_prompt
5
理论学习
3
└数学
1
└算法
6
生活
30
cs149parallel computing
1
inbox
文章归档

小函数-position

zcxsb · 2026-06-21 · 88浏览 · 未分类

color_lens
切换字体 · A- 18 A+

image.png

tokens形状(batch_size, sequence_length)，里面存的是每个batch重复的向量，每个batch都是一个token-index向量

现在要计算的是这些tokens在context中的位置，那么自然就是先生成range然后加上之前已有的context作为偏移，然后用expand_tile扩展一个维度到

(batch_size, sequence_length)

就获得了positions_for_ctx！



©

最后更新时间：2026年06月20日
遵循 CC BY-NC-SA 协议

comment 评论区

取消回复

添加新评论

face表情



    • ©2026 bilibili.com

textsms
内容不能为空
昵称不能为空
email
邮件地址格式错误
web
beach_access
验证码不能为空
keyboard发表评论

已有 1 条评论

  1. zcxsb 作者     

    26-06-23 09:06 · 回复

    aaa




©2026 Aquacolor

鄂ICP备2024059763号-1
公安备案图标鄂公网安备42011102005556号


Theme Romanticism2.2 by Akashi
Powered by Typecho