论文复现问题 #7

Activity

1. YChenL commented on Jun 10, 2026

   

   YChenL

   on Jun 10, 2026

   Last edited by YChenL

   Owner

   More actions

   你好，感谢关注。首先需要澄清一下，我们在Figure 7中用shadow band report了eval的error bar，实际上在85左右属于正常范围，更换多个不同的seed run的结果应该会在85.1-90.6之间波动。此外，我认为可能还存在以下几方面原因：
   （1）可能有一些样本因为api没有正确返回意外跳过了，可以尝试增大api返回时间限制；
   （2）可以在三个环境中都pip check一下看看环境是否存在冲突；
   （3）你可以尝试更换一下不同型号的显卡run几次，看看是否准确率会有变化，因为vstar样本比较少，可能不同型号的显卡误差会被放大；
   （4）你可以尝试调整

       if self.category == 'relative_position':
             resized_img, resized_width, resized_height, objects_1 = grounding(self.image, self.row['question'], BLOCK=768)
       else:
             resized_img, resized_width, resized_height, objects_1 = grounding(self.image, self.row['question'], BLOCK=640)
   
   

   这部分的窗口大小，观察一下准确率的变化。不同显卡型号的误差可能会导致最优context window size的变化。

   （5）最后，如果还存在差异，可以换qwen3-vl run一下，看看是会存在普遍性能衰减，还是仅qwen2.5-vl有问题。因为之前兼容qwen3-vl的时候，更新了一下vllm和transformers的版本，有观察到一些掉点的情况。
2. YChenL

   added a sub-issue on Jun 10, 2026

   • Reproduced Results of DeepScan #3
3. YChenL

   closed this as completedon Jun 10, 2026
4. YChenL

   reopened this on Jun 10, 2026
5. laozhao18 commented on Jun 18, 2026

   

   laozhao18

   on Jun 18, 2026

   Author

   More actions

   好的，谢谢