• <td id="ugcml"><strike id="ugcml"></strike></td>
    <td id="ugcml"><ruby id="ugcml"></ruby></td>
    <acronym id="ugcml"><strong id="ugcml"><noframes id="ugcml">
  • 歡迎光臨 : 北京品立科技有限責任公司服務熱線 :+86-400-127-3302
    語言選擇: 中文版 ∷  英文版

    新聞中心

    如何突破Decoder性能瓶頸?英偉達專家揭秘

    自從 “Attention is All You Need” 在2017年提出以來,Transformer已成為 NLP 領域中非常熱門的深度學習網絡架構。但是在推理部署階段,其計算性能往往難以滿足在線業務對于低延遲和高吞吐的要求。

    在英偉達開源的FasterTransformer 1.0版本中,針對BERT中的 Transformer Encoder進行了優化和加速,經過高度優化之后,降低了用戶使用transformer編碼的時延。

    在解決了Encoder性能問題之后,英偉達將重點放到了同樣重要的Transformer Decoder推理上。

    因此,英偉達推出了FasterTransformer 2.0版本,提供針對解碼器進行高度優化的transformer layer。同時,還提供了優化過后的整個翻譯流程,滿足想要在翻譯場景中大幅降低時延的用戶們。

    99re热久久亚洲综合精品动漫_久久精品亚洲东京热_日韩av无码精品一区二区三区_国产成人久久综合电影