Skip to content

InfiniTensor:人工智能编译器与大模型系统训练营

Github 讨论 | 常见问题

序号 季度 时间 教学网站
1 2024 夏季 2024.07.06 - 2024.09.29 opencamp.cn/InfiniTensor/2024summer
2 2024 冬季 2024.12.14 - 2025.03.22 opencamp.cn/InfiniTensor/2024winter

2024 冬季训练营

课程体系

本次训练营包含系统编程语言基础、人工智能系统专业知识、人工智能系统实践项目 3 组训练项目。系统编程语言基础项目要求学员掌握 C++ 语言或 Rust 语言的基本语法和标准库使用方式,学习方式为视频录播课 + 编程作业 + 微信群讨论答疑结合。

人工智能系统专业知识项目要求学员掌握至少一种人工智能系统必要的体系化知识,学习方式为视频直播课 + 编程作业 + 微信群讨论答疑结合。课程包括 4 类 6 门,每门课 5 课时。4 类课程是 AI 编译器、大模型推理系统、并行编程语言和大模型前沿技术,其中并行编程语言分为 CUDA、OpenCL 和 Triton/九齿 3 个方向;大模型前沿技术为讲座课,不设置作业。

人工智能实践项目要求学员独立或小组完成一个人工智能系统方面实践项目,可以是从零开始实现一个人工智能编译器,或为现有人工智能系统添加功能/优化性能等任务。专业知识课程结束时,除大模型前沿技术外,其他 5 门课将各提供至少一个项目选题供学员完成,学员也可以自行选题并与项目导师交流完成要求和评分标准。

晋级和评分方式

编程语言基础、专业知识两项采用评分系统自动评分,产生通过和不通过 2 个成绩级别;实践项目由项目导师决定评分方式,产生优秀、通过和不通过 3 个成绩级别。

为了降低管理压力,本课程原则上要求学员按阶段学习,即完成编程语言基础后可参加专业知识学习,完成专业知识学习后可参加实践项目。所有课程签到、观看直播课不受约束,可随时参加,但需凭晋级凭证才能加入下一阶段微信群参与讨论。

学员报名后可直接加入微信群,并开始学习编程语言基础课程、完成作业。编程语言基础课程只为保证学员有足够的编程技能以完成专业知识学习,因此允许学员用夏季训练营或其他训练营的作业项目直接提交。鼓励有余力的学员两个作业都做。凭 C++ 或 Rust 作业满分记录,可向助教申请加入专业课群。

晋级专业阶段的学员可自由选课,鼓励同时学习多门课程。专业课程中,并行编程类 CUDA/Triton 方向课程要求学员有受支持的硬件才能完成作业,学员可自行筹措硬件资源,本次训练营也将提供国产硬件算力供学员使用,使用方法和管理章程另行通知。凭至少一门专业课作业满分记录,可向助教申请加入项目群。

加入项目群后可立即进行选题开题并开始完成项目,项目的通过和优秀标准由项目导师决定。项目成绩即训练营最终成绩。

系统编程语言基础 🧑‍💻💯

习题评分方式参见 Exam Grading 自动测试评分系统使用教程

人工智能系统专业知识

国产算力使用指南

深度学习基础知识 📖

支持团队 🤝

InfiniTensor 是基于清华大学高性能所科研团队建立的开源组织,主要研究领域包括人工智能编译器、大模型推理系统和国产硬件的生态建设。团队成员来自清华大学、中科院计算所以及其他科研院所、企事业单位。组织成立以来,发展出下列主要项目:

深度学习编译器 InfiniTensor

InfiniTensor 是开源组织的第一个项目,也是组织名的来源。该项目使用 C++ 开发,接受加载 ONNX 表示的模型实现高效推理,结构简洁、易于学习。另外,InfiniTensor 还支持多种硬件加速。

大模型推理引擎 InfiniLM

相对于复杂多样的小型模型,大语言模型规模庞大、结构单一,需要高度特化的推理引擎才能达到高效推理。InfiniLM 项目是专为大模型推理设计的高性能推理引擎,使用 Rust 语言开发,功能丰富且接口简单有效。拉取项目后,无需任何配置,可以一个命令实现大语言模型的本地部署*,开始对话。

* 仍然需要提前安装 Rust 开发环境、下载模型文件。如果需要 GPU 加速,还需要安装驱动。

Popular repositories Loading

  1. learning-cxx learning-cxx Public

    C++ 23 242

  2. learning-lm-rs learning-lm-rs Public

    Rust 15 56

  3. TinyInfiniTensor TinyInfiniTensor Public

    C++ 4 57

  4. exam-grading exam-grading Public template

    自动测试评分项目

    Rust 2 16

  5. .github .github Public

    1

  6. handout handout Public

    训练营讲义

    1

Repositories

Showing 6 of 6 repositories
  • .github Public
    LearningInfiniTensor/.github’s past year of commit activity
    0 1 0 0 Updated Dec 21, 2024
  • exam-grading Public template

    自动测试评分项目

    LearningInfiniTensor/exam-grading’s past year of commit activity
    Rust 2 MIT 16 0 0 Updated Dec 19, 2024
  • learning-cxx Public
    LearningInfiniTensor/learning-cxx’s past year of commit activity
    C++ 23 MIT 242 2 0 Updated Dec 6, 2024
  • handout Public

    训练营讲义

    LearningInfiniTensor/handout’s past year of commit activity
    0 1 0 0 Updated Dec 4, 2024
  • LearningInfiniTensor/learning-lm-rs’s past year of commit activity
    Rust 15 56 1 2 Updated Nov 21, 2024
  • LearningInfiniTensor/TinyInfiniTensor’s past year of commit activity
    C++ 4 Apache-2.0 57 0 2 Updated Aug 10, 2024

People

This organization has no public members. You must be a member to see who’s a part of this organization.

Top languages

C++ Rust

Most used topics

Loading…