AI/ML 的Sous-Chef：为什么你的第二位职工应该是 DevOps 工程师

以正确的法令雇用正确的专科常识。这便是咱们已毕这篇博客的上一版块的格局 招聘东说念主工智能奏效：为什么你的第一位职工应该是数据工程师，趁机说一句，这是一篇很好的读物，你应该在这篇著作之前先读一读。AI/ML 工程师但愿专注于构建和微调模子，而无需堕入基础设施即代码、监控基础设施或开导环境或任何一般 DevOps 等事情的泥潭。这是特真义真义的，DevOps 是一个世俗但蹙迫的变装，我愿意使用 AI 时代找到调整癌症的方法。然则，在你寻求树立天下的经过中，你需要一个坚实的基础来构建。在你的致力中，你需要一个 “给力助手”，这便是 DevOps 工程师应该是你的第二个雇员。您的 DevOps 工程师的客户应该是您的 AI/ML 工程团队。DevOps 工程师不错缓解基础设施中的摩擦点，以便 AI/ML 东说念主员不错专注于手头的任务。基础设施带来的任何问题皆应该由 DevOps 工程师讲求，以确保基础设施遥远以船舶状貌运行，主动，致使在 AI/ML 团队衔恨基础设施太慢之前。DevOps 工程师应该大要提前几周/几个月斟酌这几周/几个月，以实施顺应的措置决策，以便 AI/ML 团队大要取得阐扬。在这篇著作中，咱们将展示为什么 DevOps 工程师应该在您聘请第一位主工程师后立即成为您的第二位工程师的一些原因。监测当您基于模子运行哄骗步骤和 ETL 管说念时，追踪哄骗步骤的各个方面至关蹙迫。具体说来功课的运行时刻代码总结哄骗步骤日记运职业况做事 Endpoint监控负载以进行膨胀以过头他各式盘算。原因是在部署新做事和功能时，由于各式未知原因，现存代码库可能会总结。恰是出于这个原因，咱们需要确保哄骗步骤的统统方面皆受到监控。市面上有几种器用，但除了哄骗步骤性能监控 （APM） 以外，其中一种基本器用是 CPU、内存和磁盘。这种类型的监控更致密，您不错准确地判断您在代码的哪个部分遭受了问题。膨胀和灾荒收复适用于单个用户的单个节点的功能可能不适用于具罕有千个用户的数千个节点。在遐想哄骗步骤的可膨胀性时，您需要考虑基础设施的一些边界，举例，基础设施需要时刻来膨胀和缩减，它不是即时的，那么若何料理负载呢？如上所述，您需要监控负载，然后在遭受瓶颈之前提前膨胀。频频，通过增强单个实例，哄骗步骤不错很好地进行垂直膨胀。但最终，该单个实例将达到节点资源的边界，您将通过添增加个节点进行水平膨胀。这会改换哄骗步骤的考察格局，举例，会话是若何存储的？AIStor 和数据库等后端呢，咱们是否需要膨胀它们？通过进行监控，咱们不错取得资源使用情况的基线，统统空间是在一周如故几个月内被占用？这种贯穿将匡助咱们构建不错说明需求进行膨胀的基础设施，而不会销耗太多未使用的资源。CI/CD 管说念竖立基础设施后，如若需要更新或革新，则需要先对其进行测试。关于 DevOps 工程师来说，即使是开导基础设施环境也被视为出产环境。这么作念的原因是，如若开导基础设施因任何原因关闭，AI/ML 工程师如若不进行测试和建立信心，就无法参加出产部署阶段。这一切皆是为了通过使用 CI/CD 管说念的一系列法子在开导环境中实施的一系列法子来建立信心。这么，当咱们使用相通的代码库参加出产环境时，咱们果然地知说念它将若何按预期责任。然则，统统管说念不高手动竖立，您需要自动实施测试和法子，以便每次提交新代码库时，皆会使用提供的基础设施测试统统哄骗步骤。咱们还不错对其进行竖立，以便运行 CI/CD 功课的责任线程节点不错说明负载最大的时刻说明需要进行膨胀。如若咱们只运行几个功课或部署，咱们不错简单地在几个静态节点上运行它，然则跟着咱们膨胀 CI/CD 管说念基础设施，一直 24/7 运行节点是没特意旨的，在非岑岭时段，它们不错阻隔/关闭，因此独一运行少数功课所需的基本履行正在运行。开导环境环境需要尽可能地互相师法以取得最好后果。这意味着，在部署到出产环境之前，您需要在开导中测试代码，方法是将代码部署在多个节点上，一次以 Canary 模式部署几个节点，并密切关爱监控系统，以确保部署尽可能奏凯。一朝图表透露相配情况，咱们就会住手、评估，然后回滚到往时的精熟版块。除了这些用于部署出产就绪代码的环境以外，您还需要一些实例，开导东说念主员不错在其中使用占用大皆 CPU 的履行来测试他们的代码。将这些程度与开导代码库统统运行并不睬念念。您将看到与预期不符的后果，因为除了开导代码库以外，测试我方的代码的用户还占用了颠倒的资源。正确的方法是领有具有专用资源的不同环境，开导东说念主员不错使用这些资源来测试我方的代码库，而不会导致任何 “阻难邻居” 类型的问题。这致使不错像在札记本电脑上腹地运行 Vagrant/Virtualbox with MinIO 并从何处膨胀到腹地或 EC2 通常简单。基础设施即代码无论您是否运行了几台做事器，启动基础设施的自动化代码皆应该进行编码和版块戒指。咱们手动竖立的日子照旧触物伤情了，因为这不仅很缺乏，而且不成类似。咱们但愿大要编写和测试基础设施，以建立部署到不同环境的信心。此外，AI/ML 工程师致使团队的新 DevOps 成员皆无法通过检察 UI/CLI 戒指台来了解基础设施的情景。这些模式仅在一定程度上灵验，之后要了解更多疑望信息，咱们必须通过 SSH 筹商到节点以弄领略具体细节。通过对基础设施的统统部分进行编码，咱们不错松弛地让新的团队成员加入，何况跟着时刻的推移，咱们频频会了解对基础设施所作念的革新。从当今启动的 6 个月后，您将不会难忘用于竖立特定基础设施的竖立。正确的专科常识法令毫无疑问，数据工程师应该是您的第一个职工。然则，如若您念念留下数据工程师并专注于模子，那么您的第二个职工应该是 DevOps 工程师，他不错处理运行一流基础设施所带来的一切。因为正如您在上头看到的，在料理、爱戴和膨胀基础设施方面还有很长的路要走。以上仅仅基础设施中您需要处理的好多其他事情的一个示例，举例瓜代日记、更新操作系统版块、确保在更新时代软件包兼容，咱们致使莫得盘问收罗温顺隙，这关于确保数据安全至关蹙迫。