Dec202018
AI工程化落地：大语言模型(LLM)微调与部署最佳实践，从Hugging Face到生产环境
AI工程化落地：大语言模型(LLM)微调与部署最佳实践，从Hugging Face到生产环境
引言：AI工程化的时代背景
随着大语言模型（Large Language Models, LLMs）在自然语言理解、生成、摘要、对话等任务中展现出卓越性能，企业对LLM的应用需求急剧增长。然而，从“模型可用”到“模型可落地”，中间横亘着复杂的工程挑战：如何高效微调模型？如何优化推理延迟与资源消耗？如何将模型安全、稳定地部...阅读全文
作者：绝缘体.. | 分类：docker, git, kubernetes, python, rust, 云计算, 开发工具, 编程语言 | 阅读： | 标签：docker, git, kubernetes, python, rust
抢沙发
Dec172018
程序开发中的运维自动化和自动化测试
在软件开发中，运维自动化和自动化测试是两个非常重要的概念。它们的目标都是提高生产效率、降低出错概率，但在具体的领域和实践中略有差异。本文将详细讨论运维自动化，并探讨其在程序开发中的价值。
运维自动化的概念
运维自动化是指利用自动化工具和技术，提高系统运维效率和可靠性的过程。在程序开发中，它主要用于自动化部署、监控和故障排除。通过将繁琐的、重复的手工操作自动化，...阅读全文
Nov252018
大数据技术开发中的数据流水线与任务调度
在现代大数据技术开发中，一个关键的挑战是如何处理大规模的数据并实现高效的数据流水线和任务调度。数据流水线是指将数据从一个阶段传递到下一个阶段，例如数据采集、清洗、转换、计算、存储等。任务调度是指按照一定的规则和优先级安排任务的执行顺序和时间。本文将讨论大数据技术开发中的数据流水线与任务调度的重要性以及常用的技术和工具。
数据流水线
数据流水线是一种常见的数据处...阅读全文
Nov112018
K8S集群中Pod资源调度失败的故障排查思路
1. 引言
Kubernetes（简称K8S）是一个开源的容器编排平台，用于管理和运行容器化应用。在K8S集群中，Pod资源调度是非常重要的一项功能，它决定了每个Pod将在哪个节点上运行。然而，有时候Pod的资源调度可能会失败，导致Pod无法正常运行。本文将介绍在K8S集群中排查Pod资源调度失败的故障的一些思路和方法。
2. 故障排查思路
排查Pod资源调度失败的故障通常可以从以下几个方面入手：
2.1 ...阅读全文
Oct262018
云原生数据库CockroachDB架构设计解析：分布式SQL如何实现强一致性与高可用
云原生数据库CockroachDB架构设计解析：分布式SQL如何实现强一致性与高可用
引言：为什么需要云原生分布式数据库？
随着企业应用规模的不断增长，传统单机数据库（如MySQL、PostgreSQL）在面对海量数据、高并发访问以及跨地域部署需求时逐渐显现出瓶颈。这些瓶颈包括：
扩展性受限：垂直扩展（Scale-up）成本高昂且存在物理极限；
可用性挑战：单点故障风险高，灾备恢复复杂；
一致性难...阅读全文
作者：绝缘体.. | 分类：git, go, kubernetes, oracle, prometheus, 云计算, 开发工具, 数据库, 编程语言 | 阅读： | 标签：git, go, kubernetes, oracle, prometheus
Oct192018
K8S中的资源配额与限制设置技巧分享
在使用Kubernetes（K8S）进行容器编排和管理时，为了更好地管理资源和控制容器的使用，可以使用资源配额和限制设置。资源配额可以用来限制命名空间中应用程序的资源使用量，而限制设置可以用来限制单个容器的资源消耗。本文将分享一些在K8S中设置资源配额和限制的技巧。
资源配额
资源配额可以让您限制命名空间中的使用量。由于不同的应用程序可能对资源有不同的需求，因此可以根据应用程...阅读全文
Oct182018
K8S中的容器网络选择与优化
Kubernetes（简称K8S）作为一个容器编排系统，能够有效地管理和调度容器应用。在K8S中，一个容器的网络设置对于应用的性能和可靠性起着至关重要的作用。本文将介绍K8S中容器网络的选择和优化，以及一些常用的网络优化策略。
容器网络选择
K8S提供了多种网络插件和解决方案来实现容器的网络连接。在选择容器网络时，我们可以根据实际需求和网络拓扑来选择合适的网络模型。
1. 桥接网络模型...阅读全文
Oct152018
K8S中的Pod优化与最佳实践
在Kubernetes（简称K8S）中，Pod是最小的计算单元，它包含一个或多个容器，共享一些资源。Pod的创建和管理对于K8S集群的性能和稳定性至关重要。本文将介绍一些K8S中的Pod优化和最佳实践，以帮助您更好地使用和管理Pod。
合理配置Pod的资源
为Pod分配适当的资源非常重要，这可以确保Pod的性能，并防止过度分配或资源不足的情况。
CPU资源
CPU是Pod中最常用的资源，可以通过以下方式将其优...阅读全文
Sep242018
ASP.NET Core 借助 Helm 部署应用至 K8S
ASP.NET Core 是一个开源的跨平台框架，用于构建现代化的 Web 应用程序。而 Kubernetes（简称 K8S）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。在本博客中，我将介绍如何使用 Helm 工具将 ASP.NET Core 应用部署至 Kubernetes 集群中。
准备工作
在开始之前，您需要准备以下环境：
一个运行着 Kubernetes 的集群。你可以使用工具如 Minikube、Docker Desktop 或任何云...阅读全文
Sep102018
K8S中的Volume备份与恢复技巧分享
在Kubernetes（简称K8S）中，Volume是用来持久化存储数据的一种机制。但是，由于各种原因，我们可能需要对Volume中的数据进行备份和恢复操作。本文将分享一些Kubernetes中Volume备份与恢复的技巧。
1. 使用PersistentVolumeClaim
在Kubernetes中，使用PersistentVolumeClaim（PVC）来管理Volume是一种常见的做法。PVC将抽象出对底层存储资源的访问方式，使得应用程序与底层存储资源的耦...阅读全文