Southblock'Blog

✅结构化Prompt框架在中  ✅如何设计Prompt？，向大家介绍了“结构化提示词”，本章节为大家详细介绍这部分涉及的一些标准通用框架。   与其说是“框架”，其实更准确地说，它们是一些 提示词模板（Prompt Templates）。就是用来规范你向大模型发出的请求，让模型更好理解你的意图、背景、角色、格式要求等。 RTF（Role–Task–Format）RTF 是最基础的提示词模板。它主要强调三个核心要素：角色设定（Role）、任务说明（Task） 与 输出格式（Format）。这种结构简洁高效，适合通用类任务或者简单任务。 结构说明： Role（角色）：定义模型的身份或专业背景 Task（任务）：说明模型要完成的具体目标 Format（格式）：指定输出的格式、风格或语气 12345678# Role你是一名资深市场分析师。 # Task请分析当前中国新能源汽车市场的发展趋势，指出未来三年的主要增长点。 # Format请以 Markdown 表格形式输出，包含“趋势”、“原因”、“预测增长率”三列。 ICIO（Instruction–Context–I ...

✅高阶Prompt优化方法  除了前面介绍的Prompt设计原则与技巧，我们还可以通过一些更高级的策略，引导模型进行更复杂、更可靠的推理，从而提升输出的质量。  思维链 (Chain of Thought, CoT)思维链 (Chain of Thought, CoT) 是一种通过引导模型“一步一步思考”来解决复杂问题的方法。它不是让模型直接给出最终答案，而是要求模型首先输出一个详细的、逻辑连贯的推理过程，然后再基于这个过程得出结论。 这种方式模仿了人类解决复杂问题时的思考模式，将一个大问题分解为一系列更小、更易于管理步骤。对于算术、常识和符号推理等任务，思维链可以显著提升模型的准确性。 最简单直接的实现方式，就是在提示词的末尾加上一句“魔咒”：“请一步一步思考” 或 “you must think step by step”。  比如，你直接问DeepSeek：  一个水果摊有5箱苹果，每箱重15公斤。今天卖掉了35公斤，还剩下多少公斤苹果？  他的回答是这样的，其实他这个过程就是思维链。他会一步一步的计算得到结果。    这是因为我们用的deepseek R ...

✅如何设计Prompt？  提示词设计原则与技巧 明确角色设定为模型指定明确的角色，有助于其理解任务的上下文和预期输出。例如： 12# 角色设定你是一名网络安全专家，请根据以下安全告警日志，并输出专业分析报告 这种方式可以引导模型以特定的语气、风格和专业性进行回应。  清晰具体的任务指令在设计 Prompt 时，要避免模糊、笼统以及繁琐的指令，而是明确告诉模型 需要做什么、如何做以及 期望输出的形式。清晰明了的任务指令可以帮助模型准确理解你的意图，减少生成不相关或错误内容的可能性。 并且，一定要注意不要对大模型太礼貌，可以经常用一些命令的词汇来写提示词，比如“必须”，“肯定”，“绝对”，直截了当的对大模型下达指令。 举个例子： 123456## 模糊指令（效果不佳）：“写一篇文章。”## 清晰具体的指令（效果更好）：“撰写一篇800字左右的文章，主题是人工智能在医疗领域的应用，要求条理必须清晰、语言通俗。用于发表在公众号上” 通过这种方式，模型能明确任务目标、内容范围和输出要求，从而生成更贴合预期的结果。  比如（提示词并不明确的）：    比如（提示词明确的） ...

✅什么是Prompt?在大语言模型（Large Language Model, LLM）的应用中，我们和模型对话的时候，给到模型的内容不叫question，也不叫request，而是叫Prompt。  提示词（Prompt）就是用户输入给大语言模型的一段文本，用于引导模型生成期望的输出。它可以是一个问题、一段指令、一个上下文描述。它是我们与模型对话的“语言”，也是模型理解我们需求的“钥匙”。  你可以把 Prompt 理解为——告诉模型“该做什么、怎么做、做成什么样”的指令。  但与普通指令不同，Prompt 并不是写代码式的命令，而是一种自然语言描述。比如：“你要做什么“，“你以什么角色做”，“你以什么格式输出”等信息。通过这样设计，Prompt 能有效唤起模型的基础能力，如理解复杂文本、总结信息、生成内容、逻辑推理等等。  换句话说，只要 Prompt 设计得合理，大模型就能从上下文中“读懂你的意图”，并输出你想要的内容。 为什么 Prompt 很重要？Prompt 就像是“模型的遥控器”。同一个模型，换一种提问方式，结果可能天差地别。  举个例子： Prompt 1： ...

✅LLM HelloWorld Python环境搭建 UV是一个极速的Python包和项目管理工具，使用Rust编写，速度比pip快10-100倍！它不仅能替代pip，还能替代pip-tools、pipx、poetry、pyenv和virtualenv等多个工具。 极速安装：比pip快10-100倍 统一工具链：一个工具替代pip、pip-tools、pipx、poetry、pyenv、virtualenv等 全面的项目管理：支持依赖管理、环境隔离、锁文件 Python版本管理：安装和管理不同版本的Python 工具运行和安装：可以直接运行和安装Python应用 脚本支持：运行单文件脚本，支持内联依赖元数据 兼容pip：提供pip兼容接口，无需改变现有工作流 跨平台支持：支持macOS、Linux和Windows  安装方式一、独立安装脚本 macOS/Linux： 1curl -LsSf https://astral.sh/uv/install.sh | sh Windows： 1powershell -ExecutionPolicy ByPas ...

✅大模型的局限性以及常见解决方案  时至今日，大模型已经火了2年多了，很多人都用过，相信学习我们的课程的同学，就算没做过大模型相关的开发，也一定使用过，就算ChatGPT没用过，豆包也一定用过的。  那么，对于大模型的一些能力边界相信大家也都知道一些，但是我们还是要讲一下，因为讲问题不是目的，目的是让大家知道问题该怎么解决。 LLM的擅长方向 文本理解：能阅读、总结、分析文章，如 阅读理解、问答系统。 文本生成：能撰写高质量 文章、小说、新闻、代码、法律合同 等。 机器翻译：可以翻译多种语言，质量接近专业翻译水平（如 DeepL、Google Translate）。 信息提取：能从文档中提取关键信息，如 法律、医学、财务报告分析。 代码生成：自动编写 Python、JavaScript、C++ 代码，辅助开发者（如 GitHub Copilot、Cursor、Claude Code、Qoder、TRAE）。 代码调试：帮助找出代码中的 Bug、优化代码性能。 代码解释：能解释复杂代码的逻辑，帮助学习和维护遗留代码。 广泛知识问答：大模型掌握 百科知识、历史、科技、 ...

✅基于Ollama部署本地模型 大模型的使用，一般分为两种，一种是用别人部署好的，比如直接通过api调deepseek，chatgpt等平台的服务。另外一种就是自己部署。  自己部署的话，一般来说是用显卡，比如英伟达的A100，可以提供很好地算力支持。但是搞卡的话成本就太高了，其实对于一些参数量不太大的模型，本地部署，用自己的机器跑一跑也是可以的。  在这种场景下，****Ollama 提供了一种更轻量的选择：它并不强依赖 GPU，而是可以基于 CPU 直接运行经过优化和量化的大模型，让个人开发者在普通硬件条件下，也能较低成本地完成本地推理和使用。  Ollama 是一个轻量级、开源的本地大语言模型（LLM）服务框架，旨在帮助开发者和用户快速部署和运行自己的大语言模型。它支持多种主流模型（如 Llama、Qwen、ChatGLM 等），并提供简单易用的命令行工具和 API 接口，实现模型的快速启动、推理和交互。  安装Ollama方式 1：通过官网直接安装  下载地址： https://ollama.com/download   同时，ollama也是开源的，可以 ...

✅百炼介绍与基本使用 百炼，阿里云推出的大模型服务与应用开发平台。  大模型服务：提供了百余款通义系列大模型和国内优质的开源第三方大模型。 应用开发平台：提供大模型应用构建的全链路工具，没包括MCP、智能体搭建、工作流等。  模型服务百炼上的模型服务中提供了模型的使用和模型的操作。  模型使用这里，分为文本、语音、视觉等入口，分别可以生成文字、音频、图片和视频。都可以在这里面直接体验。每个入口中也内置了一些模型可以直接调用。 下面的工作台中包含了模型的推理、微调、评测等功能。相当于提供了一整套模型相关的操作功能，可以自己训练一个模型、或者微调一个模型，然后针对这个模型做部署以及使用，并且还可以做评测和观测。形成了一个闭环。 接着应用开发部分就是围绕着开发自己的大模型应用的了，这里包含了开发自己的工具、MCP、Agent以及workflow等。  应用可以包括几种，比较常用的就是Agent（智能体应用）和workflow（工作流应用） 什么是agent，什么是workflow，我们后面的课程都会讲的。  百炼上还提供了一个MCP市场，官方会把一些MCP的服务放在 ...

✅大模型应用开发常用的平台   ChatGPT、DeepSeek、通义千问 主流的大模型平台，相信大家都用过，都可以直接到他们的网站上面去使用这些模型。  HuggingFacehttps://huggingface.co/ Hugging Face是一个非常重要的网站，他就像是AI界的GitHub，它是一个开源的社区和平台，集模型库、数据集、协作工具和社区于一体。 里面有很多开源的模型、数据集以及工具等等，都可以快速的获取和使用。  Ollamahttps://ollama.com/ Ollama 是一个轻量级、开源的本地大语言模型（LLM）服务框架，旨在帮助开发者和用户快速部署和运行自己的大语言模型。它支持多种主流模型（如 Llama、Qwen、ChatGLM 等），并提供简单易用的命令行工具和 API 接口，实现模型的快速启动、推理和交互。  它并不强依赖 GPU，而是可以基于 CPU 直接运行经过优化和量化的大模型，让个人开发者在普通硬件条件下，也能较低成本地完成本地推理和使用。  ModelScopehttps://modelscope.cn/ho ...

✅Java 在大模型应用开发中的优势在AI开发的领域，一直都是Python的天下，因为py中有很多算法库，SDK，在模型训练、实验、快速构建 PoC 方面，Python 拥有无可比拟的生态（PyTorch, TensorFlow, Hugging Face Transformers, LangChain, LlamaIndex）。  但是，当需要将 LLM 能力集成到稳定、高性能、可扩展、易维护的企业级生产系统中时，Java 凭借其成熟的企业级生态、卓越的性能、坚如磐石的稳定性和强大的集成能力，也能展现出巨大的优势。  一方面，在国内很多企业做应用开发，还是以Java为主的，很多web应用都是用Java构建起来的，这些企业做大模型的落地，肯定不可能完全重新开发一套，而是要在原来的Java应用的基础上做一些AI的尝试，而这时候，Java就至关重要了。而且Java的体系很庞大， 虽然很多人说他很臃肿，但是也不可否认他在应用层的开发上有着绝对的优势。  另外，Java中也有一些框架可以帮助我们做AI的应用开发，比如Spring AI （Alibaba），Langchain4j等等。  ...