├── .github └── workflows │ └── auto_add_to_project.yml ├── .gitignore ├── CODE_OF_CONDUCT.md ├── Images └── banner.jpg ├── LICENSE ├── README.md ├── SECURITY.md ├── lab ├── Skillable Workshop Instructions │ ├── 00_Introduction.md │ ├── 01_Set_up.md │ ├── 02_Text_Generation.md │ ├── 03_Image_Generation.md │ ├── 04_Multimodal_Interfaces.md │ ├── 05_AI_Agents.md │ ├── 07_Summary.md │ ├── Images │ │ ├── A delicious pepperoni pizza with extra cheese, served on a rustic wooden table..png │ │ ├── DALL·E 2024-11-14 09.27.57 - A watercolor painting of the Chicago skyline, showcasing iconic skyscrapers such as the Willis Tower and John Hancock Center. The city is bathed in so.webp │ │ ├── Generate a logo combining a tent silhouette and stars, with a rustic feel for an adventure brand. (1).png │ │ ├── Generate a logo for an adventure brand.png │ │ ├── _Create a 3D animation of a modern office space design featuring ergonomic furniture, collaborative workspaces, and greenery elements. The office should have large windows for natural light, meeting pods, an.png │ │ ├── agents-actions.jpeg │ │ ├── agents-aoai-select.jpeg │ │ ├── agents-playground-pt1.jpeg │ │ ├── agents-playground-pt2.jpeg │ │ ├── agents-playground-update-details.jpeg │ │ ├── agents-select-code-interpreter.jpeg │ │ ├── agents-try-in-playground.jpeg │ │ ├── ai-foundry-clear-instructios.png │ │ ├── ai-foundry-copy-response.png │ │ ├── ai-foundry-create-image.jpg │ │ ├── ai-foundry-homepage.png │ │ ├── aifoundry-assistant-plaground.jpeg │ │ ├── aifoundry-assistant-update-details.jpeg │ │ ├── aifoundry-chat-basicprompting.jpeg │ │ ├── aifoundry-chat-instructions.jpeg │ │ ├── aifoundry-chat-parameters.jpeg │ │ ├── aifoundry-chat-playground.jpeg │ │ ├── aifoundry-codeinterpreter-upload-file.jpeg │ │ ├── aifoundry-create-new-assistant.jpeg │ │ ├── aifoundry-enable-audio.jpeg │ │ ├── aifoundry-homepage.jpeg │ │ ├── aifoundry-hub-navigation.jpeg │ │ ├── aifoundry-image-generation.jpeg │ │ ├── aifoundry-image-playground.jpeg │ │ ├── aifoundry-playgrounds.jpeg │ │ ├── aifoundry-project-navigation.jpeg │ │ ├── aifoundry-project-overview.jpeg │ │ ├── aifoundry-real-time-audio.jpeg │ │ ├── aifoundry-tools-codeinterpreter.jpeg │ │ ├── context-001.png │ │ ├── context-002.png │ │ ├── context-003.png │ │ ├── elephant-on-skateboard-picasso.png │ │ ├── house-multimodal │ │ │ ├── 01.jpeg │ │ │ ├── 02.jpeg │ │ │ ├── 03.jpeg │ │ │ └── 04.jpeg │ │ ├── image.png │ │ ├── logo-with-stars.png │ │ ├── robot-mascot-friendly.png │ │ ├── text-generation-clearchat.jpg │ │ ├── tpm-1.jpg │ │ ├── tpm-2.jpg │ │ ├── tpm-3.jpg │ │ └── upload_image_icon.png │ └── assets │ │ └── Contoso_Sales_Revenue.csv └── Workshop Instructions │ ├── 00_Introduction.md │ ├── 01_Set_up.md │ ├── 02_Text_Generation.md │ ├── 03_Image_Generation.md │ ├── 04_Multimodal_Interfaces.md │ ├── 05_AI_Agents.md │ ├── 07_Summary.md │ ├── Images │ ├── A compact hiking backpack in vibrant red color.png │ ├── A corgi practicing karate.png │ ├── A delicious pepperoni pizza with extra cheese, served on a rustic wooden table..png │ ├── A down-filled, insulated winter jacket in deep blue.png │ ├── A large, 70-liter backpacking pack fully loaded with camping gear.png │ ├── A pair of rugged, cargo hiking pants in olive green.png │ ├── A purple elephant on a skateboard performing an olley, in the style of of Picasso.png │ ├── A robust, 8-person tent set up in the middle of an autumn forest.png │ ├── A simple brown tent made out of polyester.png │ ├── A small tent in the middle of a storm.png │ ├── A small, realistic lightweight daypack.png │ ├── A waterproof, breathable rain jacket in bright yellow.png │ ├── An elephant on a skateboard.png │ ├── DALL·E 2024-11-14 09.27.57 - A watercolor painting of the Chicago skyline, showcasing iconic skyscrapers such as the Willis Tower and John Hancock Center. The city is bathed in so.webp │ ├── Generate a logo combining a tent silhouette and stars, with a rustic feel for an adventure brand. (1).png │ ├── Generate a logo for an adventure brand.png │ ├── _Create a 3D animation of a modern office space design featuring ergonomic furniture, collaborative workspaces, and greenery elements. The office should have large windows for natural light, meeting pods, an.png │ ├── agents-actions.jpeg │ ├── agents-aoai-select.jpeg │ ├── agents-playground-pt1.jpeg │ ├── agents-playground-pt2.jpeg │ ├── agents-playground-update-details.jpeg │ ├── agents-select-code-interpreter.jpeg │ ├── agents-try-in-playground.jpeg │ ├── ai-foundry-clear-instructios.png │ ├── ai-foundry-copy-response.png │ ├── ai-foundry-create-image.jpg │ ├── ai-foundry-homepage.png │ ├── ai-studio-assistants-functions-playground.jpg │ ├── ai-studio-assistants-functions-playground.png │ ├── ai-studio-assistants-playground.jpg │ ├── ai-studio-assistants-playground.png │ ├── ai-studio-basic-prompting-v2.jpg │ ├── ai-studio-buildpage.png │ ├── ai-studio-chat-playground.png │ ├── ai-studio-clear-instructios.png │ ├── ai-studio-click-project.png │ ├── ai-studio-copy-response.png │ ├── ai-studio-create-image.jpg │ ├── ai-studio-createproj.png │ ├── ai-studio-dalle.PNG │ ├── ai-studio-deployment.PNG │ ├── ai-studio-function-calling-chat.jpg │ ├── ai-studio-gpt4o-deploy.PNG │ ├── ai-studio-gpt4o-model.PNG │ ├── ai-studio-homepage.png │ ├── ai-studio-hub-homepage.jpg │ ├── ai-studio-hubmanagement-hub.jpg │ ├── ai-studio-hubmanagement.jpg │ ├── ai-studio-hubmanagement.png │ ├── ai-studio-image-playground.jpg │ ├── ai-studio-image-playground.png │ ├── ai-studio-login-homepage.png │ ├── ai-studio-new-hub.PNG │ ├── ai-studio-new-project.PNG │ ├── ai-studio-new-resource-group.PNG │ ├── ai-studio-parameters.jpg │ ├── ai-studio-playground.jpg │ ├── ai-studio-playground.png │ ├── ai-studio-project-name.PNG │ ├── ai-studio-project.PNG │ ├── ai-studio-remove-csv-file.png │ ├── ai-studio-system-message.jpg │ ├── aifoundry-assistant-plaground.jpeg │ ├── aifoundry-assistant-update-details.jpeg │ ├── aifoundry-chat-basicprompting.jpeg │ ├── aifoundry-chat-instructions.jpeg │ ├── aifoundry-chat-parameters.jpeg │ ├── aifoundry-chat-playground.jpeg │ ├── aifoundry-codeinterpreter-upload-file.jpeg │ ├── aifoundry-create-new-assistant.jpeg │ ├── aifoundry-enable-audio.jpeg │ ├── aifoundry-homepage.jpeg │ ├── aifoundry-hub-navigation.jpeg │ ├── aifoundry-image-generation.jpeg │ ├── aifoundry-image-playground.jpeg │ ├── aifoundry-playgrounds.jpeg │ ├── aifoundry-project-navigation.jpeg │ ├── aifoundry-project-overview.jpeg │ ├── aifoundry-real-time-audio.jpeg │ ├── aifoundry-tools-codeinterpreter.jpeg │ ├── assistants-playground-code-interpreter-tool.png │ ├── assistants_playground_attach_new_file.png │ ├── assistants_playground_with_name_and_prompt.png │ ├── azure-portal-resource-group.PNG │ ├── context-001.png │ ├── context-002.png │ ├── context-003.png │ ├── contoso_outdoor_ecommerce_sketch_notes.jpg │ ├── delete-resource-group-name.PNG │ ├── delete-resource-group-navigation.PNG │ ├── delete-resource-group-notification-popup.PNG │ ├── elephant-on-skateboard-picasso copy.png │ ├── elephant-on-skateboard-picasso.png │ ├── image copy.png │ ├── image.png │ ├── logo-with-stars.png │ ├── robot-mascot-friendly.png │ ├── text-generation-clearchat.jpg │ ├── tpm-1.jpg │ ├── tpm-2.jpg │ ├── tpm-3.jpg │ ├── upload_image_icon copy 2.png │ ├── upload_image_icon copy.png │ ├── upload_image_icon.png │ ├── vs-code-view-html copy.png │ └── vs-code-view-html.png │ └── assets │ ├── AITour24_WKR540_Template.json │ └── Contoso_Sales_Revenue.csv ├── session-delivery-resources └── README.md └── translations ├── ja ├── CODE_OF_CONDUCT.md ├── README.md ├── SECURITY.md ├── lab │ ├── Skillable Workshop Instructions │ │ ├── 00_Introduction.md │ │ ├── 01_Set_up.md │ │ ├── 02_Text_Generation.md │ │ ├── 03_Image_Generation.md │ │ ├── 04_Multimodal_Interfaces.md │ │ ├── 05_AI_Agents.md │ │ └── 07_Summary.md │ └── Workshop Instructions │ │ ├── 00_Introduction.md │ │ ├── 01_Set_up.md │ │ ├── 02_Text_Generation.md │ │ ├── 03_Image_Generation.md │ │ ├── 04_Multimodal_Interfaces.md │ │ ├── 05_AI_Agents.md │ │ └── 07_Summary.md └── session-delivery-resources │ └── README.md ├── ko ├── CODE_OF_CONDUCT.md ├── README.md ├── SECURITY.md ├── lab │ ├── Skillable Workshop Instructions │ │ ├── 00_Introduction.md │ │ ├── 01_Set_up.md │ │ ├── 02_Text_Generation.md │ │ ├── 03_Image_Generation.md │ │ ├── 04_Multimodal_Interfaces.md │ │ ├── 05_AI_Agents.md │ │ └── 07_Summary.md │ └── Workshop Instructions │ │ ├── 00_Introduction.md │ │ ├── 01_Set_up.md │ │ ├── 02_Text_Generation.md │ │ ├── 03_Image_Generation.md │ │ ├── 04_Multimodal_Interfaces.md │ │ ├── 05_AI_Agents.md │ │ └── 07_Summary.md └── session-delivery-resources │ └── README.md ├── tw ├── CODE_OF_CONDUCT.md ├── README.md ├── SECURITY.md ├── lab │ ├── Skillable Workshop Instructions │ │ ├── 00_Introduction.md │ │ ├── 01_Set_up.md │ │ ├── 02_Text_Generation.md │ │ ├── 03_Image_Generation.md │ │ ├── 04_Multimodal_Interfaces.md │ │ ├── 05_AI_Agents.md │ │ └── 07_Summary.md │ └── Workshop Instructions │ │ ├── 00_Introduction.md │ │ ├── 01_Set_up.md │ │ ├── 02_Text_Generation.md │ │ ├── 03_Image_Generation.md │ │ ├── 04_Multimodal_Interfaces.md │ │ ├── 05_AI_Agents.md │ │ └── 07_Summary.md └── session-delivery-resources │ └── README.md └── zh ├── CODE_OF_CONDUCT.md ├── README.md ├── SECURITY.md ├── lab ├── Skillable Workshop Instructions │ ├── 00_Introduction.md │ ├── 01_Set_up.md │ ├── 02_Text_Generation.md │ ├── 03_Image_Generation.md │ ├── 04_Multimodal_Interfaces.md │ ├── 05_AI_Agents.md │ └── 07_Summary.md └── Workshop Instructions │ ├── 00_Introduction.md │ ├── 01_Set_up.md │ ├── 02_Text_Generation.md │ ├── 03_Image_Generation.md │ ├── 04_Multimodal_Interfaces.md │ ├── 05_AI_Agents.md │ └── 07_Summary.md └── session-delivery-resources └── README.md /.github/workflows/auto_add_to_project.yml: -------------------------------------------------------------------------------- 1 | name: Add new issues to AI Tour GH Project 2 | 3 | on: 4 | issues: 5 | types: 6 | - opened 7 | 8 | jobs: 9 | add-to-project: 10 | name: Add issue to project 11 | runs-on: ubuntu-latest 12 | steps: 13 | - uses: actions/add-to-project@v1.0.2 14 | with: 15 | project-url: ${{ secrets.GH_PROJECT_URL }} 16 | github-token: ${{ secrets.ADD_TO_PROJECT }} 17 | label_issues: 18 | runs-on: ubuntu-latest 19 | permissions: 20 | issues: write 21 | steps: 22 | - run: gh issue edit "$NUMBER" --add-label "$LABELS" 23 | env: 24 | GH_TOKEN: ${{ secrets.ADD_TO_PROJECT }} 25 | GH_REPO: ${{ github.repository }} 26 | NUMBER: ${{ github.event.issue.number }} 27 | LABELS: AI Intro 28 | -------------------------------------------------------------------------------- /CODE_OF_CONDUCT.md: -------------------------------------------------------------------------------- 1 | # Microsoft Open Source Code of Conduct 2 | 3 | This project has adopted the [Microsoft Open Source Code of Conduct](https://opensource.microsoft.com/codeofconduct/). 4 | 5 | Resources: 6 | 7 | - [Microsoft Open Source Code of Conduct](https://opensource.microsoft.com/codeofconduct/) 8 | - [Microsoft Code of Conduct FAQ](https://opensource.microsoft.com/codeofconduct/faq/) 9 | - Contact [opencode@microsoft.com](mailto:opencode@microsoft.com) with questions or concerns 10 | -------------------------------------------------------------------------------- /Images/banner.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/Images/banner.jpg -------------------------------------------------------------------------------- /LICENSE: -------------------------------------------------------------------------------- 1 | MIT License 2 | 3 | Copyright (c) Microsoft Corporation. 4 | 5 | Permission is hereby granted, free of charge, to any person obtaining a copy 6 | of this software and associated documentation files (the "Software"), to deal 7 | in the Software without restriction, including without limitation the rights 8 | to use, copy, modify, merge, publish, distribute, sublicense, and/or sell 9 | copies of the Software, and to permit persons to whom the Software is 10 | furnished to do so, subject to the following conditions: 11 | 12 | The above copyright notice and this permission notice shall be included in all 13 | copies or substantial portions of the Software. 14 | 15 | THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR 16 | IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, 17 | FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE 18 | AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER 19 | LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 20 | OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE 21 | SOFTWARE 22 | -------------------------------------------------------------------------------- /SECURITY.md: -------------------------------------------------------------------------------- 1 | 2 | 3 | ## Security 4 | 5 | Microsoft takes the security of our software products and services seriously, which includes all source code repositories managed through our GitHub organizations, which include [Microsoft](https://github.com/Microsoft), [Azure](https://github.com/Azure), [DotNet](https://github.com/dotnet), [AspNet](https://github.com/aspnet) and [Xamarin](https://github.com/xamarin). 6 | 7 | If you believe you have found a security vulnerability in any Microsoft-owned repository that meets [Microsoft's definition of a security vulnerability](https://aka.ms/security.md/definition), please report it to us as described below. 8 | 9 | ## Reporting Security Issues 10 | 11 | **Please do not report security vulnerabilities through public GitHub issues.** 12 | 13 | Instead, please report them to the Microsoft Security Response Center (MSRC) at [https://msrc.microsoft.com/create-report](https://aka.ms/security.md/msrc/create-report). 14 | 15 | If you prefer to submit without logging in, send email to [secure@microsoft.com](mailto:secure@microsoft.com). If possible, encrypt your message with our PGP key; please download it from the [Microsoft Security Response Center PGP Key page](https://aka.ms/security.md/msrc/pgp). 16 | 17 | You should receive a response within 24 hours. If for some reason you do not, please follow up via email to ensure we received your original message. Additional information can be found at [microsoft.com/msrc](https://www.microsoft.com/msrc). 18 | 19 | Please include the requested information listed below (as much as you can provide) to help us better understand the nature and scope of the possible issue: 20 | 21 | * Type of issue (e.g. buffer overflow, SQL injection, cross-site scripting, etc.) 22 | * Full paths of source file(s) related to the manifestation of the issue 23 | * The location of the affected source code (tag/branch/commit or direct URL) 24 | * Any special configuration required to reproduce the issue 25 | * Step-by-step instructions to reproduce the issue 26 | * Proof-of-concept or exploit code (if possible) 27 | * Impact of the issue, including how an attacker might exploit the issue 28 | 29 | This information will help us triage your report more quickly. 30 | 31 | If you are reporting for a bug bounty, more complete reports can contribute to a higher bounty award. Please visit our [Microsoft Bug Bounty Program](https://aka.ms/security.md/msrc/bounty) page for more details about our active programs. 32 | 33 | ## Preferred Languages 34 | 35 | We prefer all communications to be in English. 36 | 37 | ## Policy 38 | 39 | Microsoft follows the principle of [Coordinated Vulnerability Disclosure](https://aka.ms/security.md/cvd). 40 | 41 | 42 | -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # Introduction 2 | 3 | > [!NOTE] 4 | >This is a **75-minute** workshop that will give you a hands-on introduction to the core concepts and best practices for interacting with OpenAI models. 5 | 6 | ## Learning Objectives 7 | 8 | By the end of this workshop, you should be able to: 9 | 10 | - Describe OpenAI model capabilities and implementation in the fields of text generation, image generation, multimodal conversation, and Azure AI Agents. 11 | - Understand prompt engineering concepts and best practices. 12 | - Leverage generative AI capabilities and apply prompt engineering techniques to your own solutions. 13 | 14 | ## Resources 15 | 16 | > [!TIP] 17 | > You can find login and subscription information over on the Resources tab. 18 | 19 | All additional information on the lab can be found on GitHub: 20 | 21 | - [Skillable Workshop Instructions](https://github.com/microsoft/aitour-interact-with-llms/tree/microsoft-ignite-update/lab/Skillable%20Workshop%20Instructions) 22 | 23 | 24 | ## Lab Outline 25 | 26 | The lab is organized into 4 sections, taking you through generating text content, image assets, and code snippets through a multimodal conversational interface on Azure with OpenAI models. In addition, we will cover AI Assistants. The goal of the lab is to leverage generative AI capabilities over a wide range of scenarios. 27 | 28 | 1. **Part 1 - Text Generation** Generate text content and descriptions with GPT4o 29 | 2. **Part 2 - Image Generation** Generate image assets with DALLE-3 30 | 3. **Part 3 - Multimodality** Leverage multimodal capabilities of GPT-4o to interact with images and text. 31 | 4. **Part 4 - Azure AI Agents** Use code interpreter to understand your data. 32 | 33 | Click **Next** to set up your Workshop environment and get started. -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # Summary 2 | 3 | Well done! You made it to the end of the workshop successfully, generating text copy, images, and exploring multi-modal capabilities leveraging the power of generative AI. 4 | 5 | ## Some key points to remember 6 | - Generative AI models can generate human-like text, images, and code 7 | - Generative AI models are stateless: they do not learn, and are constrained by their training data which is frozen at a fixed point in time 8 | - Azure OpenAI Service is a managed service that provides access to state-of-the-art natural language generative AI models, including GPT-4, GPT-4 turbo and GPT-4o from OpenAI with the security and enterprise promise of Azure. 9 | - Azure AI Foundry is Azure's unified AI platform representing the Azure AI portal and unified SDK experiences in addition to pre-built app templates and access to 3P ISV tools and services. 10 | - Prompt engineering is a technique for "grounding" generative AI models, and can be used to influence the style of a model's output, provide factual information, and constrain unintended behavior. 11 | - Azure AI Agents are a new feature that makes it easier for developers to create applications with sophisticated copilot-like experiences that can sift through data, suggest solutions, and automate tasks by integrating tools. 12 | 13 | ## Additional Resources 14 | Here are a few resources to help you take that next step in learning more about Azure OpenAI Service and Azure AI Foundry: 15 | 16 | - Microsoft Learn module: [Intro to Azure OpenAI Service](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 17 | - [Azure OpenAI Service documentation](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 18 | - [Azure OpenAI Service pricing](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 19 | - The [Transparency Note for Azure OpenAI Service](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) provides details on the capabilities, use cases and limitations of Azure OpenAI models. 20 | - [Getting started with Azure AI Foundry and implementing the RAG pattern](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 21 | - [Getting Started with Azure AI Agents](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 22 | -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/A delicious pepperoni pizza with extra cheese, served on a rustic wooden table..png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/A delicious pepperoni pizza with extra cheese, served on a rustic wooden table..png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/DALL·E 2024-11-14 09.27.57 - A watercolor painting of the Chicago skyline, showcasing iconic skyscrapers such as the Willis Tower and John Hancock Center. The city is bathed in so.webp: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/DALL·E 2024-11-14 09.27.57 - A watercolor painting of the Chicago skyline, showcasing iconic skyscrapers such as the Willis Tower and John Hancock Center. The city is bathed in so.webp -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/Generate a logo combining a tent silhouette and stars, with a rustic feel for an adventure brand. (1).png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/Generate a logo combining a tent silhouette and stars, with a rustic feel for an adventure brand. (1).png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/Generate a logo for an adventure brand.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/Generate a logo for an adventure brand.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/_Create a 3D animation of a modern office space design featuring ergonomic furniture, collaborative workspaces, and greenery elements. The office should have large windows for natural light, meeting pods, an.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/_Create a 3D animation of a modern office space design featuring ergonomic furniture, collaborative workspaces, and greenery elements. The office should have large windows for natural light, meeting pods, an.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-actions.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-actions.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-aoai-select.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-aoai-select.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-playground-pt1.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-playground-pt1.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-playground-pt2.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-playground-pt2.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-playground-update-details.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-playground-update-details.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-select-code-interpreter.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-select-code-interpreter.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/agents-try-in-playground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/agents-try-in-playground.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/ai-foundry-clear-instructios.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/ai-foundry-clear-instructios.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/ai-foundry-copy-response.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/ai-foundry-copy-response.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/ai-foundry-create-image.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/ai-foundry-create-image.jpg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/ai-foundry-homepage.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/ai-foundry-homepage.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-assistant-plaground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-assistant-plaground.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-assistant-update-details.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-assistant-update-details.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-chat-basicprompting.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-chat-basicprompting.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-chat-instructions.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-chat-instructions.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-chat-parameters.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-chat-parameters.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-chat-playground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-chat-playground.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-create-new-assistant.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-create-new-assistant.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-enable-audio.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-enable-audio.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-homepage.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-homepage.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-hub-navigation.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-hub-navigation.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-image-generation.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-image-generation.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-image-playground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-image-playground.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-playgrounds.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-playgrounds.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-project-navigation.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-project-navigation.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-project-overview.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-project-overview.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-real-time-audio.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-real-time-audio.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/aifoundry-tools-codeinterpreter.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/aifoundry-tools-codeinterpreter.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/context-001.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/context-001.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/context-002.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/context-002.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/context-003.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/context-003.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/elephant-on-skateboard-picasso.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/elephant-on-skateboard-picasso.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/house-multimodal/01.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/house-multimodal/01.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/house-multimodal/02.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/house-multimodal/02.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/house-multimodal/03.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/house-multimodal/03.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/house-multimodal/04.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/house-multimodal/04.jpeg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/image.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/image.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/logo-with-stars.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/logo-with-stars.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/robot-mascot-friendly.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/robot-mascot-friendly.png -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/text-generation-clearchat.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/text-generation-clearchat.jpg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/tpm-1.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/tpm-1.jpg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/tpm-2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/tpm-2.jpg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/tpm-3.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/tpm-3.jpg -------------------------------------------------------------------------------- /lab/Skillable Workshop Instructions/Images/upload_image_icon.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Skillable Workshop Instructions/Images/upload_image_icon.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # Introduction 2 | 3 | > [!NOTE] 4 | >This is a **75-minute** workshop that will give you a hands-on introduction to the core concepts and best practices for interacting with OpenAI models. 5 | 6 | ## Learning Objectives 7 | 8 | By the end of this workshop, you should be able to: 9 | 10 | - Describe OpenAI model capabilities and implementation in the fields of text generation, image generation, multimodal conversation, and Azure AI Agents. 11 | - Understand prompt engineering concepts and best practices. 12 | - Leverage generative AI capabilities and apply prompt engineering techniques to your own solutions. 13 | 14 | ## Lab Outline 15 | 16 | The lab is organized into 4 sections, taking you through generating text content, image assets, and code snippets through a multimodal conversational interface on Azure with OpenAI models. In addition, we will cover AI Assistants. The goal of the lab is to leverage generative AI capabilities over a wide range of scenarios. 17 | 18 | 1. **Part 1 - Text Generation** Generate text content and descriptions with GPT4o 19 | 2. **Part 2 - Image Generation** Generate image assets with DALLE-3 20 | 3. **Part 3 - Multimodality** Leverage multimodal capabilities of GPT-4o to interact with images and text. 21 | 4. **Part 4 - Azure AI Agents** Use code interpreter to understand your data. 22 | -------------------------------------------------------------------------------- /lab/Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # Summary 2 | Well done! You made it to the end of the workshop and successfully built an e-commerce website design for Contoso Outdoor Company, leveraging the power of generative AI. 3 | 4 | ## Clean up Resources 5 | 6 | Once you're finished with the tutorial, you might want to delete all resources you created. You can delete the resource individually, or you can delete the entire resource Group. 7 | 8 | 1. Browse to the [Azure Portal](https://portal.azure.com). 9 | 2. From the homepage, navigate to **Resource groups** and select the resource group we create: **interact-with-llms**. 10 | 11 | ![](./Images/azure-portal-resource-group.PNG) 12 | 13 | 3. At the resource group top navigation panel, select **Delete resource group** 14 | 15 | ![](./Images/delete-resource-group-navigation.PNG) 16 | 17 | 4. You will be prompted to enter the resource group name to confirm its deletion. Add the name **interact-with-llms** the click **Delete** to delete your resource group. 18 | 19 | ![Deleting resource Group](./Images/delete-resource-group-name.PNG) 20 | 21 | 5. You will get a notification on your resource group being deleted. 22 | 23 | ![](./Images/delete-resource-group-notification-popup.PNG) 24 | 25 | ## Some key points to remember 26 | - Generative AI models can generate human-like text, images, and code 27 | - Generative AI models are stateless: they do not learn, and are constrained by their training data which is frozen at a fixed point in time 28 | - Azure OpenAI Service is a managed service that provides access to state-of-the-art natural language generative AI models, including GPT-4, GPT-4 turbo and GPT-4o from OpenAI with the security and enterprise promise of Azure. 29 | - Azure AI Foundry is Azure's unified AI platform representing the Azure AI portal and unified SDK experiences in addition to pre-built app templates and access to 3P ISV tools and services. 30 | - Prompt engineering is a technique for "grounding" generative AI models, and can be used to influence the style of a model's output, provide factual information, and constrain unintended behavior. 31 | - Azure AI Agents are a new feature that makes it easier for developers to create applications with sophisticated copilot-like experiences that can sift through data, suggest solutions, and automate tasks by integrating tools. 32 | 33 | ## Additional Resources 34 | Here are a few resources to help you take that next step in learning more about Azure OpenAI Service and Azure AI Foundry: 35 | 36 | - Microsoft Learn module: [Intro to Azure OpenAI Service](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 37 | - [Azure OpenAI Service documentation](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 38 | - [Azure OpenAI Service pricing](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 39 | - The [Transparency Note for Azure OpenAI Service](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) provides details on the capabilities, use cases and limitations of Azure OpenAI models. 40 | - [Getting started with Azure AI Foundry and implementing the RAG pattern](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 41 | - [Getting Started with Azure AI Agents](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 42 | -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A compact hiking backpack in vibrant red color.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A compact hiking backpack in vibrant red color.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A corgi practicing karate.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A corgi practicing karate.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A delicious pepperoni pizza with extra cheese, served on a rustic wooden table..png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A delicious pepperoni pizza with extra cheese, served on a rustic wooden table..png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A down-filled, insulated winter jacket in deep blue.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A down-filled, insulated winter jacket in deep blue.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A large, 70-liter backpacking pack fully loaded with camping gear.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A large, 70-liter backpacking pack fully loaded with camping gear.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A pair of rugged, cargo hiking pants in olive green.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A pair of rugged, cargo hiking pants in olive green.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A purple elephant on a skateboard performing an olley, in the style of of Picasso.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A purple elephant on a skateboard performing an olley, in the style of of Picasso.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A robust, 8-person tent set up in the middle of an autumn forest.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A robust, 8-person tent set up in the middle of an autumn forest.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A simple brown tent made out of polyester.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A simple brown tent made out of polyester.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A small tent in the middle of a storm.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A small tent in the middle of a storm.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A small, realistic lightweight daypack.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A small, realistic lightweight daypack.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/A waterproof, breathable rain jacket in bright yellow.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/A waterproof, breathable rain jacket in bright yellow.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/An elephant on a skateboard.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/An elephant on a skateboard.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/DALL·E 2024-11-14 09.27.57 - A watercolor painting of the Chicago skyline, showcasing iconic skyscrapers such as the Willis Tower and John Hancock Center. The city is bathed in so.webp: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/DALL·E 2024-11-14 09.27.57 - A watercolor painting of the Chicago skyline, showcasing iconic skyscrapers such as the Willis Tower and John Hancock Center. The city is bathed in so.webp -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/Generate a logo combining a tent silhouette and stars, with a rustic feel for an adventure brand. (1).png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/Generate a logo combining a tent silhouette and stars, with a rustic feel for an adventure brand. (1).png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/Generate a logo for an adventure brand.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/Generate a logo for an adventure brand.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/_Create a 3D animation of a modern office space design featuring ergonomic furniture, collaborative workspaces, and greenery elements. The office should have large windows for natural light, meeting pods, an.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/_Create a 3D animation of a modern office space design featuring ergonomic furniture, collaborative workspaces, and greenery elements. The office should have large windows for natural light, meeting pods, an.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-actions.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-actions.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-aoai-select.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-aoai-select.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-playground-pt1.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-playground-pt1.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-playground-pt2.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-playground-pt2.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-playground-update-details.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-playground-update-details.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-select-code-interpreter.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-select-code-interpreter.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/agents-try-in-playground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/agents-try-in-playground.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-foundry-clear-instructios.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-foundry-clear-instructios.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-foundry-copy-response.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-foundry-copy-response.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-foundry-create-image.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-foundry-create-image.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-foundry-homepage.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-foundry-homepage.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-assistants-functions-playground.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-assistants-functions-playground.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-assistants-functions-playground.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-assistants-functions-playground.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-assistants-playground.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-assistants-playground.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-assistants-playground.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-assistants-playground.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-basic-prompting-v2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-basic-prompting-v2.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-buildpage.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-buildpage.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-chat-playground.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-chat-playground.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-clear-instructios.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-clear-instructios.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-click-project.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-click-project.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-copy-response.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-copy-response.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-create-image.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-create-image.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-createproj.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-createproj.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-dalle.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-dalle.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-deployment.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-deployment.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-function-calling-chat.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-function-calling-chat.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-gpt4o-deploy.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-gpt4o-deploy.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-gpt4o-model.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-gpt4o-model.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-homepage.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-homepage.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-hub-homepage.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-hub-homepage.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-hubmanagement-hub.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-hubmanagement-hub.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-hubmanagement.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-hubmanagement.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-hubmanagement.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-hubmanagement.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-image-playground.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-image-playground.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-image-playground.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-image-playground.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-login-homepage.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-login-homepage.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-new-hub.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-new-hub.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-new-project.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-new-project.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-new-resource-group.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-new-resource-group.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-parameters.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-parameters.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-playground.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-playground.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-playground.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-playground.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-project-name.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-project-name.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-project.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-project.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-remove-csv-file.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-remove-csv-file.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/ai-studio-system-message.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/ai-studio-system-message.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-assistant-plaground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-assistant-plaground.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-assistant-update-details.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-assistant-update-details.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-chat-basicprompting.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-chat-basicprompting.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-chat-instructions.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-chat-instructions.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-chat-parameters.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-chat-parameters.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-chat-playground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-chat-playground.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-create-new-assistant.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-create-new-assistant.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-enable-audio.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-enable-audio.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-homepage.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-homepage.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-hub-navigation.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-hub-navigation.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-image-generation.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-image-generation.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-image-playground.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-image-playground.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-playgrounds.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-playgrounds.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-project-navigation.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-project-navigation.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-project-overview.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-project-overview.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-real-time-audio.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-real-time-audio.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/aifoundry-tools-codeinterpreter.jpeg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/aifoundry-tools-codeinterpreter.jpeg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/assistants-playground-code-interpreter-tool.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/assistants-playground-code-interpreter-tool.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/assistants_playground_attach_new_file.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/assistants_playground_attach_new_file.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/assistants_playground_with_name_and_prompt.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/assistants_playground_with_name_and_prompt.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/azure-portal-resource-group.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/azure-portal-resource-group.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/context-001.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/context-001.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/context-002.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/context-002.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/context-003.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/context-003.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/contoso_outdoor_ecommerce_sketch_notes.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/contoso_outdoor_ecommerce_sketch_notes.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/delete-resource-group-name.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/delete-resource-group-name.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/delete-resource-group-navigation.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/delete-resource-group-navigation.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/delete-resource-group-notification-popup.PNG: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/delete-resource-group-notification-popup.PNG -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/elephant-on-skateboard-picasso copy.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/elephant-on-skateboard-picasso copy.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/elephant-on-skateboard-picasso.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/elephant-on-skateboard-picasso.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/image copy.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/image copy.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/image.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/image.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/logo-with-stars.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/logo-with-stars.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/robot-mascot-friendly.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/robot-mascot-friendly.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/text-generation-clearchat.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/text-generation-clearchat.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/tpm-1.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/tpm-1.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/tpm-2.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/tpm-2.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/tpm-3.jpg: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/tpm-3.jpg -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/upload_image_icon copy 2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/upload_image_icon copy 2.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/upload_image_icon copy.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/upload_image_icon copy.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/upload_image_icon.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/upload_image_icon.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/vs-code-view-html copy.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/vs-code-view-html copy.png -------------------------------------------------------------------------------- /lab/Workshop Instructions/Images/vs-code-view-html.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/microsoft/aitour-interact-with-llms/30d34f0a6950f23e8f861aea6b1339906e6f408d/lab/Workshop Instructions/Images/vs-code-view-html.png -------------------------------------------------------------------------------- /session-delivery-resources/README.md: -------------------------------------------------------------------------------- 1 | ## How To Use 2 | 3 | Welcome, 4 | 5 | > The following resources are intended for a presenter to learn and deliver the session. 6 | 7 | We're glad you are here and look forward to your delivery of this amazing content. As an experienced presenter, we know you know HOW to present so this guide will focus on WHAT you need to present. It will provide you a full run-through of the presentation created by the presentation design team. 8 | 9 | Along with the video of the presentation, this document will link to all the assets you need to successfully present including PowerPoint slides and demo instructions & 10 | code. 11 | 12 | 1. Read document in its entirety. 13 | 14 | 1. Ask questions of the Lead Presenter 15 | 16 | ## File Summary 17 | 18 | | Resources | Links | Description | 19 | |-------------------|----------------------------------|-------------------| 20 | | PowerPoint | [Presentation](https://aka.ms/AAryqzi) | Slides | 21 | | Session Delivery Resources PPT Recording | [Video](https://aka.ms/AAs7etz) | Recorded delivery of the Session Delivery Resources PowerPoint slides | 22 | | Session Delivery Resources PowerPoint | [Deck](https://aka.ms/AAs7mfu) | The Session Delivery Resources slides for this workshop | 23 | | Workshop Instructions | [Video](/lab/Workshop%20Instructions/00_Introduction.md) | Step by step instructions to interact with LLMs | 24 | | Skillable Workshop Instructions | [Video](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | Skillable lab instructions | 25 | 26 | 27 | ## Get Started 28 | 29 | This repository is divided in to the following sections: 30 | 31 | | [Slides](https://aka.ms/AAryqzi) | [Skillable Workshop Instructions](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | [Non-Skillable Workshop Instructions](/lab/Workshop%20Instructions/00_Introduction.md) | 32 | |-------------------|---------------------------|-------------------------------------- 33 | | 35 slides | 4 parts - 15 minutes | [Running the workshop outside Skillable](/lab/Workshop%20Instructions/00_Introduction.md) | 34 | 35 | ## Slides 36 | 37 | The [slides](https://aka.ms/AAryqzi) have presenter notes in each part of the session 38 | 39 | ### Timing 40 | 41 | > [NOTE!] 42 | > For workshops, Q&A usually happens as the workshop is running. Might scrape these 5 minutes in favor of more hands-on time.​ 43 | 44 | | Time | Description 45 | --------------|------------- 46 | 0:00 - 3:00 | Introduction to the session 47 | 3:00 - 15:00 | How do Large Language Models Work? 48 | 15:00 - 30:00 | Text Generation 49 | 30:00 - 45:00 | Image Generation and Multimodality 50 | 45:00 - 65:00 | Azure AI Assistants 51 | 70:00 - 75:00 | Key event takeaways 52 | 53 | ### Workshop delivery format 54 | 55 | - For this workshop, dedicate the first 15 minutes to going through the slides explaining how LLMs work. 56 | - For the remindinder of the time, have the attendees work on the workshop individually and offer help when needed. 57 | - At the end, share the final slides and conclude the session. 58 | 59 | ## Workshop Instructions on Skillable 60 | 61 | [You can get a high level overview of the tools and how we will be using them here](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md). 62 | 63 | | Section | Minutes | 64 | -------------------------------------------------------------------------------------------------------|---------| 65 | | [1 - Introducing Azure AI Foundry](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md) | 10 | 66 | | [2 - Text Generation](/lab/Skillable%20Workshop%20Instructions/02_Text_Generation.md) | 15 | 67 | | [3 - Image Generation](/lab/Skillable%20Workshop%20Instructions/03_Image_Generation.md) | 10 | [Link]() | 15 | 68 | | [4 - Multimodality](/lab/Skillable%20Workshop%20Instructions/04_Multimodal_Interfaces.md) | 10 | 69 | | [5 - AI Assistants](/lab/Skillable%20Workshop%20Instructions/05_AI_Assistants.md) | 15 | [Link]() | 70 | 71 | ## Running the Workshops Outside Skillable 72 | 73 | To deliver this session with no Skillable access, please make sure to that the audience has the following requirements adhered to when completing the lab: 74 | 75 | - An Azure subscription - [Create one for free.](https://azure.microsoft.com/free/cognitive-services?WT.mc_id=aiml-132569-bethanycheum) 76 | - An Azure OpenAI resource with [GPT-4o and DALL.E 3 model supported in a supported region.](https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#assistants-preview?WT.mc_id=aiml-132569-bethanycheum) Regions recommended are **Sweden Central.** 77 | 78 | To deploy the resources to Azure, you can simply click the **Deploy to Azure** button. 79 | 80 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 81 | 82 | All the workshop instructions can be found [here](/lab/Workshop%20Instructions/00_Introduction.md) 83 | 84 | 85 | -------------------------------------------------------------------------------- /translations/ja/CODE_OF_CONDUCT.md: -------------------------------------------------------------------------------- 1 | # マイクロソフト オープンソース行動規範 2 | 3 | このプロジェクトは、[マイクロソフト オープンソース行動規範](https://opensource.microsoft.com/codeofconduct/)を採用しています。 4 | 5 | リソース: 6 | 7 | - [マイクロソフト オープンソース行動規範](https://opensource.microsoft.com/codeofconduct/) 8 | - [マイクロソフト行動規範 FAQ](https://opensource.microsoft.com/codeofconduct/faq/) 9 | - 質問や懸念がある場合は [opencode@microsoft.com](mailto:opencode@microsoft.com) にお問い合わせください 10 | 11 | **免責事項**: 12 | 本書類は、機械翻訳AIサービスを使用して翻訳されています。正確性を追求しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。原文（元の言語で書かれた文書）が正式な情報源として優先されるべきです。重要な情報については、専門の人間による翻訳をお勧めします。本翻訳の使用に起因する誤解や誤訳について、当方は一切の責任を負いかねます。 -------------------------------------------------------------------------------- /translations/ja/SECURITY.md: -------------------------------------------------------------------------------- 1 | ## セキュリティ 2 | 3 | Microsoft は、ソフトウェア製品やサービスのセキュリティを非常に重要視しています。これには、[Microsoft](https://github.com/Microsoft)、[Azure](https://github.com/Azure)、[DotNet](https://github.com/dotnet)、[AspNet](https://github.com/aspnet)、[Xamarin](https://github.com/xamarin) を含む GitHub の組織で管理されているすべてのソースコードリポジトリが含まれます。 4 | 5 | もし、[Microsoft のセキュリティ脆弱性の定義](https://aka.ms/security.md/definition)に該当するセキュリティ脆弱性を Microsoft 所有のリポジトリで発見した場合は、以下の手順に従ってご報告ください。 6 | 7 | ## セキュリティ問題の報告 8 | 9 | **セキュリティ脆弱性を公開 GitHub Issues で報告しないでください。** 10 | 11 | 代わりに、Microsoft Security Response Center (MSRC) に [https://msrc.microsoft.com/create-report](https://aka.ms/security.md/msrc/create-report) から報告してください。 12 | 13 | ログインせずに送信したい場合は、[secure@microsoft.com](mailto:secure@microsoft.com) にメールを送信してください。可能であれば、メッセージを当社の PGP キーで暗号化してください。PGP キーは [Microsoft Security Response Center PGP Key ページ](https://aka.ms/security.md/msrc/pgp) からダウンロードできます。 14 | 15 | 通常、24 時間以内に返信を受け取ることができます。もし返信がない場合は、元のメッセージが届いているか確認するためにメールでフォローアップしてください。追加情報は [microsoft.com/msrc](https://www.microsoft.com/msrc) にてご確認いただけます。 16 | 17 | 以下に記載する情報を可能な限り提供していただけると、問題の性質や範囲をよりよく理解するのに役立ちます： 18 | 19 | * 問題の種類（例: バッファオーバーフロー、SQLインジェクション、クロスサイトスクリプティングなど） 20 | * 問題が発生しているソースファイルの完全なパス 21 | * 問題のあるソースコードの場所（タグ/ブランチ/コミットまたは直接の URL） 22 | * 問題を再現するために必要な特別な設定 23 | * 再現手順の詳細な説明 24 | * 実証コードまたはエクスプロイトコード（可能であれば） 25 | * 問題の影響、特に攻撃者がどのように問題を悪用する可能性があるか 26 | 27 | これらの情報は、報告内容の優先順位付けを迅速に行うために役立ちます。 28 | 29 | バグバウンティの対象として報告する場合、より詳細なレポートはより高額な報奨金に繋がる可能性があります。現在のプログラムの詳細については、[Microsoft Bug Bounty Program](https://aka.ms/security.md/msrc/bounty) ページをご覧ください。 30 | 31 | ## 推奨言語 32 | 33 | すべてのやり取りは英語で行うことを推奨します。 34 | 35 | ## ポリシー 36 | 37 | Microsoft は、[Coordinated Vulnerability Disclosure](https://aka.ms/security.md/cvd) の原則に従っています。 38 | 39 | **免責事項**: 40 | この文書は、AI翻訳サービスを使用して機械的に翻訳されたものです。正確性を追求しておりますが、自動翻訳には誤りや不正確な箇所が含まれる可能性があります。原文（元の言語で記載された文書）が正式な情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の利用に起因する誤解や誤認について、当方は一切の責任を負いません。 -------------------------------------------------------------------------------- /translations/ja/lab/Skillable Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # はじめに 2 | 3 | > [!NOTE] 4 | >このワークショップは**75分**のハンズオン形式で、OpenAIモデルとの対話における基本概念とベストプラクティスを学ぶ内容です。 5 | 6 | ## 学習目標 7 | 8 | このワークショップを終える頃には、以下ができるようになります: 9 | 10 | - OpenAIモデルの機能と、テキスト生成、画像生成、マルチモーダル対話、Azure AI Agentsといった分野での活用方法を説明できる。 11 | - プロンプトエンジニアリングの概念とベストプラクティスを理解する。 12 | - 生成AIの機能を活用し、プロンプトエンジニアリング技術を自分のソリューションに適用する。 13 | 14 | ## リソース 15 | 16 | > [!TIP] 17 | > ログイン情報やサブスクリプション情報は、[Resources]タブに記載されています。 18 | 19 | ラボに関する追加情報はGitHubで確認できます: 20 | 21 | - [Skillable Workshop Instructions](https://github.com/microsoft/aitour-interact-with-llms/tree/microsoft-ignite-update/lab/Skillable%20Workshop%20Instructions) 22 | 23 | ## ラボの概要 24 | 25 | このラボは4つのセクションに分かれており、OpenAIモデルを使用してAzure上でマルチモーダルな対話インターフェースを通じて、テキストコンテンツ、画像アセット、コードスニペットを生成する方法を学びます。また、AIアシスタントについても取り上げます。このラボの目標は、幅広いシナリオで生成AIの機能を活用することです。 26 | 27 | 1. **パート1 - テキスト生成** GPT4oを使ってテキストコンテンツや説明文を生成します。 28 | 2. **パート2 - 画像生成** DALLE-3を使って画像アセットを生成します。 29 | 3. **パート3 - マルチモーダル** GPT-4oのマルチモーダル機能を活用し、画像とテキストで対話します。 30 | 4. **パート4 - Azure AI Agents** コードインタープリタを使用してデータを理解します。 31 | 32 | **Next**をクリックして、ワークショップ環境をセットアップし、始めましょう。 33 | 34 | **免責事項**: 35 | この文書は、機械翻訳AIサービスを使用して翻訳されています。正確性を追求しておりますが、自動翻訳には誤りや不正確な表現が含まれる可能性があります。元の言語で作成された原文が正式な情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。本翻訳の使用に起因する誤解や誤認について、当社は一切の責任を負いかねます。 -------------------------------------------------------------------------------- /translations/ja/lab/Skillable Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # パート3 - マルチモーダル 2 | 3 | これまで、私たちは1つのモダリティを使用してLLMとやり取りしてきました。つまり、テキストを入力し、テキストまたは画像を受け取る形です。しかし、マルチモーダルインターフェースは、テキスト、画像、音声など複数のモダリティを利用してモデルとやり取りできるため、ますます人気が高まっています。これにより、人間とコンピュータのインタラクションが向上します。このセクションでは、**GPT-4o mini**および**GPT-4o audio**を使用してマルチモーダルインターフェースとやり取りする方法を探ります。 4 | 5 | > [!TIP] 6 | > **GPT-4o mini**は自然言語処理と視覚理解の両方を組み込んだマルチモーダルモデルです。テキストと画像の組み合わせを入力として処理し、両方のモダリティに関連する出力を生成することができます。 7 | 8 | **GPT-4o realtime**は、低遅延の「音声入力、音声出力」による会話型インタラクションをサポートしています。これは、カスタマーサポートエージェント、音声アシスタント、リアルタイム翻訳者など、ユーザーとモデル間のライブインタラクションを含むユースケースに最適です。 9 | 10 | ## ベストプラクティス 11 | 12 | - **コンテキストの具体性**: 現在のシナリオにコンテキストを追加することで、モデルが適切な出力を理解しやすくなります。この具体性のレベルは、関連する側面に焦点を当て、不要な詳細を避けるのに役立ちます。 13 | 14 | - **タスク指向のプロンプト**: 特定のタスクに焦点を当てることで、モデルがその視点を考慮しながら出力を生成しやすくなります。 15 | 16 | - **出力フォーマットの定義**: 出力の希望フォーマットを明確に指定します。例えば、Markdown、JSON、HTMLなど。また、特定の構造、長さ、または応答に関する特定の属性を提案することもできます。 17 | 18 | - **拒否への対応**: モデルがタスクを実行できないことを示した場合、プロンプトを調整することで効果的な解決策となることがあります。より具体的なプロンプトが、モデルの理解を明確にし、タスクの実行を改善します。以下のポイントを考慮してください： 19 | - 生成された応答の説明を求め、モデルの出力の透明性を高める 20 | - 単一画像プロンプトを使用する場合、画像をテキストの前に配置する 21 | - モデルに画像を最初に詳細に説明させ、その説明から特定のタスクを完了させる 22 | 23 | - **プロンプトチューニング**: 以下のようなテキスト生成シナリオで探求したプロンプトチューニング技術を試してみてください： 24 | - リクエストを分割する（例：思考の連鎖） 25 | - 例を追加する（例：少数ショット学習） 26 | 27 | ## 画像を使用したモデルとのやり取り 28 | 29 | 1. **playgrounds**セクションに移動し、**Try the Chat Playground**を選択します。 30 | 31 | >[!alert] 開始する前に、**Clear Chat**をクリックして、以前のやり取りのコンテキストをクリアしてください。 32 | 33 | 2. チャットのテキストボックスで、添付アイコンをクリックしてローカル画像をアップロードします。 34 | 35 | ![画像を入力としてアップロード](../../../../lab/Skillable Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. デスクトップ上の```house-multimodal```フォルダ内のすべての画像を選択します。 38 | 4. ファイルをアップロードしたら、以下のプロンプトを試して画像とやり取りを始めてください： 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## コンテキストの提供 50 | 51 | 次のデモでは、遮られた画像を使用します。この画像には、完全なコンテキストを隠すためにバウンディングボックスが意図的に追加されています。 52 | 53 | 1. _Clear the chat_ を実行し、チャットのテキストボックスに次のプロンプトを追加します：``what is that?`` 54 | 2. 添付アイコンをクリックし、デスクトップフォルダに移動して[context-001](./Images/context-001.png)画像をアップロードし、プロンプトを送信します。 55 | 56 | > 「これが何か教えてください」と聞かれた場合、このテキストを特定するのは難しいかもしれません。これは、光学文字認識における古典的なコンピュータビジョンの課題を示しています。つまり、不明瞭で孤立した単語を解読することです。gpt-4o-miniを使用して「これが何か教えてください」と尋ねた場合、「手書きのスタイルのため、テキストは明確に読み取れません。“Mark”のようなものかもしれません。」と応答します。また、「テキストの一部がブロックされており、読み取ることができません」とも指摘します。 57 | 58 | 3. 新しい画像を追加します。デスクトップフォルダに移動して[context-002](./Images/context-002.png)画像をチャットにアップロードし、プロンプト```Extract all the texts from the image. Explain what you think this is.```を送信します。 59 | 60 | > 少し詳細が明らかになりましたが、まだそれが何であるかを特定するのは非常に難しいです。この時点でプロンプトを少し調整し、「画像からすべてのテキストを抽出してください。これが何であるかを説明してください。」と尋ねます。gpt-4o-miniは、「これは“milk, steak”と書かれており、買い物リストのようです。」と応答しました。また、画像がまだ部分的に隠されていることを指摘しており、非常に興味深いです。 61 | 62 | 4. 最後の画像を追加します。デスクトップフォルダに移動して[context-003](./Images/demo-4-context-003.png)画像をチャットにアップロードし、プロンプト```Extract all the texts from the image. Explain what you think this is.```を送信します。 63 | 64 | > 画像全体を明らかにすると、gpt-4o-miniが正しいことが分かります。それは実際に買い物リストです。「mayo」や「organic bread」のような項目を正確に特定します。さらに興味深いのは、下部のメモの解釈です。「ビールの項目に関するメモは、注意喚起や量を制限することを示唆している」と述べ、微妙なコンテキストを捉えています。 65 | 66 | ## リアルタイム音声インタラクション 67 | 68 | **gpt-4o-realtime-preview**モデルを統合することで、ユーザーは音声コマンドを使用してプラットフォームとやり取りでき、買い物体験がより魅力的でアクセスしやすいものになります。 69 | 70 | 1. **Playgrounds**に戻り、**try Real-time audio playground**を選択し、デプロイメントを**gpt-4o-realtime-preview**に設定します。 71 | 72 | 2. **model instructions box**を次の内容で更新します： 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. プレイグラウンドで、**enable microphone**をクリックします。ポップアップが表示されたら、許可をクリックして音声でのやり取りを有効にします。 77 | 78 | ![AI Foundryで音声を有効化](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. **start listening**ボタンをクリックしてモデルとやり取りを開始し、「`hello`」と言って、モデルにいくつかの事実を尋ねてみてください。 81 | 82 | 5. 次に、システムメッセージを次のように変更して、再度モデルとやり取りしてください： 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 次のステップ 87 | 88 | おめでとうございます！これでラボの第3部を完了し、マルチモーダルモデルとのやり取り方法を学びました。 89 | 90 | **Next**をクリックしてAzure AI Agentsセクションに進んでください。 91 | 92 | **免責事項**: 93 | この文書は、AIによる機械翻訳サービスを使用して翻訳されています。正確さを追求しておりますが、自動翻訳には誤りや不正確さが含まれる可能性があることをご了承ください。元の言語で記載された原文が正式な情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。この翻訳の使用に起因する誤解や解釈の誤りについて、当社は一切の責任を負いません。 -------------------------------------------------------------------------------- /translations/ja/lab/Skillable Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # パート4 - Azure AI エージェント 2 | 3 | このワークショップのパート4へようこそ！ 4 | 5 | これまで、さまざまな方法で大規模言語モデルと対話してきました。しかし、これらの対話は個別であり、非常に特定の目的に限定されていました。**Azure AI エージェント**は、これまでの対話を統合して1つのソリューションにまとめることで、次のステップへ進む手助けをしてくれます。 6 | 7 | > [!TIP] 8 | > **Azure AI エージェントとは？** 9 | > Azure AI エージェントは、開発者が安全に高品質で拡張可能なAIエージェントを構築、デプロイ、スケールできるように設計されたフルマネージドサービスです。基盤となるコンピューティングリソースやストレージリソースを管理する必要がなく、状態管理、コンテキストの関連付け、チャットスレッド、コード実行などの機能を統合しています。また、サードパーティの拡張機能にアクセスしやすくなっています。 10 | 11 | 以前は、カスタムAIエージェントを構築するには、経験豊富な開発者であっても多くの作業が必要でした。チャット補完APIは軽量で強力ですが、基本的にステートレスであるため、開発者は会話の状態やチャットスレッド、ツールの統合、ドキュメントやインデックスの取得、コードの手動実行などを管理する必要がありました。 12 | 13 | Azure AI Foundryでは、AIエージェントは「スマート」なマイクロサービスとして機能し、質問に答えたり（RAG）、アクションを実行したり、ワークフローを完全に自動化したりできます。生成AIモデルの力と、実世界のデータソースにアクセスして対話するツールを組み合わせることで、これを実現します。 14 | 15 | エージェントは必要に応じて複数のツールに同時アクセスすることも可能です。これらのツールには以下が含まれます： 16 | - **Function Calling** 17 | - **Code Interpreter** 18 | - **File Search** 19 | - **Bing 検索によるグラウンディング** 20 | - **Azure Functions** など 21 | 22 | このセクションでは、Code Interpreterについて取り上げます。 23 | 24 | ## エージェントの構成要素を理解する 25 | 26 | Azure AI エージェントを使い始めるには、機能に関与するさまざまな構成要素を理解し、それに対応することが重要です。 27 | 28 | すでに学んだように、**エージェント**とは、RAGを活用して質問に答えたり、ワークフローを自動化したり、アクションを実行したりできる「スマート」なマイクロサービスにすぎません。 29 | 30 | エージェントが作成されたら、次のステップは**スレッド**を作成することです。**スレッド**とは、エージェントとユーザー間の会話セッションのことを指します。スレッドはメッセージを保存し、モデルのコンテキストに収まるように内容を自動的に切り詰めます。 31 | 32 | **メッセージ**はエージェントまたはユーザーによって作成され、テキスト、画像、その他のファイルが含まれます。これらはスレッド内のリストとして保存されます。 33 | 34 | 最後に、エージェントを**実行**することができます。これは、スレッドの内容に基づいてエージェントをアクティブ化し、動作を開始させることを意味します。エージェントはその構成と*スレッドのメッセージ*を使用して、モデルやツールを呼び出してタスクを実行します。実行の一環として、エージェントは*スレッドにメッセージを追加*します。 35 | 36 | ## エージェントの作成 37 | 38 | 1. 左側のナビゲーションバーで _Build and customize_ を選択し、**Agents** を選択します。開いたページで、Azure OpenAI Service リソースを選択するための下向き矢印をクリックし、**Let's go** ボタンを選択します。 39 | 40 | ![Azure OpenAI Service Resourceを選択するスクリーンショット](../../../../lab/Skillable Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 新しいエージェントがすでに作成されています。**Deployments** セクションで、**gpt-4o-mini** モデルを選択していることを確認してください。 43 | 44 | >[!TIP] 45 | > **正しいデプロイメントを選択したことを確認してください**。**gpt-4o-mini** とそのバージョンが表示されている必要があります。 46 | 47 | 3. 次に、エージェントに名前を付けます。エージェント名のテキストボックスに以下を入力してください： 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 次に、エージェントに**指示**を与えます。以前のセクションで見た*システムメッセージ*と同様に、エージェントに従うべき目標を提供します。**Prompt** タブに移動し、以下の指示をInstructionsテキストボックスにコピーしてください。 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![Agents Playground](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | >[!NOTE] 66 | >このプロンプトには、以前のセクションで学んだプロンプトエンジニアリング技術がいくつ含まれているかを確認してみてください。ヒントについては、ワークショップのパート2を参照してください。 67 | 68 | 5. **Actions** タブに移動し、**add** をクリックします。 69 | 70 | ![新しいファイルをエージェントに添付する](../../../../lab/Skillable Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 新しいタブが開きますので、**Code interpreter** を選択します。 73 | 74 | 7. 次のウィンドウで、**select local files** をクリックし、`Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Skillable Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Skillable Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help` を選択します。これにより、新しいスレッドが開始されます。 91 | チャットボックスに一連のサンプル質問が表示されるのがわかります。これらの質問の1つを試して、エージェントの応答を確認してください！ 92 | 93 | 8. 次に、特定のクエリを試してみましょう。以下を入力してください： 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | エージェントがCode Interpreterを使用して回答を提供するのがわかります。 98 | 99 | 9. 次に、このデータを操作してみましょう。以下のプロンプトを入力してください： 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | Code Interpreterを通じて、エージェントは構造化データをグラフに変換することができます！ 104 | 105 | 10. 別のタイプのグラフを見たい場合は、以下のプロンプトを試し、データをグラフにするようリクエストしてください： 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | エージェントは、売上収益データを時間経過で分析し、トレンド商品を示すグラフを提供するはずです。 110 | 111 | おめでとうございます！これでワークショップの最後のパートが終了し、Azure OpenAI エージェントが何であるか、どのように動作するか、そしてAzure AI Foundryポータルを使用してそれを作成する方法を学びました。 112 | 113 | **Next** をクリックして、ワークショップのまとめセクションに進んでください。 114 | 115 | **免責事項**: 116 | この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確さを追求しておりますが、自動翻訳にはエラーや不正確な部分が含まれる可能性があります。元の言語で記載された文書が公式な情報源と見なされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の使用に起因する誤解や誤認について、当方は一切の責任を負いません。 -------------------------------------------------------------------------------- /translations/ja/lab/Skillable Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # まとめ 2 | 3 | お疲れ様でした！ワークショップを無事に終え、生成AIの力を活用してテキストコピーや画像を生成し、マルチモーダル機能を探求することができましたね。 4 | 5 | ## 覚えておきたい重要なポイント 6 | - 生成AIモデルは、人間のようなテキスト、画像、コードを生成できます。 7 | - 生成AIモデルはステートレスです。つまり、学習はせず、トレーニングデータに制約されており、そのデータは特定の時点で固定されています。 8 | - Azure OpenAI Service は、最先端の自然言語生成AIモデル（GPT-4、GPT-4 turbo、GPT-4o など）へのアクセスを提供するマネージドサービスであり、Azureのセキュリティとエンタープライズ向けの信頼性を備えています。 9 | - Azure AI Foundry は、Azure AIポータルと統合SDKエクスペリエンスに加え、事前構築されたアプリテンプレートや3P ISVツール・サービスへのアクセスを提供するAzureの統合AIプラットフォームです。 10 | - プロンプトエンジニアリングは、生成AIモデルを「基盤付け」するための技術であり、モデルの出力スタイルに影響を与えたり、事実情報を提供したり、意図しない動作を制約したりすることができます。 11 | - Azure AI Agents は、新しい機能で、開発者がデータを精査し、解決策を提案し、ツールを統合することでタスクを自動化する、洗練されたコパイロットのような体験を備えたアプリケーションを簡単に作成できるようにします。 12 | 13 | ## 追加リソース 14 | Azure OpenAI Service や Azure AI Foundry についてさらに学ぶために役立つリソースをいくつかご紹介します： 15 | 16 | - Microsoft Learn モジュール: [Azure OpenAI Service の概要](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 17 | - [Azure OpenAI Service ドキュメント](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 18 | - [Azure OpenAI Service の料金](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 19 | - [Azure OpenAI Service の透明性に関する注意事項](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) には、Azure OpenAI モデルの機能、使用例、制約についての詳細が記載されています。 20 | - [Azure AI Foundry を使った RAG パターンの実装と入門](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 21 | - [Azure AI Agents の概要と使い方](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 22 | 23 | **免責事項**: 24 | この文書は、機械翻訳AIサービスを使用して翻訳されています。正確さを期するよう努めておりますが、自動翻訳には誤りや不正確な部分が含まれる場合があります。元の言語で作成された原文を公式な情報源としてご参照ください。重要な情報については、専門の人間による翻訳をお勧めします。この翻訳の利用に起因する誤解や誤認について、当方は一切の責任を負いかねます。 -------------------------------------------------------------------------------- /translations/ja/lab/Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # はじめに 2 | 3 | > [!NOTE] 4 | >このワークショップは**75分**で、OpenAIモデルとやり取りするための基本概念とベストプラクティスを実践的に学べる内容となっています。 5 | 6 | ## 学習目標 7 | 8 | このワークショップの終了時には、以下ができるようになることを目指します： 9 | 10 | - OpenAIモデルの機能と、テキスト生成、画像生成、マルチモーダル会話、Azure AI Agentsの分野での実装方法を説明できる。 11 | - プロンプトエンジニアリングの概念とベストプラクティスを理解する。 12 | - 生成AIの機能を活用し、プロンプトエンジニアリングの技術を自身のソリューションに適用する。 13 | 14 | ## ラボの概要 15 | 16 | このラボは4つのセクションに分かれており、OpenAIモデルを使用してAzure上でマルチモーダルな会話型インターフェースを通じてテキストコンテンツ、画像素材、コードスニペットを生成するプロセスを学びます。さらに、AIアシスタントについても取り上げます。このラボの目標は、幅広いシナリオで生成AIの機能を活用することです。 17 | 18 | 1. **パート1 - テキスト生成** GPT4oを使用してテキストコンテンツや説明文を生成します。 19 | 2. **パート2 - 画像生成** DALLE-3を使用して画像素材を生成します。 20 | 3. **パート3 - マルチモーダリティ** GPT-4oのマルチモーダル機能を活用して、画像とテキストを使った対話を行います。 21 | 4. **パート4 - Azure AI Agents** コードインタープリターを使用してデータを理解します。 22 | 23 | **免責事項**: 24 | 本書類は、AIを活用した機械翻訳サービスを使用して翻訳されています。正確性を追求しておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。元の言語で作成された原本が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。本翻訳の利用に起因する誤解や誤訳について、当社は一切の責任を負いません。 -------------------------------------------------------------------------------- /translations/ja/lab/Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # パート3 - マルチモーダル 2 | 3 | これまで、LLMとのやり取りは1つのモダリティのみを使用していました。つまり、テキストを入力し、テキストまたは画像を出力として受け取る形です。しかし、マルチモーダルインターフェースは、テキスト、画像、音声など複数のモダリティを活用してモデルとやり取りできるため、ユーザー体験を向上させる手段としてますます注目されています。このセクションでは、**GPT-4o mini** および **GPT-4o audio** を使用してマルチモーダルインターフェースとやり取りする方法を探ります。 4 | 5 | > [!TIP] 6 | > **GPT-4o mini** は、自然言語処理と視覚理解を組み合わせたマルチモーダルモデルです。テキストと画像を組み合わせた入力を処理し、両方のモダリティに関連する出力を生成できます。 7 | 8 | **GPT-4o realtime** は、低遅延の「音声入力、音声出力」による会話型インタラクションをサポートします。これは、カスタマーサポートエージェント、音声アシスタント、リアルタイム翻訳など、ユーザーとモデルのライブインタラクションを必要とするユースケースに最適です。 9 | 10 | ## ベストプラクティス 11 | 12 | - **文脈の具体性**: 現在のシナリオに文脈を追加することで、モデルが適切な出力を理解しやすくなります。この具体性は、関連する側面に焦点を当て、不要な詳細を避けるのに役立ちます。​ 13 | 14 | - **タスク指向のプロンプト**: 特定のタスクに焦点を当てることで、モデルがその視点を考慮しながら出力を生成するのを助けます。​ 15 | 16 | - **出力形式の定義**: 出力の形式を明確に指定します（例: Markdown、JSON、HTMLなど）。また、特定の構造や長さ、応答に関する具体的な属性を提案することもできます。​ 17 | 18 | - **拒否への対応**: モデルがタスクを実行できないと示した場合、プロンプトを調整することで解決できることがあります。より具体的なプロンプトは、モデルに明確な理解とより良い実行を促します。以下の点を考慮してください: 19 | - モデルの出力の透明性を高めるために、生成された応答について説明を求める 20 | - 単一画像プロンプトを使用する場合、画像をテキストの前に配置する 21 | - モデルに最初に画像を詳細に説明させ、その説明から特定のタスクを完了させる 22 | 23 | - **プロンプトチューニング**: テキスト生成シナリオで探ったプロンプトチューニング技術を試してみてください: 24 | - リクエストを分解する（例: チェーンオブソート） 25 | - 例を追加する（例: 少数ショット学習） 26 | 27 | ## 画像を使用したモデルとのやり取り 28 | 29 | 1. **playgrounds** セクションに移動し、**Try the Chat Playground** を選択します。 30 | 31 | >[!alert] 開始する前に、**Clear Chat** をクリックして、以前のやり取りからのコンテキストを削除してください。 32 | 33 | 2. チャットテキストボックスで、添付アイコンをクリックしてローカル画像をアップロードします。 34 | 35 | ![画像を入力としてアップロード](../../../../lab/Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. デスクトップの ```house-multimodal``` フォルダーからすべての画像を選択します。 38 | 4. ファイルをアップロードしたら、以下のプロンプトを試して画像とのやり取りを開始します: 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 文脈の提供 50 | 51 | 次のデモでは、遮られた画像を使用します。この画像には意図的にバウンディングボックスが追加され、全体の文脈が隠されています。 52 | 53 | 1. _Clear the chat_ を実行し、チャットテキストボックスに次のプロンプトを追加します: ``what is that?`` 54 | 2. 添付アイコンをクリックし、デスクトップフォルダーに移動して [context-001](./Images/context-001.png) 画像をアップロードし、プロンプトを送信します。 55 | 56 | > もし私が「これ何ですか？」と尋ねた場合、このテキストを識別するのは難しいかもしれません。これは、光学文字認識における典型的なコンピュータビジョンの課題を示しています: 不明瞭で孤立した単語を解読することです。ここで gpt-4o-mini を使用して「これ何ですか？」と尋ねると、「手書きスタイルのため、テキストははっきり読めません。“Mark” のようなものかもしれません。」と応答します。また、「テキストの一部は遮られており、読むことができません。」とも指摘します。 57 | 58 | 3. 新しい画像を追加します。デスクトップフォルダーに移動し、[context-002](./Images/context-002.png) 画像をチャットにアップロードし、プロンプト ```Extract all the texts from the image. Explain what you think this is.``` を送信します。 59 | 60 | > 少し情報が増えても、まだ何であるかを特定するのは非常に困難です。この場合、プロンプトを少し調整して「画像からすべてのテキストを抽出してください。これが何であると思うか説明してください。」とします。gpt-4o-mini は「これは 'milk, steak' と書かれており、買い物リストのように見えます。」と応答します。また、画像がまだ部分的に隠れていることも指摘しており、非常に興味深いです。 61 | 62 | 4. 最後の画像を追加します。デスクトップフォルダーに移動し、[context-003](./Images/demo-4-context-003.png) 画像をチャットにアップロードし、プロンプト ```Extract all the texts from the image. Explain what you think this is.``` を送信します。 63 | 64 | > 全体の画像が明らかになると、gpt-4o-mini の推測が正しかったことがわかります—これは買い物リストです。'mayo' や 'organic bread' といった項目を正確に識別します。さらに興味深いのは、下部のメモの解釈です。「ビール項目に関するメモは、節度や数量制限を強調するリマインダーを示しているようです。」と述べています。 65 | 66 | ## リアルタイム音声インタラクション 67 | 68 | **gpt-4o-realtime-preview** モデルを統合することで、ユーザーは音声コマンドを使用してプラットフォームとやり取りでき、ショッピング体験がより魅力的でアクセスしやすくなります。 69 | 70 | 1. **Playgrounds** に戻り、**try Real-time audio playground** を選択し、デプロイメントを **gpt-4o-realtime-preview** に設定します。 71 | 72 | 2. **model instructions box** に次の内容を更新します: 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. Playground で **enable microphone** をクリックします。ポップアップが表示されたら、音声でのインタラクションを有効にするために「許可」をクリックします。 77 | 78 | ![AI Foundry で音声を有効化](../../../../lab/Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. **start listening** ボタンをクリックしてモデルとやり取りします。「`hello`」と言い、モデルにいくつかの事実を尋ねてみてください。 81 | 82 | 5. 次に、システムメッセージを以下のように変更してトーンを変え、再びモデルとやり取りします: 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 次のステップ 87 | 88 | おめでとうございます！これでラボの第3部を完了し、マルチモーダルモデルとのやり取り方法を学びました。 89 | 90 | [パート4: Azure AI Agents](./05_AI_Agents.md) に進みましょう。 91 | 92 | **免責事項**: 93 | 本書類は、機械翻訳AIサービスを使用して翻訳されています。正確性を期すよう努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。元の言語で記載された原文を信頼できる情報源としてお考えください。重要な情報については、専門の人間による翻訳をお勧めします。本翻訳の使用に起因する誤解や誤解釈について、当社は一切の責任を負いかねます。 -------------------------------------------------------------------------------- /translations/ja/lab/Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # Part 4 - Azure AI エージェント 2 | 3 | このワークショップの第4部へようこそ！ 4 | 5 | これまでに、さまざまな方法で大規模言語モデルとやり取りしてきました。ただし、これらのやり取りはそれぞれ独立しており、非常に特定の目的に結び付いていました。**Azure AI エージェント**は、これらのやり取りを統合して一つのソリューションにすることで、次のステップを提供します。 6 | 7 | > [!TIP] 8 | > **Azure AI エージェントとは？** 9 | > Azure AI エージェントは、開発者が基盤となるコンピューティングやストレージリソースを管理する必要なく、安全に高品質で拡張性のあるAIエージェントを構築、展開、スケールできるように設計された完全マネージドサービスです。状態管理、コンテキストの関連付け、チャットスレッド、コード実行などの機能を統合しており、サードパーティの拡張機能に簡単にアクセスできるようにします。 10 | 11 | 以前は、カスタムAIエージェントを構築するには、経験豊富な開発者であっても多大な労力が必要でした。チャット補完APIは軽量で強力ですが、本質的にステートレスであるため、開発者は会話の状態やチャットスレッド、ツールの統合、ドキュメントやインデックスの取得、コードの実行を手動で管理する必要がありました。 12 | 13 | Azure AI Foundry内では、AIエージェントは「スマート」なマイクロサービスとして機能し、質問に答えたり（RAG）、アクションを実行したり、ワークフローを完全に自動化したりできます。これを実現するために、生成AIモデルの力と、現実世界のデータソースにアクセスしてやり取りできるツールを組み合わせています。 14 | 15 | エージェントは必要に応じて複数のツールに並行してアクセスすることもできます。これらのツールには以下が含まれます： 16 | - **Function Calling** 17 | - **Code Interpreter** 18 | - **File Search** 19 | - **Bing 検索によるグラウンディング** 20 | - **Azure Functions** など 21 | 22 | このセクションでは、Code Interpreterについて説明します。 23 | 24 | ## エージェントの構成要素を理解する 25 | 26 | Azure AI エージェントを使用し始めるには、その機能に関与するさまざまな構成要素を理解しておくことが重要です。 27 | 28 | すでに学んだように、**エージェント**とは、RAGを使用して質問に答えたり、アクションを実行したり、ワークフローを自動化したりする「スマート」なマイクロサービスのことです。 29 | 30 | エージェントが作成された後の次のステップは、**スレッド**を作成することです。**スレッド**とは、エージェントとユーザー間の会話セッションを指します。スレッドはメッセージを保存し、モデルのコンテキストに収まるように内容を自動的に切り詰めます。 31 | 32 | **メッセージ**はエージェントまたはユーザーによって作成され、テキスト、画像、その他のファイルを含みます。これらはスレッド内のリストとして保存されます。 33 | 34 | 最後に、エージェントを**実行**することができます。これは、スレッドの内容に基づいてエージェントをアクティブにすることを意味します。エージェントはその構成と*スレッドのメッセージ*を使用して、モデルやツールを呼び出してタスクを実行します。実行の一環として、エージェントは*スレッドにメッセージを追加*します。 35 | 36 | ## エージェントの作成 37 | 38 | 1. 左側のナビゲーションバーで、_Build and customize_ の下にある **Agents** を選択します。新しく開いたページで、下矢印をクリックしてAzure OpenAI Serviceリソースを選択し、**Let's go** ボタンを選択します。 39 | 40 | ![Azure OpenAI Service Resourceを選択するスクリーンショット](../../../../lab/Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 新しいエージェントがすでに作成されています。**Deployments** セクションで、**gpt-4o-mini** モデルを選択していることを確認してください。 43 | 44 | >[!TIP] 45 | > **正しいデプロイメントを選択してください**。**gpt-4o-mini** とそのバージョンが表示されているはずです。 46 | 47 | 3. 次に、エージェントに名前を付けます。エージェント名のテキストボックスに以下を入力してください： 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 次に、エージェントに**指示**を与えることができます。前のセクションで見た*System Message*と同様に、エージェントに従うべき目標を提供します。**Prompt** タブに移動し、以下の指示を指示テキストボックスにコピーしてください。 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![Agents Playground](../../../../lab/Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | >[!NOTE] 66 | >このプロンプトの中に、以前のセクションで学んだプロンプトエンジニアリングのテクニックがいくつあるか確認してみましょう。ヒントはワークショップの第2部にあります。 67 | 68 | 5. **Actions** タブに移動し、**add** をクリックします。 69 | 70 | ![エージェントに新しいファイルを添付する](../../../../lab/Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 新しいタブが開きます。そこで **Code interpreter** を選択します。 73 | 74 | 7. 次のウィンドウで、**select local files** をクリックし、`Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help` を選択します。これにより、新しいスレッドが開始されます。 91 | チャットボックスにはテスト用のサンプル質問がいくつか表示されます。質問の一つを試してみて、エージェントの回答を確認してください！ 92 | 93 | 8. 次に、特定のクエリを試してみましょう。以下を入力してください： 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | エージェントがコードインタープリタを使用して回答を提供することに気付くでしょう。 98 | 99 | 9. さらに、このデータを操作してみましょう。以下のプロンプトを入力してください： 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | コードインタープリタを通じて、エージェントは構造化データをグラフに変換することができます！ 104 | 105 | 10. 別の種類のグラフを見たい場合は、以下のプロンプトを試し、データをグラフにするようリクエストしてください： 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | エージェントは、売上収益データの時間経過に基づいてトレンド製品を示すグラフを提供するはずです。 110 | 111 | おめでとうございます！これでワークショップの最後の部分を完了し、Azure OpenAI エージェントとは何か、それがどのように機能するか、そしてAzure AI Studioを使用してエージェントを作成する方法を学びました。 112 | 113 | ワークショップの最終セクションへ進んでください：[Summary](./07_Summary.md) 114 | 115 | **免責事項**: 116 | この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を期すよう努めていますが、自動翻訳には誤りや不正確さが含まれる可能性があります。元の言語で記載された原文が信頼できる情報源と見なされるべきです。重要な情報については、専門の人間による翻訳をお勧めします。本翻訳の利用によって生じる誤解や解釈の誤りについて、当社は一切責任を負いません。 -------------------------------------------------------------------------------- /translations/ja/lab/Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 概要 2 | お疲れさまでした！ワークショップを最後まで進め、Contoso Outdoor Company向けのeコマースウェブサイトデザインを、生成AIの力を活用して無事に構築することができました。 3 | 4 | ## リソースのクリーンアップ 5 | 6 | チュートリアルを終えた後は、作成したすべてのリソースを削除することを検討してください。リソースを個別に削除することも、リソースグループ全体を削除することも可能です。 7 | 8 | 1. [Azure Portal](https://portal.azure.com) にアクセスします。 9 | 2. ホームページから **リソース グループ** に移動し、作成したリソースグループ **interact-with-llms** を選択します。 10 | 11 | ![](../../../../lab/Workshop Instructions/Images/azure-portal-resource-group.PNG) 12 | 13 | 3. リソースグループの上部ナビゲーションパネルで、**リソースグループの削除** を選択します。 14 | 15 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-navigation.PNG) 16 | 17 | 4. 削除を確認するためにリソースグループ名を入力するよう求められます。名前 **interact-with-llms** を入力し、**削除** をクリックしてリソースグループを削除します。 18 | 19 | ![リソースグループの削除](../../../../lab/Workshop Instructions/Images/delete-resource-group-name.PNG) 20 | 21 | 5. リソースグループが削除されたことを示す通知が表示されます。 22 | 23 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-notification-popup.PNG) 24 | 25 | ## 覚えておくべき重要なポイント 26 | - 生成AIモデルは、人間らしいテキスト、画像、コードを生成できます。 27 | - 生成AIモデルはステートレスであり、学習することはなく、トレーニングデータ（固定時点でのデータ）に制約されます。 28 | - Azure OpenAI Service は、最先端の自然言語生成AIモデル（GPT-4、GPT-4 turbo、GPT-4oなど）へのアクセスを提供するマネージドサービスで、Azureのセキュリティとエンタープライズ向けの特長を備えています。 29 | - Azure AI Foundry は、Azure AIポータルや統一されたSDKエクスペリエンスに加え、あらかじめ構築されたアプリテンプレートや3P ISVツールおよびサービスへのアクセスを提供する、Azureの統一AIプラットフォームです。 30 | - プロンプトエンジニアリングは生成AIモデルを「基盤化」するための技術であり、モデルの出力スタイルに影響を与えたり、事実情報を提供したり、意図しない動作を制約するために使用できます。 31 | - Azure AI Agents は、データを精査したり、解決策を提案したり、タスクを自動化したりする高度なコパイロットのような体験を持つアプリケーションを簡単に作成できる新しい機能です。 32 | 33 | ## 追加リソース 34 | Azure OpenAI Service や Azure AI Foundry についてさらに学ぶための参考資料を以下に示します： 35 | 36 | - Microsoft Learn モジュール: [Azure OpenAI Service 入門](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 37 | - [Azure OpenAI Service ドキュメント](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 38 | - [Azure OpenAI Service の価格](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 39 | - [Azure OpenAI Service の透明性に関するノート](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) には、Azure OpenAI モデルの機能、ユースケース、制限についての詳細が記載されています。 40 | - [Azure AI Foundry を使った入門と RAG パターンの実装](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 41 | - [Azure AI Agents の入門](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 42 | 43 | **免責事項**: 44 | この文書は、機械ベースのAI翻訳サービスを使用して翻訳されています。正確性を追求しておりますが、自動翻訳にはエラーや不正確な部分が含まれる場合があります。元の言語で記載された文書が正式な情報源として優先されるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の使用により生じた誤解や解釈の違いについて、当方は一切の責任を負いかねます。 -------------------------------------------------------------------------------- /translations/ja/session-delivery-resources/README.md: -------------------------------------------------------------------------------- 1 | ## 使用方法 2 | 3 | ようこそ、 4 | 5 | > 以下のリソースは、セッションを学び、実施するためにプレゼンターが利用することを目的としています。 6 | 7 | あなたがここに来てくださったことを嬉しく思います。この素晴らしいコンテンツをお届けいただけるのを楽しみにしています。経験豊富なプレゼンターであるあなたには、プレゼンテーションの「方法」はすでにご存じだと思いますので、このガイドでは「何を」プレゼンテーションする必要があるかに焦点を当てます。プレゼンテーションデザインチームによって作成された内容の全体像を提供します。 8 | 9 | プレゼンテーションの動画とともに、このドキュメントでは、PowerPointスライドやデモの手順、コードなど、プレゼンテーションを成功させるために必要なすべてのアセットへのリンクを提供します。 10 | 11 | 1. ドキュメント全体を読むこと。 12 | 13 | 1. リードプレゼンターに質問すること。 14 | 15 | ## ファイル概要 16 | 17 | | リソース | リンク | 説明 | 18 | |-------------------|----------------------------------|-------------------| 19 | | PowerPoint | [Presentation](https://aka.ms/AAryqzi) | スライド | 20 | | セッション配信リソースPPT録画 | [Video](https://aka.ms/AAs7etz) | セッション配信リソースPowerPointスライドの録画 | 21 | | セッション配信リソースPowerPoint | [Deck](https://aka.ms/AAs7mfu) | このワークショップ用のセッション配信リソーススライド | 22 | | ワークショップ手順 | [Video](/lab/Workshop%20Instructions/00_Introduction.md) | LLMとの対話方法に関するステップバイステップの手順 | 23 | | Skillableワークショップ手順 | [Video](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | Skillableラボの手順 | 24 | 25 | ## 始めるにあたって 26 | 27 | このリポジトリは以下のセクションに分かれています： 28 | 29 | | [Slides](https://aka.ms/AAryqzi) | [Skillableワークショップ手順](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | [Skillable以外のワークショップ手順](/lab/Workshop%20Instructions/00_Introduction.md) | 30 | |-------------------|---------------------------|--------------------------------------| 31 | | 35スライド | 4パート - 15分 | [Skillable以外でのワークショップ実施方法](/lab/Workshop%20Instructions/00_Introduction.md) | 32 | 33 | ## スライド 34 | 35 | [スライド](https://aka.ms/AAryqzi)には、各セッション部分にプレゼンターノートが含まれています。 36 | 37 | ### タイミング 38 | 39 | > [NOTE!] 40 | > ワークショップでは、Q&Aは通常ワークショップ中に行われます。この5分を削って、より実践的な時間に充てることもできます。 41 | 42 | | 時間 | 説明 43 | --------------|------------- 44 | 0:00 - 3:00 | セッションのイントロダクション 45 | 3:00 - 15:00 | 大規模言語モデル（LLM）の仕組み 46 | 15:00 - 30:00 | テキスト生成 47 | 30:00 - 45:00 | 画像生成とマルチモダリティ 48 | 45:00 - 65:00 | Azure AIアシスタント 49 | 70:00 - 75:00 | 重要なポイントのまとめ 50 | 51 | ### ワークショップの実施形式 52 | 53 | - このワークショップでは、最初の15分を使って、LLMの仕組みについてスライドを説明します。 54 | - 残りの時間は、参加者が個別にワークショップに取り組み、必要に応じてサポートを提供します。 55 | - 最後に、最終スライドを共有し、セッションを締めくくります。 56 | 57 | ## Skillableでのワークショップ手順 58 | 59 | [ツールとその使用方法の概要はこちらで確認できます](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md)。 60 | 61 | | セクション | 分数 | 62 | -------------------------------------------------------------------------------------------------------|---------| 63 | | [1 - Azure AI Foundryの紹介](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md) | 10 | 64 | | [2 - テキスト生成](/lab/Skillable%20Workshop%20Instructions/02_Text_Generation.md) | 15 | 65 | | [3 - 画像生成](/lab/Skillable%20Workshop%20Instructions/03_Image_Generation.md) | 10 | [Link](../../../session-delivery-resources) | 15 | 66 | | [4 - マルチモダリティ](/lab/Skillable%20Workshop%20Instructions/04_Multimodal_Interfaces.md) | 10 | 67 | | [5 - AIアシスタント](/lab/Skillable%20Workshop%20Instructions/05_AI_Assistants.md) | 15 | [Link](../../../session-delivery-resources) | 68 | 69 | ## Skillable以外でのワークショップ実施方法 70 | 71 | Skillableを利用せずにこのセッションを実施する場合、参加者が以下の要件を満たしていることを確認してください： 72 | 73 | - Azureサブスクリプション - [無料で作成する。](https://azure.microsoft.com/free/cognitive-services?WT.mc_id=aiml-132569-bethanycheum) 74 | - Azure OpenAIリソース - [GPT-4oおよびDALL.E 3モデルがサポートされている地域で利用可能。](https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#assistants-preview?WT.mc_id=aiml-132569-bethanycheum) 推奨地域は**スウェーデン中央**です。 75 | 76 | Azureにリソースをデプロイするには、**Deploy to Azure**ボタンをクリックするだけです。 77 | 78 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 79 | 80 | すべてのワークショップ手順は[こちら](/lab/Workshop%20Instructions/00_Introduction.md)で確認できます。 81 | 82 | **免責事項**: 83 | この文書は、AI翻訳サービスを使用して機械翻訳されたものです。正確性を期すよう努めておりますが、自動翻訳には誤りや不正確な部分が含まれる可能性があります。元の言語で記載された原文が正式な情報源として考慮されるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じた誤解や誤った解釈について、当方は一切の責任を負いません。 -------------------------------------------------------------------------------- /translations/ko/CODE_OF_CONDUCT.md: -------------------------------------------------------------------------------- 1 | # Microsoft 오픈 소스 행동 강령 2 | 3 | 이 프로젝트는 [Microsoft 오픈 소스 행동 강령](https://opensource.microsoft.com/codeofconduct/)을 채택했습니다. 4 | 5 | 리소스: 6 | 7 | - [Microsoft 오픈 소스 행동 강령](https://opensource.microsoft.com/codeofconduct/) 8 | - [Microsoft 행동 강령 FAQ](https://opensource.microsoft.com/codeofconduct/faq/) 9 | - 질문이나 우려 사항이 있을 경우 [opencode@microsoft.com](mailto:opencode@microsoft.com)으로 연락하세요. 10 | 11 | **면책 조항**: 12 | 이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원어로 작성된 원본 문서를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/SECURITY.md: -------------------------------------------------------------------------------- 1 | ## 보안 2 | 3 | Microsoft는 소프트웨어 제품과 서비스의 보안을 매우 중요하게 생각하며, 이는 [Microsoft](https://github.com/Microsoft), [Azure](https://github.com/Azure), [DotNet](https://github.com/dotnet), [AspNet](https://github.com/aspnet), [Xamarin](https://github.com/xamarin)과 같은 GitHub 조직에서 관리하는 모든 소스 코드 리포지토리를 포함합니다. 4 | 5 | 만약 [Microsoft의 보안 취약성 정의](https://aka.ms/security.md/definition)에 해당하는 보안 취약성을 Microsoft 소유의 리포지토리에서 발견했다고 생각하신다면, 아래에 설명된 대로 이를 보고해 주시기 바랍니다. 6 | 7 | ## 보안 문제 보고 8 | 9 | **공개된 GitHub 이슈를 통해 보안 취약성을 보고하지 마십시오.** 10 | 11 | 대신, Microsoft Security Response Center (MSRC)에 [https://msrc.microsoft.com/create-report](https://aka.ms/security.md/msrc/create-report)를 통해 보고해 주십시오. 12 | 13 | 로그인 없이 제출하기를 원하시면, [secure@microsoft.com](mailto:secure@microsoft.com)으로 이메일을 보내주세요. 가능하다면 메시지를 PGP 키로 암호화해 주시기 바랍니다. PGP 키는 [Microsoft Security Response Center PGP Key 페이지](https://aka.ms/security.md/msrc/pgp)에서 다운로드할 수 있습니다. 14 | 15 | 24시간 이내에 응답을 받을 수 있습니다. 만약 응답을 받지 못한 경우, 원본 메시지가 정상적으로 전달되었는지 확인하기 위해 이메일로 다시 문의해 주십시오. 추가 정보는 [microsoft.com/msrc](https://www.microsoft.com/msrc)에서 확인할 수 있습니다. 16 | 17 | 가능한 한 아래에 나열된 정보를 포함하여 문제의 성격과 범위를 더 잘 이해할 수 있도록 도와주세요: 18 | 19 | * 문제 유형 (예: 버퍼 오버플로우, SQL 인젝션, 크로스 사이트 스크립팅 등) 20 | * 문제와 관련된 소스 파일의 전체 경로 21 | * 영향을 받는 소스 코드의 위치 (태그/브랜치/커밋 또는 직접 URL) 22 | * 문제를 재현하는 데 필요한 특별한 설정 23 | * 문제를 재현하기 위한 단계별 지침 24 | * 개념 증명 또는 익스플로잇 코드 (가능한 경우) 25 | * 문제의 영향, 특히 공격자가 문제를 어떻게 악용할 수 있는지 26 | 27 | 이 정보는 보고서를 더 신속하게 분류하는 데 도움이 됩니다. 28 | 29 | 버그 바운티 프로그램에 보고하는 경우, 더 완전한 보고서는 더 높은 보상으로 이어질 수 있습니다. 현재 진행 중인 프로그램에 대한 자세한 내용은 [Microsoft Bug Bounty Program](https://aka.ms/security.md/msrc/bounty) 페이지를 방문해 주십시오. 30 | 31 | ## 선호 언어 32 | 33 | 모든 커뮤니케이션은 영어로 진행되기를 선호합니다. 34 | 35 | ## 정책 36 | 37 | Microsoft는 [Coordinated Vulnerability Disclosure](https://aka.ms/security.md/cvd) 원칙을 따릅니다. 38 | 39 | **면책 조항**: 40 | 이 문서는 AI 기반 기계 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있으나, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서(원어로 작성된 문서)를 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해서는 당사가 책임지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Skillable Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | Translation for chunk 1 skipped due to timeout. 2 | 3 | **면책 조항**: 4 | 이 문서는 AI 기반 기계 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있으나, 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원본 문서(원어로 작성된 문서)가 신뢰할 수 있는 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장드립니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Skillable Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # Part 3 - 멀티모달 2 | 3 | 지금까지 우리는 텍스트를 입력하고 텍스트나 이미지를 출력받는 단일 모달리티로 LLM과 상호작용해왔습니다. 그러나 텍스트, 이미지, 음성 등 여러 모달리티를 활용하여 모델과 상호작용할 수 있는 멀티모달 인터페이스가 점점 더 인기를 얻고 있습니다. 이러한 인터페이스는 인간-컴퓨터 상호작용을 개선합니다. 이 섹션에서는 **GPT-4o mini**와 **GPT-4o audio**를 사용하여 멀티모달 인터페이스로 상호작용하는 방법을 탐구합니다. 4 | 5 | > [!TIP] 6 | > **GPT-4o mini**는 자연어 처리와 시각적 이해를 결합한 멀티모달 모델입니다. 텍스트와 이미지를 조합하여 입력받고, 두 모달리티 모두에 관련된 출력을 생성할 수 있습니다. 7 | 8 | **GPT-4o realtime**은 낮은 지연 시간으로 "음성 입력, 음성 출력" 대화를 지원합니다. 고객 지원 에이전트, 음성 비서, 실시간 번역기와 같은 실시간 상호작용이 필요한 사용 사례에 적합합니다. 9 | 10 | ## 모범 사례 11 | 12 | - **맥락의 구체성**: 현재 상황에 대한 맥락을 추가하면 모델이 적절한 출력을 더 잘 이해할 수 있습니다. 이러한 구체성은 관련된 측면에 초점을 맞추고 불필요한 세부 정보를 피하는 데 도움을 줍니다. 13 | 14 | - **작업 중심의 프롬프트**: 특정 작업에 초점을 맞추면 모델이 해당 관점을 고려하여 출력을 생성하도록 도울 수 있습니다. 15 | 16 | - **출력 형식 정의**: 출력에 원하는 형식을 명확히 명시하세요. 예: Markdown, JSON, HTML 등. 또한 특정 구조, 길이 또는 응답에 대한 특정 속성을 제안할 수 있습니다. 17 | 18 | - **거부 처리**: 모델이 작업 수행 불가를 표시할 경우 프롬프트를 수정하는 것이 효과적인 해결책이 될 수 있습니다. 더 구체적인 프롬프트는 모델이 명확히 이해하고 더 잘 수행하도록 안내할 수 있습니다. 몇 가지 팁은 다음과 같습니다: 19 | - 생성된 응답에 대한 설명을 요청하여 모델 출력의 투명성을 높이세요. 20 | - 단일 이미지 프롬프트를 사용할 경우, 이미지를 텍스트 앞에 배치하세요. 21 | - 모델에게 먼저 이미지를 자세히 설명하도록 요청한 후, 설명에서 특정 작업을 완료하도록 하세요. 22 | 23 | - **프롬프트 튜닝**: 텍스트 생성 시나리오에서 살펴본 프롬프트 튜닝 기술을 시도하세요. 예: 24 | - 요청을 세분화하기 (예: 사고의 사슬) 25 | - 예제 추가하기 (예: 소수 샷 학습) 26 | 27 | ## 이미지를 사용하여 모델과 상호작용하기 28 | 29 | 1. **playgrounds** 섹션으로 이동하여 **Try the Chat Playground**를 선택하세요. 30 | 31 | >[!alert] 시작하기 전에 **Clear Chat**을 클릭하여 이전 상호작용에서 남은 컨텍스트를 제거하세요. 32 | 33 | 2. 채팅 텍스트 상자에서 첨부 아이콘을 클릭하여 로컬 이미지를 업로드하세요. 34 | 35 | ![이미지 업로드 아이콘](../../../../lab/Skillable Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. 데스크톱의 ```house-multimodal``` 폴더에서 모든 이미지를 선택하세요. 38 | 4. 파일을 업로드한 후, 다음 프롬프트를 사용하여 이미지와 상호작용을 시작해 보세요: 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 맥락 제공하기 50 | 51 | 다음 데모에서는 가려진 이미지를 사용합니다. 이미지에 경계 상자를 추가하여 전체 맥락을 의도적으로 가렸습니다. 52 | 53 | 1. _채팅 기록을 지우고_ 채팅 텍스트 상자에 다음 프롬프트를 추가하세요: ``what is that?`` 54 | 2. 첨부 아이콘을 클릭하고 데스크톱 폴더에서 [context-001](./Images/context-001.png) 이미지를 업로드한 후 프롬프트를 전송하세요. 55 | 56 | > 만약 제가 '이게 뭐야?'라고 묻는다면, 이 텍스트를 식별하기 어려울 수 있습니다. 이는 컴퓨터 비전의 전형적인 문제 중 하나인 광학 문자 인식에서 흐릿하고 고립된 단어를 해독하는 어려움을 보여줍니다. 이제 gpt-4o-mini를 사용하여 '이게 뭐야?'라고 물어보면, '이 텍스트는 손글씨 스타일로 인해 명확히 읽히지 않습니다. "Mark"처럼 보일 수 있습니다.'라고 응답합니다. 또한, '텍스트의 일부는 가려져 읽을 수 없습니다.'라는 점도 언급합니다. 57 | 58 | 3. 새로운 이미지를 추가합니다. 데스크톱 폴더에서 [context-002](./Images/context-002.png) 이미지를 업로드하고 프롬프트 ```Extract all the texts from the image. Explain what you think this is.```를 사용하세요. 59 | 60 | > 약간 더 노출되었지만, 여전히 무엇인지 식별하기는 어렵습니다. 이번에는 프롬프트를 약간 조정하여 '이미지에서 모든 텍스트를 추출하세요. 이게 무엇인지 설명하세요.'라고 요청합니다. gpt-4o-mini는 '이것은 "milk, steak"라고 쓰여 있으며, 쇼핑 목록으로 보입니다.'라고 응답합니다. 또한, 이미지가 여전히 부분적으로 가려져 있다는 점을 언급하는 점이 흥미롭습니다. 61 | 62 | 4. 마지막 이미지를 추가합니다. 데스크톱 폴더에서 [context-003](./Images/demo-4-context-003.png) 이미지를 업로드하고 프롬프트: ```Extract all the texts from the image. Explain what you think this is.```를 사용하세요. 63 | 64 | > 전체 이미지를 드러내면, gpt-4o-mini가 맞았음을 알 수 있습니다. 실제로 쇼핑 목록이었습니다. 'mayo', 'organic bread'와 같은 항목을 정확히 식별합니다. 더 흥미로운 점은 맥락을 해석하는 방식입니다. 맥주 항목에 대한 메모를 언급하며, '메모는 절제 또는 양을 제한하라는 강조로 보입니다.'라고 설명합니다. 65 | 66 | ## 실시간 음성 상호작용 67 | 68 | **gpt-4o-realtime-preview** 모델을 통합하면 사용자가 음성 명령을 사용하여 플랫폼과 상호작용할 수 있어 쇼핑 경험이 더욱 흥미롭고 접근 가능해집니다. 69 | 70 | 1. **Playgrounds**로 돌아가 **try Real-time audio playground**를 선택하고 배포를 **gpt-4o-realtime-preview**로 설정하세요. 71 | 72 | 2. **모델 지침 상자**를 다음과 같이 업데이트하세요: 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. Playground에서 **마이크 활성화**를 클릭하세요. 팝업이 나타나면 상호작용을 위해 오디오를 활성화하도록 허용을 클릭하세요. 77 | 78 | ![AI Foundry에서 오디오 활성화](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. **start listening** 버튼을 클릭하고 ``hello``라고 말하며 모델에게 몇 가지 사실을 물어보세요. 81 | 82 | 5. 다음으로 시스템 메시지를 다음과 같이 변경하고 모델과 다시 상호작용하세요: 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 다음 단계 87 | 88 | 축하합니다! 이제 실습의 3번째 부분을 완료했으며 멀티모달 모델과 상호작용하는 방법을 배웠습니다. 89 | 90 | **Next**를 클릭하여 Azure AI Agents 섹션으로 진행하세요. 91 | 92 | **면책 조항**: 93 | 이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원본 문서의 해당 언어 버전이 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Skillable Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # Part 4 - Azure AI Agents 2 | 3 | 워크숍의 4번째 파트에 오신 것을 환영합니다! 4 | 5 | 지금까지 우리는 다양한 방식으로 대규모 언어 모델과 상호작용해왔습니다. 하지만 이러한 상호작용은 고립되어 있고 매우 특정한 목적에만 국한되었습니다. **Azure AI Agents**는 이러한 상호작용을 하나의 솔루션으로 통합할 수 있도록 도와주는 차세대 기술입니다. 6 | 7 | > [!TIP] 8 | > **Azure AI Agent란 무엇인가요?** 9 | > Azure AI Agent는 개발자가 기본 컴퓨팅 및 스토리지 리소스를 관리하지 않고도 고품질의 확장 가능한 AI 에이전트를 안전하게 구축, 배포 및 확장할 수 있도록 설계된 완전 관리형 서비스입니다. 상태 관리, 컨텍스트 연결, 채팅 스레드, 코드 실행 등의 기능을 통합하여 타사 확장을 쉽게 액세스할 수 있게 합니다. 10 | 11 | 이전에는 맞춤형 AI 에이전트를 구축하려면 경험이 많은 개발자조차도 많은 작업이 필요했습니다. 채팅 완성 API는 가볍고 강력하지만 본질적으로 상태를 유지하지 않기 때문에 개발자가 대화 상태와 채팅 스레드, 도구 통합, 문서 검색 및 인덱스, 코드 실행을 수동으로 관리해야 했습니다. 12 | 13 | Azure AI Foundry 내에서 AI 에이전트는 질문에 답변(RAG), 작업 수행 또는 워크플로우를 완전히 자동화할 수 있는 "스마트" 마이크로서비스로 작동합니다. 이는 생성 AI 모델의 강력한 기능과 실제 데이터 소스에 액세스하고 상호작용할 수 있는 도구를 결합하여 가능합니다. 14 | 15 | 에이전트는 필요한 경우 여러 도구에 동시에 액세스할 수도 있습니다. 이러한 도구 중 일부는 다음과 같습니다: 16 | - **Function Calling** 17 | - **Code Interpreter** 18 | - **File Search** 19 | - **Bing Search를 활용한 Grounding** 20 | - **Azure Functions** 등등... 21 | 22 | 이번 섹션에서는 Code Interpreter를 다룰 예정입니다. 23 | 24 | ## 에이전트 구성 요소 이해하기 25 | 26 | Azure AI Agents를 사용하려면 그 기능에 관여하는 다양한 구성 요소를 이해하고 다룰 필요가 있습니다. 27 | 28 | 앞서 살펴본 것처럼, **에이전트**는 단순히 질문에 답변하거나(RAG), 워크플로우를 자동화하거나 작업을 수행할 수 있는 "스마트" 마이크로서비스입니다. 29 | 30 | 에이전트를 생성한 후의 다음 단계는 **스레드(Thread)**를 생성하는 것입니다. **스레드**는 에이전트와 사용자가 주고받는 대화 세션입니다. 스레드는 메시지를 저장하며, 모델의 컨텍스트에 맞게 콘텐츠를 자동으로 축약합니다. 31 | 32 | **메시지**는 에이전트나 사용자가 생성하며, 텍스트, 이미지 및 기타 파일을 포함할 수 있습니다. 이러한 메시지는 스레드에 리스트 형태로 저장됩니다. 33 | 34 | 마지막으로, 에이전트를 **실행(Run)**할 수 있습니다. 이는 에이전트를 활성화하여 스레드의 내용을 기반으로 실행을 시작하는 것을 의미합니다. 에이전트는 구성과 *스레드의 메시지*를 사용하여 모델 및 도구를 호출하며 작업을 수행합니다. 실행의 일환으로 에이전트는 *메시지를 스레드에 추가*합니다. 35 | 36 | ## 에이전트 생성하기 37 | 38 | 1. 왼쪽 탐색 메뉴에서 _Build and customize_ 아래 **Agents**를 선택합니다. 새로 열린 페이지에서 Azure OpenAI Service 리소스를 선택한 후 **Let's go** 버튼을 클릭합니다. 39 | 40 | ![Azure OpenAI Service 리소스 선택 스크린샷](../../../../lab/Skillable Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 새로운 에이전트가 이미 생성되어 있을 것입니다. **Deployments** 섹션에서 **gpt-4o-mini** 모델을 선택했는지 확인하세요. 43 | 44 | >[!TIP] 45 | > **올바른 배포를 선택했는지 확인하세요.** **gpt-4o-mini** 및 해당 버전이 표시되어야 합니다. 46 | 47 | 3. 이제 에이전트에 이름을 지정해봅시다. Agent Name 텍스트 박스에 다음을 입력하세요: 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 다음으로, 에이전트에 **지침**을 제공할 수 있습니다. 이전 섹션에서 본 *System Message*와 유사하게, 에이전트가 따를 목표를 제공합니다. **Prompt** 탭으로 이동하여 Instructions 텍스트 박스에 다음 지침을 복사하세요. 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![Agents Playground](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | >[!NOTE] 66 | >이 프롬프트에서 이전 섹션의 몇 가지 프롬프트 엔지니어링 기법을 식별할 수 있나요? 힌트는 워크숍의 Part 2를 참조하세요. 67 | 68 | 5. **Actions** 탭으로 이동하여 **add**를 클릭합니다. 69 | 70 | ![새 파일 첨부 화면](../../../../lab/Skillable Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 새 탭에서 **Code interpreter**를 선택합니다. 73 | 74 | 7. 다음 화면에서 **select local files**를 클릭하고 `Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Skillable Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Skillable Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help` 파일을 선택합니다. 채팅 상자에서 새 스레드가 시작되는 것을 볼 수 있습니다. 91 | 샘플 질문 몇 가지가 표시될 것입니다. 질문 하나를 테스트하고 에이전트의 응답을 확인해보세요! 92 | 93 | 8. 다음으로, 특정 쿼리를 시도해봅시다. 다음을 입력하세요: 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | 에이전트가 코드 인터프리터를 사용하여 답변을 제공하는 것을 볼 수 있을 것입니다. 98 | 99 | 9. 이제 데이터를 활용해봅시다. 다음 프롬프트를 입력하세요: 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | 코드 인터프리터를 통해 에이전트가 구조화된 데이터를 그래프로 변환할 수 있습니다! 104 | 105 | 10. 다른 유형의 그래프를 보고 싶다면, 다음 프롬프트를 입력하고 데이터를 그래프로 요청해보세요: 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | 에이전트가 매출 데이터를 분석하여 시간 경과에 따른 트렌드 제품을 보여주는 그래프를 제공할 것입니다. 110 | 111 | 축하합니다! 이제 워크숍의 마지막 부분을 완료했으며, Azure OpenAI Agents가 무엇인지, 어떻게 작동하는지, Azure AI Foundry 포털을 사용하여 이를 생성하는 방법을 배웠습니다. 112 | 113 | **Next**를 클릭하여 워크숍의 요약 섹션으로 진행하세요. 114 | 115 | **면책 조항**: 116 | 이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있음을 유의하시기 바랍니다. 원본 문서의 모국어 버전이 권위 있는 출처로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Skillable Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 요약 2 | 3 | 축하합니다! 워크숍을 성공적으로 마치고 텍스트 복사본 생성, 이미지 생성, 그리고 생성형 AI의 강력함을 활용한 멀티모달 기능을 탐구하셨습니다. 4 | 5 | ## 기억해야 할 주요 사항 6 | - 생성형 AI 모델은 사람과 유사한 텍스트, 이미지, 코드를 생성할 수 있습니다. 7 | - 생성형 AI 모델은 상태를 저장하지 않습니다: 학습하지 않으며, 고정된 시점의 훈련 데이터에 의해 제한됩니다. 8 | - Azure OpenAI Service는 OpenAI의 GPT-4, GPT-4 turbo, GPT-4o와 같은 최첨단 자연어 생성 AI 모델에 액세스할 수 있는 관리형 서비스로, Azure의 보안과 엔터프라이즈 신뢰성을 제공합니다. 9 | - Azure AI Foundry는 Azure AI 포털과 통합된 SDK 경험 외에도 사전 구축된 앱 템플릿과 3P ISV 도구 및 서비스에 대한 액세스를 제공하는 Azure의 통합 AI 플랫폼입니다. 10 | - 프롬프트 엔지니어링은 생성형 AI 모델을 "기반화"하는 기술로, 모델 출력의 스타일을 조정하거나 사실 정보를 제공하며, 의도하지 않은 동작을 제한하는 데 사용될 수 있습니다. 11 | - Azure AI Agents는 데이터 탐색, 솔루션 제안, 작업 자동화를 통해 복잡한 코파일럿과 같은 경험을 가진 애플리케이션을 더 쉽게 만들 수 있도록 돕는 새로운 기능입니다. 12 | 13 | ## 추가 자료 14 | Azure OpenAI Service와 Azure AI Foundry에 대해 더 배우고 다음 단계로 나아가는 데 도움이 되는 몇 가지 자료를 소개합니다: 15 | 16 | - Microsoft Learn 모듈: [Azure OpenAI Service 소개](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 17 | - [Azure OpenAI Service 문서](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 18 | - [Azure OpenAI Service 가격](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 19 | - [Azure OpenAI Service 투명성 노트](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste)는 Azure OpenAI 모델의 기능, 사용 사례 및 제한 사항에 대한 세부 정보를 제공합니다. 20 | - [Azure AI Foundry 시작하기 및 RAG 패턴 구현](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 21 | - [Azure AI Agents 시작하기](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 22 | 23 | **면책 조항**: 24 | 이 문서는 AI 기반 기계 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있으나, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서(모국어로 작성된 문서)를 신뢰할 수 있는 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # 소개 2 | 3 | > [!NOTE] 4 | > 이 워크숍은 **75분** 동안 진행되며, OpenAI 모델과 상호작용하는 핵심 개념과 모범 사례를 실습을 통해 소개합니다. 5 | 6 | ## 학습 목표 7 | 8 | 이 워크숍을 마치면 다음을 할 수 있어야 합니다: 9 | 10 | - OpenAI 모델의 텍스트 생성, 이미지 생성, 멀티모달 대화, Azure AI Agents 분야에서의 능력과 구현 방식을 설명할 수 있습니다. 11 | - 프롬프트 엔지니어링의 개념과 모범 사례를 이해할 수 있습니다. 12 | - 생성형 AI의 기능을 활용하고, 프롬프트 엔지니어링 기술을 자신의 솔루션에 적용할 수 있습니다. 13 | 14 | ## 실습 개요 15 | 16 | 이 실습은 4개의 섹션으로 구성되어 있으며, OpenAI 모델을 사용하여 Azure의 멀티모달 대화 인터페이스를 통해 텍스트 콘텐츠, 이미지 에셋, 코드 스니펫을 생성하는 과정을 안내합니다. 또한, AI 어시스턴트에 대한 내용도 다룹니다. 이 실습의 목표는 다양한 시나리오에서 생성형 AI 기능을 활용하는 것입니다. 17 | 18 | 1. **파트 1 - 텍스트 생성** GPT4o를 사용하여 텍스트 콘텐츠와 설명을 생성합니다. 19 | 2. **파트 2 - 이미지 생성** DALLE-3를 사용하여 이미지 에셋을 생성합니다. 20 | 3. **파트 3 - 멀티모달** GPT-4o의 멀티모달 기능을 활용하여 이미지와 텍스트로 상호작용합니다. 21 | 4. **파트 4 - Azure AI Agents** 코드 인터프리터를 사용하여 데이터를 이해합니다. 22 | 23 | **면책 조항**: 24 | 이 문서는 AI 기반 기계 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있으나, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서(모국어로 작성된 문서)가 권위 있는 자료로 간주되어야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # Part 3 - 멀티모달 2 | 3 | 지금까지 우리는 텍스트를 입력하고 텍스트나 이미지를 출력받는 단일 모달리티로 LLM과 상호작용해왔습니다. 하지만 텍스트, 이미지, 음성 등 여러 모달리티를 활용해 모델과 상호작용할 수 있는 멀티모달 인터페이스가 점점 더 인기를 얻고 있습니다. 이를 통해 인간-컴퓨터 간 상호작용이 더욱 개선됩니다. 이번 섹션에서는 **GPT-4o mini**와 **GPT-4o audio**를 활용해 멀티모달 인터페이스로 상호작용하는 방법을 살펴보겠습니다. 4 | 5 | > [!TIP] 6 | > **GPT-4o mini**는 자연어 처리와 시각적 이해를 결합한 멀티모달 모델입니다. 텍스트와 이미지를 조합한 입력을 처리할 수 있으며, 두 모달리티와 관련된 출력을 생성할 수 있습니다. 7 | 8 | **GPT-4o realtime**은 저지연의 "음성 입력, 음성 출력" 대화형 상호작용을 지원합니다. 이는 고객 지원, 음성 비서, 실시간 번역기와 같은 라이브 상호작용이 필요한 사용 사례에 적합합니다. 9 | 10 | ## 모범 사례 11 | 12 | - **문맥적 구체성**: 현재 상황에 대한 문맥을 추가하면 모델이 적절한 출력을 이해하는 데 도움이 됩니다. 이 구체성은 관련된 측면에 집중하고 불필요한 세부사항을 피하는 데 유용합니다. 13 | 14 | - **작업 중심 프롬프트**: 특정 작업에 초점을 맞추면 모델이 해당 관점을 고려하여 출력을 생성하는 데 도움이 됩니다. 15 | 16 | - **출력 형식 정의**: 출력에 필요한 형식(예: markdown, JSON, HTML 등)을 명확히 언급하세요. 또한 응답의 특정 구조, 길이 또는 속성을 제안할 수도 있습니다. 17 | 18 | - **거부 처리**: 모델이 작업 수행 불가능을 나타낼 때 프롬프트를 수정하는 것이 효과적인 해결책이 될 수 있습니다. 더 구체적인 프롬프트는 모델이 더 명확하게 이해하고 작업을 잘 수행할 수 있도록 안내합니다. 다음 팁을 참고하세요: 19 | - 생성된 응답에 대한 설명을 요청하여 모델 출력의 투명성을 높이기 20 | - 단일 이미지 프롬프트를 사용할 경우, 이미지를 텍스트보다 먼저 배치 21 | - 모델에게 이미지를 먼저 상세히 설명한 후, 설명을 기반으로 특정 작업 수행 요청하기 22 | 23 | - **프롬프트 튜닝**: 텍스트 생성 시나리오에서 탐구했던 프롬프트 튜닝 기법을 시도해보세요. 예를 들어: 24 | - 요청을 세분화하기 (예: 사고의 연쇄) 25 | - 예시 추가하기 (예: 소수샷 학습) 26 | 27 | ## 이미지로 모델과 상호작용하기 28 | 29 | 1. **playgrounds** 섹션으로 이동하여 **Try the Chat Playground**를 선택합니다. 30 | 31 | >[!alert] 시작하기 전에, 이전 상호작용의 문맥을 피하기 위해 **Clear Chat**을 클릭하세요. 32 | 33 | 2. 채팅 텍스트 상자에서 첨부 아이콘을 클릭하여 로컬 이미지를 업로드합니다. 34 | 35 | ![이미지 업로드 입력](../../../../lab/Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. 데스크탑의 ```house-multimodal``` 폴더에 있는 모든 이미지를 선택하세요. 38 | 4. 파일을 업로드한 후, 다음 프롬프트를 시도해 이미지를 활용한 상호작용을 시작하세요: 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 문맥 제공 50 | 51 | 다음 데모에서는 가려진 이미지를 사용합니다. 이미지는 전체 문맥을 가리기 위해 의도적으로 경계 상자가 추가되었습니다. 52 | 53 | 1. _채팅 초기화_ 후, 채팅 텍스트 상자에 다음 프롬프트를 추가합니다: ``what is that?`` 54 | 2. 첨부 아이콘을 클릭하고 데스크탑 폴더로 이동하여 [context-001](./Images/context-001.png) 이미지를 업로드한 후 프롬프트를 전송합니다. 55 | 56 | > 만약 제가 '이게 뭔가요?'라고 물었다면, 텍스트를 식별하는 데 어려움을 겪을 수 있습니다. 이는 명확하지 않고 고립된 단어를 해독하는 고전적인 컴퓨터 비전 문제를 보여줍니다. gpt-4o-mini를 사용해 '이게 뭔가요?'라고 물어보면, '글씨체가 손글씨 스타일이라 명확히 읽을 수 없습니다. “Mark”일 수 있습니다.'라고 응답합니다. 또한 '텍스트 일부가 가려져 읽을 수 없습니다.'라는 점도 언급합니다. 57 | 58 | 3. 새로운 이미지를 추가합니다. 데스크탑 폴더로 이동하여 [context-002](./Images/context-002.png) 이미지를 업로드하고 프롬프트 ```Extract all the texts from the image. Explain what you think this is.```를 사용합니다. 59 | 60 | > 조금 더 정보를 공개했지만 여전히 식별하기 어렵습니다. 이번에는 프롬프트를 약간 조정하여 '이미지에서 모든 텍스트를 추출하세요. 이게 무엇이라고 생각하나요?'라고 합니다. gpt-4o-mini는 '이것은 "milk, steak"라고 쓰여 있으며 쇼핑 목록처럼 보입니다.'라고 응답합니다. 또한 이미지가 여전히 부분적으로 가려져 있다는 점을 언급하는 것도 흥미롭습니다. 61 | 62 | 4. 마지막 이미지를 추가합니다. 데스크탑 폴더로 이동하여 [context-003](./Images/demo-4-context-003.png) 이미지를 업로드하고 프롬프트 ```Extract all the texts from the image. Explain what you think this is.```를 사용합니다. 63 | 64 | > 전체 이미지를 공개한 결과, gpt-4o-mini의 추측이 정확했습니다. 이는 실제로 쇼핑 목록이며, 'mayo'와 'organic bread' 같은 항목을 정확히 식별합니다. 더 흥미로운 점은 맥주 항목에 대한 메모를 해석한 것입니다. 이는 '맥주 항목에 대한 메모는 주의나 양 제한에 대한 강조를 나타냅니다.'라고 미묘한 문맥을 포착합니다. 65 | 66 | ## 실시간 음성 상호작용 67 | 68 | **gpt-4o-realtime-preview** 모델을 통합하면 사용자가 음성 명령을 사용해 플랫폼과 상호작용할 수 있어 쇼핑 경험이 더욱 재미있고 접근 가능해집니다. 69 | 70 | 1. **Playgrounds**로 돌아가 **try Real-time audio playground**를 선택하고 배포를 **gpt-4o-realtime-preview**로 설정합니다. 71 | 72 | 2. **model instructions box**에 다음을 업데이트합니다: 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. Playground에서 **enable microphone**을 클릭하면 팝업이 나타납니다. 상호작용을 위해 오디오를 활성화하려면 허용을 클릭합니다. 77 | 78 | ![AI Foundry에서 오디오 활성화](../../../../lab/Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. **start listening** 버튼을 클릭하고 ``hello``를 말한 뒤 모델에게 몇 가지 사실을 물어보며 상호작용합니다. 81 | 82 | 5. 다음으로, 시스템 메시지를 아래와 같이 변경한 뒤 모델과 다시 상호작용합니다: 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 다음 단계 87 | 88 | 축하합니다! 이제 실습의 3번째 부분을 완료하고 멀티모달 모델과 상호작용하는 방법을 배웠습니다. 89 | 90 | [Part 4: Azure AI Agents](./05_AI_Agents.md)로 이동하세요. 91 | 92 | **면책 조항**: 93 | 이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원문이 작성된 언어의 문서를 권위 있는 원본으로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 오역에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # Part 4 - Azure AI 에이전트 2 | 3 | 이 워크숍의 Part 4에 오신 것을 환영합니다! 4 | 5 | 지금까지 우리는 다양한 방식으로 대규모 언어 모델과 상호작용해왔습니다. 하지만 이러한 상호작용은 고립되어 특정 목적에 국한되었습니다. **Azure AI 에이전트**는 이러한 상호작용을 하나의 솔루션으로 통합하도록 도와주는 다음 단계입니다. 6 | 7 | > [!TIP] 8 | > **Azure AI 에이전트란?** 9 | > Azure AI 에이전트는 개발자가 기본 컴퓨팅 및 스토리지 리소스를 관리할 필요 없이, 안전하게 고품질의 확장 가능한 AI 에이전트를 구축, 배포 및 확장할 수 있도록 설계된 완전 관리형 서비스입니다. 상태 관리, 컨텍스트 연결, 채팅 스레드, 코드 실행과 같은 기능을 통합하여 서드파티 확장 기능에 더 쉽게 접근할 수 있도록 지원합니다. 10 | 11 | 과거에는 맞춤형 AI 에이전트를 구축하려면 숙련된 개발자조차도 많은 노력이 필요했습니다. Chat completions API는 가볍고 강력하지만 본질적으로 상태가 없기 때문에, 개발자가 대화 상태와 채팅 스레드, 도구 통합, 문서 및 인덱스 검색, 코드 실행 등을 수동으로 관리해야 했습니다. 12 | 13 | Azure AI Foundry 내에서 AI 에이전트는 질문에 답하거나(RAG), 작업을 수행하거나, 워크플로를 완전히 자동화할 수 있는 "스마트" 마이크로서비스 역할을 합니다. 이는 생성 AI 모델의 힘과 실제 데이터 소스에 접근하고 상호작용할 수 있는 도구를 결합하여 가능합니다. 14 | 15 | 에이전트는 필요에 따라 여러 도구에 병렬로 접근할 수도 있습니다. 이러한 도구에는 다음이 포함됩니다: 16 | - **Function Calling** 17 | - **Code Interpreter** 18 | - **File Search** 19 | - **Bing 검색 기반 Grounding** 20 | - **Azure Functions** 등 21 | 22 | 이번 섹션에서는 Code Interpreter를 다룰 것입니다. 23 | 24 | ## 에이전트 구성 요소 이해하기 25 | 26 | Azure AI 에이전트를 사용하려면, 에이전트의 기능에 참여하는 다양한 구성 요소를 이해하고 다루는 것이 중요합니다. 27 | 28 | 앞서 언급했듯이, **에이전트**는 질문에 답하거나(RAG), 워크플로를 자동화하거나, 작업을 수행할 수 있는 "스마트" 마이크로서비스입니다. 29 | 30 | 에이전트를 생성한 후 다음 단계는 **스레드(Thread)**를 생성하는 것입니다. **스레드**는 에이전트와 사용자가 대화하는 세션입니다. 스레드는 메시지를 저장하고 모델의 컨텍스트에 맞게 내용을 자동으로 잘라냅니다. 31 | 32 | **메시지(Messages)**는 에이전트나 사용자가 생성하며, 텍스트, 이미지 및 기타 파일을 포함합니다. 이러한 메시지는 스레드에 리스트 형태로 저장됩니다. 33 | 34 | 마지막으로, 에이전트를 **실행(Run)**할 수 있습니다. 이는 스레드의 내용을 기반으로 에이전트를 활성화하여 실행하는 것을 의미합니다. 에이전트는 자신의 설정과 *스레드의 메시지*를 사용하여 모델과 도구를 호출해 작업을 수행합니다. 실행 중, 에이전트는 *메시지를 스레드에 추가*합니다. 35 | 36 | ## 에이전트 생성하기 37 | 38 | 1. 왼쪽 탐색 메뉴의 _Build and customize_에서 **Agents**를 선택합니다. 새로 열린 페이지에서 Azure OpenAI Service 리소스를 선택한 후 **Let's go** 버튼을 클릭합니다. 39 | 40 | ![Azure OpenAI Service 리소스 선택 스크린샷](../../../../lab/Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 새로운 에이전트가 이미 생성되어 있을 것입니다. **Deployments** 섹션에서 **gpt-4o-mini** 모델을 선택했는지 확인합니다. 43 | 44 | > [!TIP] 45 | > **올바른 배포를 선택했는지 확인하세요.** **gpt-4o-mini**와 버전이 표시되어야 합니다. 46 | 47 | 3. 다음으로, 에이전트의 이름을 지정합니다. 에이전트 이름 텍스트 상자에 다음을 입력하세요: 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 이제 에이전트에 **지침**을 제공할 수 있습니다. 이전 섹션에서 본 *System Message*와 유사하게, 에이전트가 따라야 할 목표를 제공합니다. **Prompt** 탭으로 이동하여 다음 지침을 지침 텍스트 상자에 복사하세요. 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![에이전트 세부 정보 업데이트 스크린샷](../../../../lab/Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | > [!NOTE] 66 | > 이전 섹션에서 배운 프롬프트 엔지니어링 기술 중 몇 가지를 이 프롬프트에서 식별할 수 있습니까? 힌트를 보려면 워크숍의 Part 2를 확인하세요. 67 | 68 | 5. **Actions** 탭으로 이동하여 **add**를 클릭합니다. 69 | 70 | ![새 파일 추가 에이전트 스크린샷](../../../../lab/Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 새 탭에서 **Code interpreter**를 선택합니다. 73 | 74 | 7. 다음 창에서 **select local files**를 클릭하고 `Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help` 파일을 선택합니다. 채팅 상자에서 새로운 스레드가 시작됩니다. 91 | 샘플 질문 몇 가지가 표시되는 것을 볼 수 있습니다. 질문 중 하나를 테스트하고 에이전트의 응답을 확인하세요! 92 | 93 | 8. 다음으로, 특정 쿼리를 시도해 봅시다. 다음을 입력하세요: 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | 에이전트가 코드 인터프리터를 사용해 답변을 제공하는 것을 확인할 수 있습니다. 98 | 99 | 9. 이제 이 데이터를 활용해 봅시다. 다음 프롬프트를 입력하세요: 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | 코드 인터프리터를 통해 에이전트가 구조화된 데이터를 그래프로 변환하는 것을 볼 수 있습니다! 104 | 105 | 10. 다른 유형의 그래프를 보고 싶다면 다음 프롬프트를 시도하고 데이터를 그래프로 요청하세요: 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | 에이전트가 판매 수익 데이터를 시간 경과에 따라 분석하여 트렌드 제품을 보여주는 그래프를 제공할 것입니다. 110 | 111 | 축하합니다! 이제 워크숍의 마지막 부분을 완료했으며, Azure OpenAI 에이전트가 무엇인지, 어떻게 작동하는지, Azure AI Studio를 사용하여 이를 생성하는 방법을 배웠습니다. 112 | 113 | 워크숍의 마지막 섹션으로 이동하세요: [요약](./07_Summary.md) 114 | 115 | **면책 조항**: 116 | 이 문서는 AI 기반 기계 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해서는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/lab/Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 요약 2 | 잘하셨습니다! 워크숍의 끝까지 오셨고, 생성형 AI의 힘을 활용하여 Contoso Outdoor Company를 위한 전자상거래 웹사이트 디자인을 성공적으로 구축하셨습니다. 3 | 4 | ## 리소스 정리 5 | 6 | 튜토리얼을 마친 후, 생성한 모든 리소스를 삭제하고 싶으실 수 있습니다. 개별적으로 리소스를 삭제하거나, 전체 리소스 그룹을 삭제할 수 있습니다. 7 | 8 | 1. [Azure Portal](https://portal.azure.com)에 접속합니다. 9 | 2. 홈페이지에서 **Resource groups**로 이동한 후, 우리가 생성한 리소스 그룹 **interact-with-llms**를 선택합니다. 10 | 11 | ![](../../../../lab/Workshop Instructions/Images/azure-portal-resource-group.PNG) 12 | 13 | 3. 리소스 그룹 상단 네비게이션 패널에서 **Delete resource group**을 선택합니다. 14 | 15 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-navigation.PNG) 16 | 17 | 4. 리소스 그룹 삭제를 확인하기 위해 리소스 그룹 이름을 입력하라는 메시지가 표시됩니다. **interact-with-llms**를 입력한 후 **Delete**를 클릭하여 리소스 그룹을 삭제합니다. 18 | 19 | ![Deleting resource Group](../../../../lab/Workshop Instructions/Images/delete-resource-group-name.PNG) 20 | 21 | 5. 리소스 그룹이 삭제되었다는 알림을 받게 됩니다. 22 | 23 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-notification-popup.PNG) 24 | 25 | ## 기억해야 할 주요 사항 26 | - 생성형 AI 모델은 사람처럼 텍스트, 이미지, 코드를 생성할 수 있습니다. 27 | - 생성형 AI 모델은 상태를 유지하지 않습니다. 즉, 학습하지 않으며 고정된 시점의 학습 데이터에 의해 제한됩니다. 28 | - Azure OpenAI Service는 최첨단 자연어 생성형 AI 모델(GPT-4, GPT-4 turbo, GPT-4o)을 보안성과 엔터프라이즈 수준의 약속과 함께 제공하는 관리형 서비스입니다. 29 | - Azure AI Foundry는 Azure AI 포털과 통합된 SDK 경험을 비롯하여, 사전 구축된 앱 템플릿 및 3P ISV 도구 및 서비스에 대한 액세스를 제공하는 Azure의 통합 AI 플랫폼입니다. 30 | - 프롬프트 엔지니어링은 생성형 AI 모델의 "기반"을 다지는 기술로, 모델 출력의 스타일을 조정하고 사실 정보를 제공하며 의도하지 않은 동작을 제한하는 데 사용됩니다. 31 | - Azure AI Agents는 데이터를 분석하고, 솔루션을 제안하며, 도구를 통합하여 작업을 자동화하는 복잡한 코파일럿과 같은 경험을 가진 애플리케이션을 개발자들이 더 쉽게 만들 수 있도록 돕는 새로운 기능입니다. 32 | 33 | ## 추가 자료 34 | Azure OpenAI Service와 Azure AI Foundry에 대해 더 깊이 배우기 위한 몇 가지 리소스를 소개합니다: 35 | 36 | - Microsoft Learn 모듈: [Azure OpenAI Service 소개](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 37 | - [Azure OpenAI Service 문서](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 38 | - [Azure OpenAI Service 가격](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 39 | - [Azure OpenAI Service의 투명성 노트](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste)는 Azure OpenAI 모델의 기능, 사용 사례 및 한계에 대한 세부 정보를 제공합니다. 40 | - [Azure AI Foundry와 RAG 패턴 구현 시작하기](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 41 | - [Azure AI Agents 시작하기](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 42 | 43 | **면책 조항**: 44 | 이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 최선을 다하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 출처로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/ko/session-delivery-resources/README.md: -------------------------------------------------------------------------------- 1 | ## 사용 방법 2 | 3 | 환영합니다, 4 | 5 | > 다음 자료는 발표자가 세션을 학습하고 전달하는 데 필요한 내용을 담고 있습니다. 6 | 7 | 이 놀라운 콘텐츠를 전달하기 위해 오신 것을 환영합니다. 숙련된 발표자로서 이미 "어떻게" 발표해야 하는지 알고 계실 거라 믿습니다. 따라서 이 가이드는 "무엇을" 발표해야 하는지에 중점을 둡니다. 발표 디자인 팀이 준비한 발표 자료를 전체적으로 이해할 수 있도록 안내합니다. 8 | 9 | 발표 영상과 함께, 성공적인 발표를 위해 필요한 모든 자료(예: PowerPoint 슬라이드, 데모 지침 및 코드)로 연결되는 링크도 제공합니다. 10 | 11 | 1. 문서를 처음부터 끝까지 읽으세요. 12 | 13 | 1. 리드 발표자에게 질문하세요. 14 | 15 | ## 파일 요약 16 | 17 | | 리소스 | 링크 | 설명 | 18 | |-------------------|----------------------------------|-------------------| 19 | | PowerPoint | [Presentation](https://aka.ms/AAryqzi) | 슬라이드 | 20 | | 세션 전달 리소스 PPT 녹화본 | [Video](https://aka.ms/AAs7etz) | 세션 전달 리소스 PowerPoint 슬라이드의 녹화본 | 21 | | 세션 전달 리소스 PowerPoint | [Deck](https://aka.ms/AAs7mfu) | 워크숍용 세션 전달 리소스 슬라이드 | 22 | | 워크숍 지침 | [Video](/lab/Workshop%20Instructions/00_Introduction.md) | LLM과 상호작용하는 단계별 지침 | 23 | | Skillable 워크숍 지침 | [Video](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | Skillable 실습 지침 | 24 | 25 | ## 시작하기 26 | 27 | 이 저장소는 다음 섹션으로 나뉩니다: 28 | 29 | | [Slides](https://aka.ms/AAryqzi) | [Skillable 워크숍 지침](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | [Skillable이 아닌 워크숍 지침](/lab/Workshop%20Instructions/00_Introduction.md) | 30 | |-------------------|---------------------------|--------------------------------------| 31 | | 35 슬라이드 | 4파트 - 15분 | [Skillable 외부에서 워크숍 실행](/lab/Workshop%20Instructions/00_Introduction.md) | 32 | 33 | ## 슬라이드 34 | 35 | [슬라이드](https://aka.ms/AAryqzi)에는 세션 각 부분에 대한 발표자 노트가 포함되어 있습니다. 36 | 37 | ### 시간 관리 38 | 39 | > [NOTE!] 40 | > 워크숍의 경우, Q&A는 보통 워크숍 진행 중에 이루어집니다. 이 5분을 실습 시간을 늘리는 데 활용할 수 있습니다. 41 | 42 | | 시간 | 설명 43 | --------------|------------- 44 | 0:00 - 3:00 | 세션 소개 45 | 3:00 - 15:00 | 대규모 언어 모델의 작동 원리 46 | 15:00 - 30:00 | 텍스트 생성 47 | 30:00 - 45:00 | 이미지 생성 및 멀티모달리티 48 | 45:00 - 65:00 | Azure AI 어시스턴트 49 | 70:00 - 75:00 | 주요 행사 요약 50 | 51 | ### 워크숍 전달 형식 52 | 53 | - 이 워크숍에서는 처음 15분 동안 슬라이드를 통해 LLM의 작동 방식을 설명하세요. 54 | - 나머지 시간 동안 참석자들이 워크숍을 개별적으로 진행하도록 하고, 필요할 때 도움을 제공하세요. 55 | - 마지막에는 최종 슬라이드를 공유하고 세션을 마무리하세요. 56 | 57 | ## Skillable에서의 워크숍 지침 58 | 59 | [여기서 도구와 사용 방법에 대한 개요를 확인할 수 있습니다](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md). 60 | 61 | | 섹션 | 소요 시간 | 62 | -------------------------------------------------------------------------------------------------------|---------| 63 | | [1 - Azure AI Foundry 소개](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md) | 10분 | 64 | | [2 - 텍스트 생성](/lab/Skillable%20Workshop%20Instructions/02_Text_Generation.md) | 15분 | 65 | | [3 - 이미지 생성](/lab/Skillable%20Workshop%20Instructions/03_Image_Generation.md) | 10분 | [링크](../../../session-delivery-resources) | 15분 | 66 | | [4 - 멀티모달리티](/lab/Skillable%20Workshop%20Instructions/04_Multimodal_Interfaces.md) | 10분 | 67 | | [5 - AI 어시스턴트](/lab/Skillable%20Workshop%20Instructions/05_AI_Assistants.md) | 15분 | [링크](../../../session-delivery-resources) | 68 | 69 | ## Skillable 외부에서 워크숍 실행 70 | 71 | Skillable 접근 없이 세션을 전달하려면, 참석자가 실습을 완료할 때 다음 요구 사항을 충족하도록 하세요: 72 | 73 | - Azure 구독 - [무료로 생성하세요.](https://azure.microsoft.com/free/cognitive-services?WT.mc_id=aiml-132569-bethanycheum) 74 | - [GPT-4 및 DALL.E 3 모델이 지원되는 Azure OpenAI 리소스](https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#assistants-preview?WT.mc_id=aiml-132569-bethanycheum)가 지원되는 지역. 권장 지역은 **스웨덴 중앙**입니다. 75 | 76 | Azure에 리소스를 배포하려면, **Deploy to Azure** 버튼을 클릭하세요. 77 | 78 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 79 | 80 | 모든 워크숍 지침은 [여기](/lab/Workshop%20Instructions/00_Introduction.md)에서 확인할 수 있습니다. 81 | 82 | **면책 조항**: 83 | 이 문서는 기계 기반 AI 번역 서비스를 사용하여 번역되었습니다. 정확성을 위해 노력하고 있지만, 자동 번역에는 오류나 부정확성이 포함될 수 있습니다. 원본 문서를 해당 언어로 작성된 상태에서 권위 있는 자료로 간주해야 합니다. 중요한 정보의 경우, 전문적인 인간 번역을 권장합니다. 이 번역 사용으로 인해 발생하는 오해나 잘못된 해석에 대해 당사는 책임을 지지 않습니다. -------------------------------------------------------------------------------- /translations/tw/CODE_OF_CONDUCT.md: -------------------------------------------------------------------------------- 1 | # Microsoft 開源行為準則 2 | 3 | 此專案已採用 [Microsoft 開源行為準則](https://opensource.microsoft.com/codeofconduct/)。 4 | 5 | 資源： 6 | 7 | - [Microsoft 開源行為準則](https://opensource.microsoft.com/codeofconduct/) 8 | - [Microsoft 行為準則常見問題](https://opensource.microsoft.com/codeofconduct/faq/) 9 | - 如有疑問或擔憂，請聯繫 [opencode@microsoft.com](mailto:opencode@microsoft.com) 10 | 11 | **免責聲明**： 12 | 本文件使用機器翻譯人工智慧服務進行翻譯。儘管我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始語言的文件應被視為具有權威性的來源。對於關鍵資訊，建議尋求專業人工翻譯。我們對於使用此翻譯所引起的任何誤解或錯誤解釋不承擔任何責任。 -------------------------------------------------------------------------------- /translations/tw/README.md: -------------------------------------------------------------------------------- 1 | # 與 Azure AI Foundry 的多模態模型和代理互動 2 | 3 | [![Azure AI Community Discord](https://dcbadge.vercel.app/api/server/ByRwuEEgH4)](https://discord.com/invite/ByRwuEEgH4?WT.mc_id=aiml-137032-bethanycheum) 4 | 5 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 6 | 7 | 此儲存庫是為 AI Tour 工作坊設計的：*與 Azure AI Foundry 的多模態模型互動* 8 | 9 | ![session banner](../../Images/banner.jpg) 10 | 11 | ## 課程簡介 12 | 13 | 這場工作坊旨在為您提供有關如何在 Azure AI Foundry 入口網站中與 OpenAI 模型互動的核心概念與最佳實踐的實作介紹。如果您擁有 Skillable 環境，將使用提供給您的虛擬機器和預先配置的 Azure 資源來完成實驗室。如果您自行進行此工作坊，則需要擁有 Azure 訂閱並自行在 Azure 上配置資源。 14 | 15 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 16 | 17 | ### 摘要 18 | 19 | 透過 Azure OpenAI 的 GPT-4o 多模態模型，參與這場 Azure AI Foundry 的實作體驗。學習核心概念與最佳實踐，利用 GPT-4o-mini、DALL-E 和 GPT-4o-realtime 有效地生成文字、聲音和影像。創建能提升用戶體驗並推動創新的 AI 代理。 20 | 21 | ### 時長 22 | 75 分鐘 23 | 24 | ### [簡報檔案](https://aka.ms/AAryqzi) 25 | 26 | ## 語言版本 27 | 28 | | 語言 | 代碼 | 連結至翻譯版 README | 最後更新日期 | 29 | |----------------------|------|------------------------------------------------------------|--------------| 30 | | 中文（簡體） | zh | [中文翻譯（簡體）](../zh/README.md) | 2025-03-05 | 31 | | 中文（繁體） | tw | [中文翻譯（繁體）](./README.md) | 2025-03-05 | 32 | | 日文 | ja | [日文翻譯](../ja/README.md) | 2025-03-05 | 33 | | 韓文 | ko | [韓文翻譯](../ko/README.md) | 2025-03-05 | 34 | 35 | ## 學習目標 36 | * 理解大型語言模型的運作方式，包括 token 的概念​ 37 | * 探索提示工程的技術與最佳實踐​ 38 | * 理解模型如何應用現有知識​ 39 | * 開始構建 Azure AI 代理​ 40 | * 在 LLM 應用中實現函數調用​ 41 | 42 | ## 使用技術 43 | * Azure AI Foundry 入口網站 44 | 45 | ## 工作坊指導 46 | 47 | 詳細的工作坊步驟指導如下： 48 | 49 | - [Skillable 工作坊指導](https://github.com/microsoft/aitour-interact-with-llms/blob/main/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) 50 | - [直接在 Azure 上部署的工作坊指導](https://github.com/microsoft/aitour-interact-with-llms/blob/main/lab/Workshop%20Instructions/00_Introduction.md) - 適用於現場站點 51 | 52 | ## 附加資源與持續學習 53 | 54 | | 資源 | 連結 | 描述 | 55 | |:------------------|:---------------------------------|:---------------------| 56 | | 課程簡報 | [查看](https://aka.ms/AAryqzi) | 按自己的節奏回顧工作坊中的簡報 | 57 | | Azure OpenAI 服務入門 | [Microsoft Learn 模組](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-bethanycheum) | 了解更多有關 Azure OpenAI 服務的資訊 | 58 | | Azure OpenAI 服務文件 | [Azure OpenAI Service documentation](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) | 了解更多有關 Azure OpenAI 服務的資訊 | 59 | | Azure OpenAI 服務定價 | [定價詳情](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-bethanycheum) | 了解更多有關 Azure OpenAI 服務的定價資訊 | 60 | | Azure OpenAI 服務透明性說明 | [透明性說明](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-bethanycheum) | 了解更多有關 Azure OpenAI 服務的使用案例、功能與限制 | 61 | 62 | ## 內容擁有者 63 | 64 | 65 | 66 | 73 | 80 |
67 | Chris Testa-O'Neill 68 |
69 | Gustavo Cordido 70 |
71 | 📢 72 | 		74 | Chris Testa-O'Neill 75 |
76 | Bethany Jepchumba 77 |
78 | 📢 79 |
81 | 82 | ## 負責任的 AI 83 | 84 | Microsoft 致力於幫助客戶負責任地使用我們的 AI 產品，分享我們的經驗，並通過透明性說明和影響評估等工具建立基於信任的合作關係。許多這些資源可以在 [https://aka.ms/RAI](https://aka.ms/RAI) 找到。 85 | Microsoft 的負責任 AI 策略基於我們的 AI 原則，包括公平性、可靠性與安全性、隱私與安全性、包容性、透明性和問責性。 86 | 87 | 像本範例中使用的大規模自然語言、圖像和語音模型可能會表現出不公平、不可靠或冒犯性的行為，從而導致傷害。請參閱 [Azure OpenAI 服務透明性說明](https://learn.microsoft.com/legal/cognitive-services/openai/transparency-note?tabs=text) 以了解相關風險和限制。 88 | 89 | 減輕這些風險的建議方法是在您的架構中包含一個安全系統，該系統可以檢測和防止有害行為。[Azure AI Content Safety](https://learn.microsoft.com/azure/ai-services/content-safety/overview) 提供了一個獨立的保護層，能夠檢測應用和服務中用戶生成和 AI 生成的有害內容。Azure AI Content Safety 包括文字和圖像 API，可幫助您檢測有害材料。在 Azure AI Foundry 入口網站中，Content Safety 服務讓您可以查看、探索和嘗試檢測不同模態有害內容的範例代碼。以下 [快速入門文件](https://learn.microsoft.com/azure/ai-services/content-safety/quickstart-text?tabs=visual-studio%2Clinux&pivots=programming-language-rest) 指導您如何向服務發送請求。 90 | 91 | 另一個需要考量的方面是整體應用效能。對於多模態和多模型應用，我們認為效能意味著系統能如您和您的用戶所預期運行，包括不生成有害輸出。重要的是使用 [效能與質量以及風險與安全性評估工具](https://learn.microsoft.com/azure/ai-studio/concepts/evaluation-metrics-built-in) 評估整體應用效能。您還可以創建並使用[自訂評估工具](https://learn.microsoft.com/azure/ai-studio/how-to/develop/evaluate-sdk#custom-evaluators) 進行評估。 92 | 93 | 您可以在開發環境中使用 [Azure AI 評估 SDK](https://microsoft.github.io/promptflow/index.html) 評估您的 AI 應用。透過測試數據集或目標，您的生成式 AI 應用生成的結果可以使用內建或自訂評估工具進行量化測量。要開始使用 Azure AI 評估 SDK 評估您的系統，您可以參考 [快速入門指南](https://learn.microsoft.com/azure/ai-studio/how-to/develop/flow-evaluate-sdk)。完成評估運行後，您可以[在 Azure AI Foundry 入口網站中視覺化結果](https://learn.microsoft.com/azure/ai-studio/how-to/evaluate-flow-results)。 94 | 95 | **免責聲明**： 96 | 本文件已使用機器翻譯服務進行翻譯。雖然我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原文的母語版本應被視為具有權威性的來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用本翻譯而引起的任何誤解或誤讀不承擔責任。 -------------------------------------------------------------------------------- /translations/tw/SECURITY.md: -------------------------------------------------------------------------------- 1 | ## 安全性 2 | 3 | Microsoft 非常重視我們軟體產品與服務的安全性，這也包括透過我們的 GitHub 組織管理的所有原始碼庫，這些組織包括 [Microsoft](https://github.com/Microsoft)、[Azure](https://github.com/Azure)、[DotNet](https://github.com/dotnet)、[AspNet](https://github.com/aspnet) 和 [Xamarin](https://github.com/xamarin)。 4 | 5 | 如果您認為在任何 Microsoft 擁有的原始碼庫中發現了符合 [Microsoft 對安全性漏洞的定義](https://aka.ms/security.md/definition) 的安全性漏洞，請按照以下描述向我們報告。 6 | 7 | ## 報告安全性問題 8 | 9 | **請不要透過公開的 GitHub 問題回報安全性漏洞。** 10 | 11 | 相反，請透過 Microsoft 安全性回應中心 (MSRC) 回報：[https://msrc.microsoft.com/create-report](https://aka.ms/security.md/msrc/create-report)。 12 | 13 | 如果您希望在不登入的情況下提交，請發送電子郵件至 [secure@microsoft.com](mailto:secure@microsoft.com)。如果可能，請使用我們的 PGP 金鑰加密您的訊息；您可以從 [Microsoft 安全性回應中心 PGP 金鑰頁面](https://aka.ms/security.md/msrc/pgp) 下載。 14 | 15 | 您應該會在 24 小時內收到回覆。如果因某些原因未收到回覆，請透過電子郵件進一步跟進，以確保我們已收到您的原始訊息。更多資訊請參閱 [microsoft.com/msrc](https://www.microsoft.com/msrc)。 16 | 17 | 請提供以下所需資訊（盡可能詳細），以幫助我們更好地了解問題的性質和範圍： 18 | 19 | * 問題類型（例如，緩衝區溢位、SQL 注入、跨站腳本攻擊等） 20 | * 與問題相關的原始檔案的完整路徑 21 | * 受影響的原始碼位置（標籤/分支/提交或直接 URL） 22 | * 重現問題所需的特殊配置 23 | * 重現問題的逐步指導 24 | * 概念驗證或利用程式碼（如果可能） 25 | * 問題的影響，包括攻擊者可能如何利用該問題 26 | 27 | 這些資訊將幫助我們更快速地分類您的報告。 28 | 29 | 如果您是為了漏洞賞金而回報，提供更完整的報告可能有助於獲得更高的賞金獎勵。請參閱我們的 [Microsoft 漏洞賞金計畫](https://aka.ms/security.md/msrc/bounty) 頁面，了解我們的活躍計畫的更多細節。 30 | 31 | ## 首選語言 32 | 33 | 我們偏好所有的通訊以英文進行。 34 | 35 | ## 政策 36 | 37 | Microsoft 遵循 [協調式漏洞揭露](https://aka.ms/security.md/cvd) 原則。 38 | 39 | **免責聲明**： 40 | 本文件使用基於機器的人工智能翻譯服務進行翻譯。儘管我們力求準確，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原文檔的母語版本為權威來源。對於關鍵資訊，建議使用專業的人類翻譯。我們對因使用此翻譯而產生的任何誤解或誤讀概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Skillable Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # 簡介 2 | 3 | > [!NOTE] 4 | >這是一個**75分鐘**的工作坊，將帶您實際了解與 OpenAI 模型互動的核心概念和最佳實踐。 5 | 6 | ## 學習目標 7 | 8 | 在工作坊結束時，您應該能夠： 9 | 10 | - 描述 OpenAI 模型在文本生成、圖像生成、多模態對話以及 Azure AI Agents 領域的能力與實現方式。 11 | - 理解提示工程的概念和最佳實踐。 12 | - 利用生成式 AI 的能力，並將提示工程技術應用於您的解決方案中。 13 | 14 | ## 資源 15 | 16 | > [!TIP] 17 | > 您可以在資源標籤中找到登錄和訂閱資訊。 18 | 19 | 有關實驗的所有其他資訊可在 GitHub 上找到： 20 | 21 | - [Skillable 工作坊說明](https://github.com/microsoft/aitour-interact-with-llms/tree/microsoft-ignite-update/lab/Skillable%20Workshop%20Instructions) 22 | 23 | ## 實驗大綱 24 | 25 | 本實驗分為四個部分，將帶您使用 Azure 上的 OpenAI 模型，通過多模態對話界面生成文本內容、圖像資產和代碼片段。此外，我們還將涵蓋 AI 助手的相關內容。本實驗的目標是在多種場景中利用生成式 AI 的能力。 26 | 27 | 1. **第 1 部分 - 文本生成** 使用 GPT4o 生成文本內容和描述。 28 | 2. **第 2 部分 - 圖像生成** 使用 DALLE-3 生成圖像資產。 29 | 3. **第 3 部分 - 多模態** 利用 GPT-4o 的多模態能力與圖像和文本互動。 30 | 4. **第 4 部分 - Azure AI Agents** 使用代碼解釋器來理解您的數據。 31 | 32 | 點擊 **下一步** 設置您的工作坊環境並開始體驗。 33 | 34 | **免責聲明**： 35 | 本文件使用基於機器的人工智能翻譯服務進行翻譯。儘管我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原始語言的文件為權威來源。對於關鍵信息，建議尋求專業的人工作翻譯。我們對因使用此翻譯而產生的任何誤解或錯誤解釋不承擔責任。 -------------------------------------------------------------------------------- /translations/tw/lab/Skillable Workshop Instructions/01_Set_up.md: -------------------------------------------------------------------------------- 1 | # 開始使用 2 | 3 | > [!TIP] 4 | > 什麼是 **Azure AI Foundry**？Azure AI Foundry 是為創新者打造未來的終極平台。它提供一套完整的 Azure AI 功能和工具，用於設計、定制和管理 AI 應用和代理。它與全球最受歡迎的開發工具無縫集成，包括 GitHub、Visual Studio 和 Copilot Studio。Azure AI Foundry 讓開發者和 IT 管理員能輕鬆高效地實現他們的 AI 願景。 5 | 6 | ## 登錄 Windows 7 | 第一步，使用以下憑據登錄實驗室虛擬機： 8 | - 使用者名稱：已設定為 Admin。 9 | - 密碼：輸入 +++@lab.VirtualMachine(Win11Base23B-W11-22H2).Password+++ 並點擊。 10 | 11 | > [!TIP] 12 | > **第一次使用 Skillable？** 綠色的 "T"（例如，+++Admin+++）表示可以一鍵自動輸入到虛擬機當前游標位置的值。這樣可以減少你的操作並最小化輸入錯誤。 13 | 14 | ## 登錄 Azure AI Foundry 入口網站 15 | 16 | 在本次工作坊中，我們將使用 Azure AI Foundry 入口網站，特別是聚焦於 Playground 功能。 17 | 18 | 1. 在桌面上，點擊 **Microsoft Edge** 瀏覽器。導航到第二個瀏覽器標籤，該標籤將顯示 Azure AI Foundry 入口網站的主頁，如下圖所示。 19 | 20 | ![Azure AI Foundry 主頁](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-homepage.jpeg) 21 | 22 | ## 瀏覽 Azure AI Foundry 入口網站 23 | 24 | 1. 首先點擊 **Sign In**，你可以在窗口右上角找到登錄連結，並在提示登錄憑據時輸入以下資訊： 25 | - 電子郵件：+++@lab.CloudPortalCredential(User1).Username+++ 26 | - 密碼：+++@lab.CloudPortalCredential(User1).Password+++ 27 | 28 | 現在我們已經登錄，可以開始探索這個平台。 29 | 30 | 2. 在可用的 Hub 列表中找到 **Workshop AI Hub**。**點擊該 Hub 的專案**以訪問其設定和資源。 31 | 32 | ![Hub 管理標籤](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-hub-navigation.jpeg) 33 | 34 | ## 專案 35 | 36 | ![專案概覽標籤](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-project-overview.jpeg) 37 | 38 | ### 專案概覽 39 | 40 | 在此頁面，我們可以看到 Azure AI Foundry 入口網站專案的概覽。包括： 41 | - **專案名稱和描述**：專案的名稱和一段簡短描述。 42 | - **專案詳細資訊**：包括專案的連接字串、位置、資源群組等屬性集合。 43 | - **端點和金鑰**：Azure AI Foundry 入口網站支持連接多個資源，擴展其功能和特性。資源如 Azure OpenAI、Azure AI 搜索和 Azure AI 服務進一步增強了我們專案的能力，提供 LLM 部署或向量搜索等功能。在這裡可以找到 *API 端點和金鑰* 以及相關文檔。 44 | - **最近的資源和教程**：在這裡，你的最近資源會被高亮顯示，並提供額外的學習資源和教程來幫助你快速入門。 45 | 46 | ### 導航欄 47 | 48 | 你會注意到導航欄已更新，新增了與我們專案相關的功能標籤。 49 | 50 | ![專案導航欄](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-project-navigation.jpeg) 51 | 52 | 我們有以下幾個新區域： 53 | 1. 第一部分包括 _Playgrounds_ 用於與模型互動，_Overview_ 提供專案的一般概覽，_Model Catalog_ 展示 Azure AI Foundry 中可用的模型，還有 _AI Services_，你可以在此查看可用的 Azure AI 服務及其演示、使用案例等。 54 | 2. **Build and Customize**：包括擴展專案範圍的機會，例如 _在代碼中工作_ 通過運行雲端計算，訪問 [_Prompt Flow_](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/prompt-flow)，以及對部署進行 _微調_。 55 | 3. **Assess and Improve**：包括為模型開發 _評估_，使用 _追踪_ 來調試流程，還有 _內容過濾器_ 用於對提示輸入和完成輸出添加安全防護。 56 | 4. **My assets**：在這裡你可以向專案添加額外的元素，例如 _數據_、_索引_、_模型和端點_ 以及 _Web 應用_。 57 | 5. **管理中心**：用於管理所有 Hub 和專案的詳細資訊與資源。 58 | 59 | 在這次實驗中，我們將專注於使用 **Playgrounds**，導航到 Playgrounds 並進入下一部分。 60 | 61 | ## Playgrounds 62 | 63 | 你會發現我們有不同的 **Playground** 選項。每個選項代表與 AI 模型交互和使用的不同方式，可以根據我們的具體需求進行定制。 64 | 65 | 我們將主要在這些 Playgrounds 中工作，特別是以下幾個： 66 | 67 | 1. **Chat Playground** 68 | 2. **Images Playground** 69 | 3. **Real-time audio playground** 70 | 4. **Agents playground** 71 | 72 | ![Azure AI Foundry Playgrounds 圖片](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-playgrounds.jpeg) 73 | 74 | ### Chat Playground 75 | 76 | 在 Playground 區域，導航到 **Chat playground** 並選擇 **Try the Chat Playground**。此功能允許你以對話形式與各種 AI 模型進行互動和測試。 77 | 78 | ![Azure AI Foundry Playground Chat 模式圖片](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-chat-playground.jpeg) 79 | 80 | 1. **部署**：此區域允許我們在已部署的模型之間切換。 81 | 2. **系統訊息框**：在這裡輸入用於指導模型的指令，這些指令是在用戶交互之前設置的。 82 | 3. **添加你的數據**：Azure AI Foundry 入口網站支持為已部署的模型提供外部數據，從而改進搜索和上下文。 83 | 4. **參數**：此標籤包含模型的詳細設定，例如溫度參數。 84 | 5. **聊天框**：在這裡，我們可以看到與模型的互動記錄，以聊天訊息的形式呈現。 85 | 6. **提示框**：這是我們輸入要發送給模型的提示的地方。 86 | 87 | ### Images Playground 88 | 89 | 返回 Playgrounds，選擇 **Image playground** 並點擊 **Try the Image Playground**。此選項允許你進行圖像生成。 90 | 91 | ![Azure AI Foundry Playground Images 模式圖片](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-image-playground.jpeg) 92 | 93 | 1. **部署**：在這個下拉選單中，我們可以選擇用於圖像生成的模型。這些模型與聊天模型一樣，來自我們的部署。 94 | 2. **提示框**：類似於聊天 Playground 的提示框，這是模型從用戶那裡獲取輸入的地方。在圖像生成的情況下，輸入的是我們希望生成的圖像描述。 95 | 3. **結果框**：最後，這裡顯示生成的圖像。 96 | 97 | ### Real-time audio playground 98 | 99 | 返回 Playgrounds，然後選擇 **Real-time audio playground** 並點擊 **Try the Real-time audio Playground**。此功能允許你以音頻對話的形式與各種 AI 模型進行互動和測試。 100 | 101 | ![Azure AI Foundry Playground Real-time audio 模式圖片](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-real-time-audio.jpeg) 102 | 103 | 1. **部署**：此區域允許我們在已部署的模型之間切換。 104 | 2. **服務端回合檢測**：決定服務端是否應使用語音活動檢測（VAD）來識別用戶完成講話的時機。 105 | 3. **系統訊息框**：在這裡輸入用於指導模型的指令，這些指令是在用戶交互之前設置的。 106 | 4. **選擇語音**：gpt-4o-realtime 提供多種語音選項，具有不同的口音或音調能力，可以根據你的喜好進行選擇。 107 | 5. **服務端回合檢測**：額外參數，用於通過改進語音活動檢測來優化模型的效率和性能。 108 | 6. **參數**：此標籤包含模型的詳細設定，例如溫度和最大回應。 109 | 7. **提示按鈕**：類似於聊天 Playground 的提示框，這是模型從用戶那裡獲取輸入的地方。 110 | 111 | ## Agents playground 112 | 113 | 在導航欄中選擇 **Agents**。此功能提供工具來構建、測試和定制 AI 驅動的代理。 114 | 115 | ![Azure AI Foundry Playground Agents 模式圖片](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-pt1.jpeg) 116 | 117 | 當你 _創建第一個代理_ 後，你將看到以下 UI 組件： 118 | 1. **代理 ID 和名稱**：在這裡你可以為代理命名。 119 | 2. **部署**：在這個下拉選單中，我們可以選擇用於圖像生成的模型。這些模型與聊天模型一樣，來自我們的部署。 120 | 3. **指令框**：在這裡輸入用於指導模型的指令，這些指令是在用戶交互之前設置的。 121 | 122 | ![](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-pt2.jpeg) 123 | 124 | 4. **知識**：知識讓代理可以訪問數據來源，以增強回答的基礎。 125 | 5. **動作**：通過允許代理在運行時執行各種工具來提升其能力。 126 | 6. **模型設定**：此標籤包含模型的詳細設定，例如溫度和 Top P。 127 | 7. **提示框**：類似於聊天 Playground 的提示框，這是模型從用戶那裡獲取輸入的地方。 128 | 129 | ## 準備開始 130 | 131 | 以上涵蓋了 Azure AI Foundry 入口網站的必要設置和基礎知識。我們現在將繼續與模型進行互動。 132 | 133 | - 導航到 **Playgrounds**，選擇 **Chat playground** 並點擊 **Try the Chat Playground**。 134 | - 在 _指令標籤_ 中，點擊 Next 繼續到第一部分：文本生成。 135 | 136 | 點擊 **Next** 繼續到文本生成部分。 137 | 138 | **免責聲明**： 139 | 本文件是使用機器翻譯AI服務進行翻譯的。我們雖然努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原文檔的母語版本作為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對於使用此翻譯所產生的任何誤解或誤讀概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Skillable Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # 第三部分 - 多模態 2 | 3 | 到目前為止，我們僅使用單一模態與大型語言模型（LLMs）進行互動：輸入文字並接收文字或圖片作為回應。然而，多模態介面越來越受歡迎，因為它們允許使用者通過多種模態（如文字、圖片和語音）與模型互動，從而改善人機互動體驗。在本節中，我們將探索如何使用多模態介面與 **GPT-4o mini** 和 **GPT-4o audio** 互動。 4 | 5 | > [!TIP] 6 | > **GPT-4o mini** 是一種結合自然語言處理與視覺理解的多模態模型。它能夠處理文字與圖片的組合作為輸入，並生成與兩種模態相關的輸出。 7 | 8 | **GPT-4o realtime** 支援低延遲的「語音輸入、語音輸出」對話式互動。這非常適合用於需要即時互動的場景，例如客戶支持代理、語音助手和即時翻譯。 9 | 10 | ## 最佳實踐 11 | 12 | - **情境具體性**：為當前場景添加上下文可以讓模型更好地理解適當的輸出。這種具體性有助於聚焦於相關細節並避免多餘的資訊。 13 | 14 | - **任務導向提示**：聚焦於特定任務的提示可以幫助模型從該角度生成輸出。 15 | 16 | - **定義輸出格式**：明確說明所需的輸出格式，例如 markdown、JSON、HTML 等。您還可以建議特定的結構、長度或輸出內容的特定屬性。 17 | 18 | - **處理拒絕**：當模型表示無法完成某項任務時，改進提示可能是一個有效的解決方案。更具體的提示可以引導模型更清楚地理解並更好地執行任務。一些需要注意的提示： 19 | - 要求模型對生成的回應進行解釋，以增強輸出的透明度 20 | - 如果使用單一圖片作為提示，將圖片放在文字之前 21 | - 要求模型先詳細描述圖片內容，然後從描述中完成您的特定任務 22 | 23 | - **提示調整**：嘗試我們在文字生成場景中探索過的提示調整技術，例如： 24 | - 將請求分解（例如，連鎖思維） 25 | - 添加範例（例如，少樣本學習） 26 | 27 | ## 使用圖片與模型互動 28 | 29 | 1. 前往 **playgrounds** 區域並選擇 **Try the Chat Playground** 30 | 31 | >[!alert] 在開始之前，點擊 **Clear Chat** 以避免受之前互動的上下文影響。 32 | 33 | 2. 在聊天文字框中，點擊附件圖示以上傳本地圖片。 34 | 35 | ![將圖片作為輸入上傳](../../../../lab/Skillable Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. 從桌面上的 ```house-multimodal``` 資料夾中選擇所有圖片。 38 | 4. 上傳檔案後，嘗試以下提示開始與圖片互動： 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 提供上下文 50 | 51 | 在接下來的演示中，我們將使用一張受遮擋的圖片。圖片中故意添加了邊界框來遮蔽完整的上下文。 52 | 53 | 1. **清除聊天**，然後在聊天文字框中添加提示：``what is that?`` 54 | 2. 點擊附件圖示，進入桌面資料夾並上傳 [context-001](./Images/context-001.png) 圖片，然後發送提示。 55 | 56 | > 如果我問您「嘿，這是什麼？」您可能會難以辨認這段文字。這展示了一個經典的電腦視覺挑戰：在光學字符識別中解讀模糊、孤立的文字。現在，如果我使用 gpt-4o-mini 並問「這是什麼？」它回應道：「由於手寫風格，文字無法清楚辨認。可能是 'Mark'。」值得注意的是，它還提到「部分文字似乎被遮擋，無法讀取。」 57 | 58 | 3. 我們將添加一張新圖片，進入桌面資料夾並上傳 [context-002](./Images/context-002.png) 圖片到聊天中，並使用提示 ```Extract all the texts from the image. Explain what you think this is.``` 59 | 60 | > 再揭示多一些內容後，仍然很難辨認這是什麼。這次，提示稍作調整為：「從圖片中提取所有文字。解釋您認為這是什麼。」gpt-4o-mini 回應道：「這寫著 'milk, steak'，看起來像是一張購物清單。」它還提到圖片仍然部分被遮擋，這非常有趣。 61 | 62 | 4. 我們將添加最後一張圖片，進入桌面資料夾並上傳 [context-003](./Images/demo-4-context-003.png) 圖片到聊天中，並使用提示：```Extract all the texts from the image. Explain what you think this is.``` 63 | 64 | > 當完整圖片顯示後，我們發現 gpt-4o-mini 是正確的——這確實是一張購物清單。它準確地辨認出「mayo」和「organic bread」等項目。更有趣的是，它還解讀了底部的備註，指出「關於啤酒項目的備註似乎是一個提醒，或者是對節制或限制數量的強調。」 65 | 66 | ## 即時語音互動 67 | 68 | 通過整合 **gpt-4o-realtime-preview** 模型，用戶可以使用語音指令與平台互動，使購物體驗更加有趣且易於訪問。 69 | 70 | 1. 返回 **Playgrounds**，選擇 **try Real-time audio playground**，並將部署設置為 **gpt-4o-realtime-preview** 71 | 72 | 2. 在 **model instructions box** 中更新以下內容： 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. 在 playground 中，點擊 **enable microphone**，會彈出一個窗口，點擊允許以啟用語音互動。 77 | 78 | ![在 AI Foundry 中啟用語音](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. 點擊 **start listening** 按鈕，說出 ``hello`` 並詢問模型一些事實。 81 | 82 | 5. 接著，修改系統訊息的語氣如下，然後再次與模型互動： 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 下一步 87 | 88 | 恭喜！您已完成實驗的第三部分，並學會如何與多模態模型互動。 89 | 90 | 點擊 **Next** 前往 Azure AI Agents 部分。 91 | 92 | **免責聲明**： 93 | 本文件是使用機器翻譯服務進行翻譯的。雖然我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原文檔的母語版本作為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或誤讀概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Skillable Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # 第四部分 - Azure AI Agents 2 | 3 | 歡迎來到本工作坊的第四部分！ 4 | 5 | 到目前為止，我們已經以多種不同的方式與大型語言模型進行了互動。然而，這些互動通常是孤立的，並且侷限於特定的用途。**Azure AI Agents** 代表了我們互動的下一步，因為它們幫助我們將之前的互動整合到一個解決方案中。 6 | 7 | > [!TIP] 8 | > **什麼是 Azure AI Agent？** 9 | > 這是一項完全託管的服務，旨在幫助開發者安全地構建、部署和擴展高品質且可擴展的 AI Agents，而無需管理底層的計算和存儲資源。它整合了狀態管理、上下文關聯、聊天線程和代碼執行等功能，從而更容易訪問第三方擴展功能。 10 | 11 | 過去，構建自定義 AI Agents 即使對於經驗豐富的開發者來說也需要大量的工作。雖然聊天補全 API 輕量且強大，但它本質上是無狀態的，這意味著開發者需要手動管理對話狀態和聊天線程、工具整合、文件檢索和索引，以及執行代碼。 12 | 13 | 在 Azure AI Foundry 中，AI Agent 作為一個「智能」微服務，可以用於回答問題（RAG）、執行操作或完全自動化工作流程。它通過結合生成式 AI 模型的力量和工具來實現這一點，從而使其能夠訪問並與現實世界的數據源互動。 14 | 15 | 如果需要，Agents 還可以同時訪問多個工具。其中一些工具包括： 16 | - **函數調用** 17 | - **代碼解釋器** 18 | - **文件搜索** 19 | - **使用 Bing 搜索進行基礎查詢** 20 | - **Azure Functions** 等等。 21 | 22 | 在本節中，我們將探討代碼解釋器。 23 | 24 | ## 理解 Agents 的組成部分 25 | 26 | 開始使用 Azure AI Agents 前，我們需要了解並處理其功能中涉及的不同組成部分。 27 | 28 | 如我們所知，**Agent** 只是個能夠執行操作、自動化工作流程或通過 RAG 回答問題的「智能」微服務。 29 | 30 | 創建 Agent 後的下一步是建立一個 **Thread**。**Thread** 是 Agent 與用戶之間的對話會話。Threads 存儲訊息，並自動處理截斷以適應模型的上下文。 31 | 32 | **訊息** 則由 Agent 或用戶創建，包括文字、圖片和其他文件。這些訊息以列表的形式存儲在 Thread 中。 33 | 34 | 最後，我們可以 **執行** Agent。這意味著啟動 Agent，根據 Thread 的內容開始運行。Agent 使用其配置和 *Thread 的訊息*，通過調用模型和工具來執行任務。在執行過程中，Agent 會將訊息附加到 Thread 中。 35 | 36 | ## 創建 Agent 37 | 38 | 1. 在左側導航欄的 _Build and customize_ 下，選擇 **Agents**。在新打開的頁面中，點擊下拉箭頭選擇你的 Azure OpenAI Service 資源，然後選擇 **Let's go** 按鈕。 39 | 40 | ![選擇 Azure OpenAI Service 資源的截圖](../../../../lab/Skillable Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 系統會為你創建一個新的 Agent。在 **Deployments** 部分，確保選擇 **gpt-4o-mini** 模型。 43 | 44 | > [!TIP] 45 | > **確保選擇正確的部署**。應顯示 **gpt-4o-mini** 及其版本。 46 | 47 | 3. 接下來，為 Agent 命名。在 Agent Name 文本框中輸入以下內容： 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 接下來，我們可以為 Agent 提供 **指令**。類似於我們在前面部分看到的 *System Message*，它為 Agent 提供需要遵循的目標。導航到 **Prompt** 標籤頁，並將以下指令複製到指令文本框中。 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![Agents Playground 截圖](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | > [!NOTE] 66 | > 你能在這段指令中辨識出多少來自前面部分的提示工程技術？提示請參考工作坊的第二部分。 67 | 68 | 5. 導航到 **Actions** 標籤頁，然後點擊 **add**。 69 | 70 | ![Agent 添加新文件的截圖](../../../../lab/Skillable Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 在新打開的標籤頁中，選擇 **Code interpreter**。 73 | 74 | 7. 在下一個窗口中，點擊 **select local files** 並選擇 `Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Skillable Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Skillable Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help` 文件。你會注意到這將啟動一個新的 Thread。 91 | 你會看到一系列可以測試的範例問題。嘗試其中一個問題，看看 Agent 的回應！ 92 | 93 | 8. 接下來，我們嘗試一個具體的查詢。輸入以下內容： 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | 你會注意到 Agent 使用代碼解釋器來為你提供答案。 98 | 99 | 9. 現在，讓我們嘗試處理這些數據。輸入以下提示： 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | 通過代碼解釋器，Agent 能夠將結構化數據轉換成圖表！ 104 | 105 | 10. 如果你想查看另一種類型的圖表，嘗試以下提示，並請求將數據以圖表形式呈現： 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | Agent 應該通過分析銷售收入數據的時間趨勢，為你提供展示熱門產品趨勢的圖表。 110 | 111 | 恭喜你！你現在已完成工作坊的最後部分，並學會了什麼是 Azure OpenAI Agents，它們如何運作，以及如何通過 Azure AI Foundry 入口創建它們。 112 | 113 | 點擊 **Next** 進入工作坊的總結部分。 114 | 115 | **免責聲明**： 116 | 本文件使用機器翻譯人工智慧服務進行翻譯。雖然我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。原始語言的文件應被視為具有權威性的來源。對於關鍵資訊，建議尋求專業人工翻譯。我們對於使用此翻譯所引起的任何誤解或誤讀概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Skillable Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 摘要 2 | 3 | 恭喜你！成功完成了本次工作坊，生成了文字內容、圖像，並透過生成式 AI 的強大能力探索了多模態功能。 4 | 5 | ## 一些需要記住的重點 6 | - 生成式 AI 模型可以生成類似人類的文字、圖像和程式碼。 7 | - 生成式 AI 模型是無狀態的：它們不會學習，並受到固定時間點的訓練數據的限制。 8 | - Azure OpenAI Service 是一項託管服務，提供最先進的自然語言生成式 AI 模型，包括 GPT-4、GPT-4 turbo 和 GPT-4o，結合 Azure 的安全性和企業級承諾。 9 | - Azure AI Foundry 是 Azure 的統一 AI 平台，包含 Azure AI 入口網站、統一的 SDK 體驗，以及預建的應用模板和第三方 ISV 工具與服務的訪問。 10 | - Prompt engineering 是一種用來「引導」生成式 AI 模型的技巧，可用於影響模型的輸出風格、提供事實性資訊，以及限制非預期行為。 11 | - Azure AI Agents 是一項新功能，可幫助開發者更輕鬆地創建具有先進助手體驗的應用，這些應用能夠篩選數據、建議解決方案，並透過整合工具來自動化任務。 12 | 13 | ## 其他資源 14 | 以下是一些資源，幫助你進一步了解 Azure OpenAI Service 和 Azure AI Foundry： 15 | 16 | - Microsoft Learn 模組: [Azure OpenAI Service 簡介](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 17 | - [Azure OpenAI Service 文件](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 18 | - [Azure OpenAI Service 定價](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 19 | - [Azure OpenAI Service 透明性說明](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) 提供有關 Azure OpenAI 模型的能力、使用案例和限制的詳細資訊。 20 | - [開始使用 Azure AI Foundry 並實現 RAG 模式](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 21 | - [開始使用 Azure AI Agents](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 22 | 23 | **免責聲明**: 24 | 本文件使用機器翻譯AI服務進行翻譯。我們致力於提供準確的翻譯，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原始語言的文件作為權威來源。對於關鍵資訊，建議尋求專業人工翻譯。我們對於使用本翻譯所引起的任何誤解或錯誤解讀概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # 簡介 2 | 3 | > [!NOTE] 4 | >這是一個 **75 分鐘** 的工作坊，將為您提供與 OpenAI 模型互動的核心概念和最佳實踐的實作入門。 5 | 6 | ## 學習目標 7 | 8 | 在本次工作坊結束時，您應該能夠： 9 | 10 | - 描述 OpenAI 模型在文字生成、圖像生成、多模態對話和 Azure AI Agents 等領域的能力及應用。 11 | - 理解提示工程的概念和最佳實踐。 12 | - 運用生成式 AI 的能力，並將提示工程技術應用到您自己的解決方案中。 13 | 14 | ## 實驗內容大綱 15 | 16 | 本次實驗分為 4 個部分，將帶您透過 Azure 上的 OpenAI 模型，生成文字內容、圖像資產和程式碼片段，並利用多模態對話介面進行互動。此外，我們還會介紹 AI 助理的相關內容。本次實驗的目標是將生成式 AI 的能力應用於多種場景。 17 | 18 | 1. **第 1 部分 - 文字生成** 使用 GPT4o 生成文字內容和描述。 19 | 2. **第 2 部分 - 圖像生成** 使用 DALLE-3 生成圖像資產。 20 | 3. **第 3 部分 - 多模態** 運用 GPT-4o 的多模態功能與圖像和文字互動。 21 | 4. **第 4 部分 - Azure AI Agents** 使用程式碼解釋器來理解您的數據。 22 | 23 | **免責聲明**： 24 | 本文件使用基於機器的人工智能翻譯服務進行翻譯。我們雖然努力確保準確性，但請注意，自動翻譯可能會包含錯誤或不準確之處。應以原語言的原始文件作為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用本翻譯而引起的任何誤解或誤讀概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # 第三部分 - 多模態 2 | 3 | 到目前為止，我們僅使用單一模態與 LLMs 互動：輸入文字並接收文字或圖片作為回應。然而，多模態介面正變得越來越受歡迎，因為它們允許用戶透過多種模態（如文字、圖片和語音）與模型互動，從而提升人機互動的體驗。在本節中，我們將探索如何使用多模態介面與 **GPT-4o mini** 和 **GPT-4o audio** 進行互動。 4 | 5 | > [!TIP] 6 | > **GPT-4o mini** 是一個多模態模型，結合了自然語言處理與視覺理解。它能夠處理文字與圖片的組合輸入，並生成與這兩種模態相關的輸出。 7 | 8 | **GPT-4o realtime** 支援低延遲的「語音輸入、語音輸出」對話式互動，非常適合用於需要即時互動的場景，例如客服代理、語音助理和即時翻譯器。 9 | 10 | ## 最佳實踐 11 | 12 | - **情境具體性**：為當前場景添加上下文，可以幫助模型更好地理解並生成適合的輸出。這種具體性有助於專注於相關細節，避免無關資訊。 13 | 14 | - **任務導向提示**：聚焦於特定任務，有助於模型從該角度生成輸出。 15 | 16 | - **定義輸出格式**：清楚說明所需的輸出格式，例如 markdown、JSON、HTML 等。您也可以建議特定的結構、長度或回應的具體屬性。 17 | 18 | - **處理拒絕**：當模型表示無法執行某項任務時，調整提示是一個有效的解決方案。更具體的提示可以幫助模型更清楚地理解並更好地執行任務。以下是一些提示： 19 | - 要求模型對生成的回應進行解釋，以提高輸出的透明度 20 | - 如果使用單張圖片作為提示，將圖片放在文字之前 21 | - 要求模型先詳細描述圖片，然後根據描述完成您的特定任務 22 | 23 | - **提示調整**：嘗試我們在文字生成場景中探索過的提示調整技巧，例如： 24 | - 將請求分解（例如，思路鏈式） 25 | - 添加範例（例如，少樣本學習） 26 | 27 | ## 使用圖片與模型互動 28 | 29 | 1. 前往 **playgrounds** 區域並選擇 **Try the Chat Playground** 30 | 31 | > [!alert] 開始之前，點擊 **Clear Chat** 清除先前互動的上下文。 32 | 33 | 2. 在聊天文字框中，點擊附件圖示上傳本地圖片。 34 | 35 | ![上傳圖片作為輸入](../../../../lab/Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. 選取桌面上 ```house-multimodal``` 資料夾中的所有圖片。 38 | 4. 上傳文件後，嘗試以下提示以開始與圖片互動： 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 提供上下文 50 | 51 | 在下一個演示中，我們有一張被遮擋的圖片。圖片中故意添加了邊框以遮擋完整的上下文。 52 | 53 | 1. _清除聊天_，然後在聊天文字框中添加以下提示：``what is that?`` 54 | 2. 點擊附件圖示，前往桌面資料夾，並上傳 [context-001](./Images/context-001.png) 圖片並發送提示。 55 | 56 | > 如果我問「嘿，這是什麼？」您可能會很難辨認這段文字。這展示了光學字符識別中的一個經典計算機視覺挑戰：解讀模糊、孤立的文字。現在，如果我使用 gpt-4o-mini 並問它「這是什麼？」它會回答：「由於手寫風格，文字不太清晰可讀。可能是 'Mark'。」更有趣的是，它還補充道：「部分文字似乎被遮擋，無法讀取。」 57 | 58 | 3. 我們將新增一張圖片，前往桌面資料夾，並上傳 [context-002](./Images/context-002.png) 圖片到聊天中，並輸入提示 ```Extract all the texts from the image. Explain what you think this is.``` 59 | 60 | > 顯示更多內容後，辨認它仍然相當具有挑戰性。這次，提示稍作調整為：「從圖片中提取所有文字。解釋您認為這是什麼。」gpt-4o-mini 回答：「這上面寫著 'milk, steak'，看起來像是一張購物清單。」它還指出圖片仍然部分被遮擋，這非常有趣。 61 | 62 | 4. 我們將新增最後一張圖片，前往桌面資料夾，並上傳 [context-003](./Images/demo-4-context-003.png) 圖片到聊天中，並輸入提示：```Extract all the texts from the image. Explain what you think this is.``` 63 | 64 | > 完整顯示圖片後，我們發現 gpt-4o-mini 是正確的——這確實是一張購物清單。它準確地識別出像是「mayo」和「organic bread」這樣的項目。更有趣的是，它對底部備註的解讀。它捕捉到了細微的上下文，指出：「啤酒項目的備註似乎在提醒或強調節制或限制數量。」 65 | 66 | ## 即時語音互動 67 | 68 | 透過整合 **gpt-4o-realtime-preview** 模型，用戶可以使用語音命令與平台互動，使購物體驗更加有趣且便利。 69 | 70 | 1. 回到 **Playgrounds** 並選擇 **try Real-time audio playground**，將部署設置為 **gpt-4o-realtime-preview** 71 | 72 | 2. 在 **model instructions box** 中更新以下內容： 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. 在 playground 中，點擊 **enable microphone**，會彈出一個視窗，點擊允許以啟用語音互動。 77 | 78 | ![啟用 AI Foundry 中的語音](../../../../lab/Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. 點擊 **start listening** 按鈕，說出 ``hello`` 並詢問模型一些事實。 81 | 82 | 5. 接著，將系統訊息的語氣更改如下，再次與模型互動： 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 下一步 87 | 88 | 恭喜您！您已完成實驗室的第三部分，並學會了如何與多模態模型互動。 89 | 90 | 繼續前往 [第四部分：Azure AI Agents](./05_AI_Agents.md) 91 | 92 | **免責聲明**： 93 | 本文件已使用基於機器的人工智能翻譯服務進行翻譯。儘管我們努力確保翻譯準確，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原文作為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用本翻譯而引起的任何誤解或誤讀不承擔責任。 -------------------------------------------------------------------------------- /translations/tw/lab/Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # 第四部分 - Azure AI Agents 2 | 3 | 歡迎來到本工作坊的第四部分！ 4 | 5 | 到目前為止，我們已經以多種不同的方式與大型語言模型互動。然而，這些互動是孤立的，並且針對非常特定的用途。**Azure AI Agents** 代表了我們互動的下一步，因為它們幫助我們將之前的互動整合為一個解決方案。 6 | 7 | > [!TIP] 8 | > **什麼是 Azure AI Agent？** 9 | > 它是一種完全託管的服務，旨在讓開發人員能夠安全地構建、部署和擴展高質量且可擴展的 AI Agent，而無需管理底層的計算和存儲資源。該服務整合了狀態管理、上下文關聯、聊天線程以及代碼執行等功能，從而更輕鬆地訪問第三方擴展功能。 10 | 11 | 以前，即使是經驗豐富的開發人員，構建自定義 AI Agent 也需要投入大量精力。雖然聊天完成 API 輕量且強大，但它本質上是無狀態的，這意味著開發人員需要手動管理對話狀態和聊天線程、工具集成、檢索文檔和索引，以及執行代碼。 12 | 13 | 在 Azure AI Foundry 中，AI Agent 作為一種「智能」微服務，可以用來回答問題（RAG）、執行操作，甚至完全自動化工作流程。它通過將生成式 AI 模型的能力與可訪問並與現實世界數據源交互的工具相結合來實現這一目標。 14 | 15 | 如果需要，Agents 還可以同時訪問多個工具。其中一些工具包括： 16 | - **Function Calling** 17 | - **Code Interpreter** 18 | - **File Search** 19 | - **Grounding with Bing Search** 20 | - **Azure Functions** 等等。 21 | 22 | 在本節中，我們將介紹 Code Interpreter。 23 | 24 | ## 理解 Agent 的組成部分 25 | 26 | 要開始使用 Azure AI Agents，了解並處理其功能所涉及的不同組成部分非常重要。 27 | 28 | 正如我們現在所知，**Agent** 僅僅是一種「智能」微服務，可以通過 RAG 執行操作、自動化工作流程或回答問題。 29 | 30 | 創建 Agent 之後的下一步是創建一個 **Thread**。**Thread** 是 Agent 和用戶之間的一個對話會話。Threads 儲存消息並自動處理截斷，以便將內容適配到模型的上下文中。 31 | 32 | **Messages** 是由 Agent 或用戶創建的，包含文本、圖像和其他文件。這些消息以列表形式存儲在 Thread 中。 33 | 34 | 最後，我們可以 **Run** Agent。這意味著啟動 Agent，根據 Thread 的內容開始運行。Agent 使用其配置和 *Thread 的 Messages* 通過調用模型和工具來執行任務。作為運行的一部分，Agent 會將 *Messages 附加到 Thread*。 35 | 36 | ## 創建 Agent 37 | 38 | 1. 在左側導航欄的 _Build and customize_ 下，選擇 **Agents**。在新打開的頁面中，點擊下拉箭頭選擇你的 Azure OpenAI Service 資源，然後選擇 **Let's go** 按鈕。 39 | 40 | ![選擇 Azure OpenAI Service 資源的截圖](../../../../lab/Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 系統會為你創建一個新的 Agent。在 **Deployments** 區域，確保選擇 **gpt-4o-mini** 模型。 43 | 44 | > [!TIP] 45 | > **確保選擇了正確的部署。** 它應顯示為 **gpt-4o-mini** 以及其版本。 46 | 47 | 3. 接下來，為 Agent 命名。在 Agent Name 文本框中輸入以下內容： 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 然後，我們可以為 Agent 提供一個 **instruction**。這類似於我們在之前部分中看到的 *System Message*，為 Agent 提供需要遵循的目標。導航到 **Prompt** 標籤，並將以下指令複製到指令文本框中。 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![Agents Playground](../../../../lab/Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | > [!NOTE] 66 | > 你能從這個 prompt 中識別出多少前面部分提到的 prompt 工程技術？提示請參考工作坊的第二部分。 67 | 68 | 5. 導航到 **Actions** 標籤，然後點擊 **add**。 69 | 70 | ![Agent 添加新文件](../../../../lab/Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 新標籤頁中，選擇 **Code interpreter**。 73 | 74 | 7. 在下一個窗口中，點擊 **select local files**，選擇 `Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help`，並在聊天框中確認。你會注意到這會開始一個新 Thread。 91 | 你還會看到一系列範例問題供測試。測試其中一個問題，觀察 Agent 的回覆！ 92 | 93 | 8. 接下來，我們嘗試一個具體的查詢。輸入以下內容： 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | 你會注意到 Agent 使用 Code Interpreter 為你提供答案。 98 | 99 | 9. 現在，我們嘗試處理這些數據。輸入以下提示： 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | 通過 Code Interpreter，Agent 能夠將結構化數據轉換為圖表！ 104 | 105 | 10. 如果你想查看另一種類型的圖表，可以嘗試以下提示，並請求數據以圖表形式呈現： 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | Agent 應該通過分析銷售收入數據隨時間的變化，為你生成一個展示熱門產品趨勢的圖表。 110 | 111 | 恭喜！你現在已經完成了工作坊的最後部分，並學習了什麼是 Azure OpenAI Assistants，它們如何運作以及如何使用 Azure AI Studio 創建它們。 112 | 113 | 前往工作坊的最後部分：[總結](./07_Summary.md) 114 | 115 | **免責聲明**： 116 | 本文件使用基於機器的人工智能翻譯服務進行翻譯。儘管我們努力確保準確性，但請注意，自動翻譯可能包含錯誤或不準確之處。應以原文文件為權威來源。對於關鍵信息，建議尋求專業人工翻譯。我們對因使用此翻譯而引起的任何誤解或錯誤解釋概不負責。 -------------------------------------------------------------------------------- /translations/tw/lab/Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 摘要 2 | 做得好！你完成了這次工作坊，並成功為 Contoso Outdoor Company 設計了一個電商網站，充分利用了生成式 AI 的強大功能。 3 | 4 | ## 清理資源 5 | 6 | 完成教學後，您可能需要刪除所有創建的資源。您可以單獨刪除資源，也可以刪除整個資源群組。 7 | 8 | 1. 瀏覽至 [Azure Portal](https://portal.azure.com)。 9 | 2. 從首頁導航到 **資源群組**，然後選擇我們創建的資源群組：**interact-with-llms**。 10 | 11 | ![](../../../../lab/Workshop Instructions/Images/azure-portal-resource-group.PNG) 12 | 13 | 3. 在資源群組的頂部導航欄中，選擇 **刪除資源群組**。 14 | 15 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-navigation.PNG) 16 | 17 | 4. 系統會提示您輸入資源群組名稱以確認刪除。輸入名稱 **interact-with-llms**，然後點擊 **刪除** 以刪除您的資源群組。 18 | 19 | ![刪除資源群組](../../../../lab/Workshop Instructions/Images/delete-resource-group-name.PNG) 20 | 21 | 5. 您將收到資源群組已刪除的通知。 22 | 23 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-notification-popup.PNG) 24 | 25 | ## 一些關鍵要點 26 | - 生成式 AI 模型可以生成類似人類的文本、圖像和代碼。 27 | - 生成式 AI 模型是無狀態的：它們不會學習，並受到其訓練數據的限制，該數據在某個固定時間點被凍結。 28 | - Azure OpenAI Service 是一項託管服務，提供對最先進的自然語言生成式 AI 模型的訪問，包括來自 OpenAI 的 GPT-4、GPT-4 turbo 和 GPT-4o，並具備 Azure 的安全性和企業承諾。 29 | - Azure AI Foundry 是 Azure 的統一 AI 平台，包含 Azure AI 入口網站和統一的 SDK 體驗，此外還有預構建的應用模板以及對第三方 ISV 工具和服務的訪問。 30 | - Prompt engineering 是一種用於“基礎化”生成式 AI 模型的技術，可用於影響模型輸出的風格、提供事實信息以及限制非預期行為。 31 | - Azure AI Agents 是一項新功能，使開發者能更輕鬆地創建具有複雜類似助理體驗的應用程序，這些應用程序可以篩選數據、建議解決方案並通過整合工具自動化任務。 32 | 33 | ## 其他資源 34 | 以下是一些資源，幫助您更進一步了解 Azure OpenAI Service 和 Azure AI Foundry： 35 | 36 | - Microsoft Learn 模組：[Azure OpenAI Service 簡介](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 37 | - [Azure OpenAI Service 文件](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 38 | - [Azure OpenAI Service 價格](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 39 | - [Azure OpenAI Service 透明度說明](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) 提供了 Azure OpenAI 模型的功能、使用案例和限制的詳細資訊。 40 | - [開始使用 Azure AI Foundry 並實現 RAG 模式](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 41 | - [開始使用 Azure AI Agents](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 42 | 43 | **免責聲明**： 44 | 本文件已使用機器翻譯服務進行翻譯。我們雖然努力確保準確性，但請注意，自動翻譯可能會包含錯誤或不準確之處。應以原文文件為權威來源。對於關鍵資訊，建議尋求專業人工翻譯。我們對於因使用此翻譯而產生的任何誤解或錯誤解釋概不負責。 -------------------------------------------------------------------------------- /translations/tw/session-delivery-resources/README.md: -------------------------------------------------------------------------------- 1 | ## 如何使用 2 | 3 | 歡迎加入， 4 | 5 | > 以下資源是為了幫助講者學習並傳遞這場課程而設計的。 6 | 7 | 很高興你能參與這次的內容傳遞。我們相信作為一位有經驗的講者，你已經知道如何進行演講，因此本指南將重點放在你需要呈現的內容上。這份指南將帶你完整了解由簡報設計團隊製作的內容。 8 | 9 | 除了簡報的影片之外，本文件還會連結到所有你需要的資源，包括 PowerPoint 投影片以及示範指導與程式碼。 10 | 11 | 1. 通讀整份文件。 12 | 13 | 1. 向主講者提出問題。 14 | 15 | ## 文件摘要 16 | 17 | | 資源 | 連結 | 描述 | 18 | |-------------------|----------------------------------|-------------------| 19 | | PowerPoint | [Presentation](https://aka.ms/AAryqzi) | 投影片 | 20 | | Session Delivery Resources PPT 錄影 | [Video](https://aka.ms/AAs7etz) | Session Delivery Resources PowerPoint 投影片的錄製版本 | 21 | | Session Delivery Resources PowerPoint | [Deck](https://aka.ms/AAs7mfu) | 本工作坊的 Session Delivery Resources 投影片 | 22 | | Workshop 指導文件 | [Video](/lab/Workshop%20Instructions/00_Introduction.md) | 與 LLMs 互動的逐步指導 | 23 | | Skillable Workshop 指導文件 | [Video](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | Skillable 實驗室指導文件 | 24 | 25 | ## 開始使用 26 | 27 | 此存放庫分為以下幾個部分： 28 | 29 | | [Slides](https://aka.ms/AAryqzi) | [Skillable Workshop 指導文件](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | [非 Skillable Workshop 指導文件](/lab/Workshop%20Instructions/00_Introduction.md) | 30 | |-------------------|---------------------------|-------------------------------------- 31 | | 35 張投影片 | 4 個部分 - 15 分鐘 | [在非 Skillable 環境中執行工作坊](/lab/Workshop%20Instructions/00_Introduction.md) | 32 | 33 | ## 投影片 34 | 35 | [投影片](https://aka.ms/AAryqzi) 每部分都包含講者備註。 36 | 37 | ### 時間安排 38 | 39 | > [NOTE!] 40 | > 工作坊的 Q&A 通常會在進行中進行。可以考慮將這 5 分鐘挪作更實際操作的時間。 41 | 42 | | 時間 | 描述 43 | --------------|------------- 44 | 0:00 - 3:00 | 課程介紹 45 | 3:00 - 15:00 | 大型語言模型如何運作？ 46 | 15:00 - 30:00 | 文本生成 47 | 30:00 - 45:00 | 圖像生成與多模態 48 | 45:00 - 65:00 | Azure AI 助理 49 | 70:00 - 75:00 | 課程重點總結 50 | 51 | ### 工作坊傳遞格式 52 | 53 | - 在本工作坊中，前 15 分鐘專注於講解投影片內容，說明 LLMs 的運作方式。 54 | - 剩餘時間讓參與者個別進行工作坊內容，並在需要時提供協助。 55 | - 最後，分享結尾投影片並總結課程。 56 | 57 | ## Skillable 工作坊指導文件 58 | 59 | [你可以在這裡獲得關於工具的概覽以及我們如何使用它們的高層次介紹](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md)。 60 | 61 | | 部分 | 時間 | 62 | -------------------------------------------------------------------------------------------------------|---------| 63 | | [1 - 介紹 Azure AI Foundry](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md) | 10 | 64 | | [2 - 文本生成](/lab/Skillable%20Workshop%20Instructions/02_Text_Generation.md) | 15 | 65 | | [3 - 圖像生成](/lab/Skillable%20Workshop%20Instructions/03_Image_Generation.md) | 10 | [Link](../../../session-delivery-resources) | 15 | 66 | | [4 - 多模態](/lab/Skillable%20Workshop%20Instructions/04_Multimodal_Interfaces.md) | 10 | 67 | | [5 - AI 助理](/lab/Skillable%20Workshop%20Instructions/05_AI_Assistants.md) | 15 | [Link](../../../session-delivery-resources) | 68 | 69 | ## 在非 Skillable 環境中執行工作坊 70 | 71 | 若要在無 Skillable 訪問的情況下進行本課程，請確保聽眾在完成實驗時符合以下要求： 72 | 73 | - 一個 Azure 訂閱 - [免費創建一個。](https://azure.microsoft.com/free/cognitive-services?WT.mc_id=aiml-132569-bethanycheum) 74 | - 一個支持 GPT-4o 和 DALL.E 3 模型的 Azure OpenAI 資源，且位於支持的區域內。[了解更多](https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#assistants-preview?WT.mc_id=aiml-132569-bethanycheum)。建議的區域為 **瑞典中部**。 75 | 76 | 要將資源部署到 Azure，只需點擊 **部署到 Azure** 按鈕。 77 | 78 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 79 | 80 | 所有工作坊指導文件可在[這裡找到](/lab/Workshop%20Instructions/00_Introduction.md)。 81 | 82 | **免責聲明**： 83 | 本文檔係使用基於機器的人工智能翻譯服務進行翻譯。我們致力於追求準確性，但請注意，自動翻譯可能會包含錯誤或不準確之處。應以原文檔的母語版本作為權威來源。對於關鍵資訊，建議使用專業人工翻譯。我們對因使用此翻譯而產生的任何誤解或錯誤解讀概不負責。 -------------------------------------------------------------------------------- /translations/zh/CODE_OF_CONDUCT.md: -------------------------------------------------------------------------------- 1 | # Microsoft 开源行为准则 2 | 3 | 本项目已采用 [Microsoft 开源行为准则](https://opensource.microsoft.com/codeofconduct/)。 4 | 5 | 资源： 6 | 7 | - [Microsoft 开源行为准则](https://opensource.microsoft.com/codeofconduct/) 8 | - [Microsoft 行为准则常见问题解答](https://opensource.microsoft.com/codeofconduct/faq/) 9 | - 如果有任何问题或疑虑，请联系 [opencode@microsoft.com](mailto:opencode@microsoft.com) 10 | 11 | **免责声明**： 12 | 本文件通过机器翻译服务进行翻译。尽管我们尽力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件作为权威来源。对于关键信息，建议寻求专业人工翻译。我们对于因使用本翻译而产生的任何误解或误读概不负责。 -------------------------------------------------------------------------------- /translations/zh/SECURITY.md: -------------------------------------------------------------------------------- 1 | ## 安全性 2 | 3 | 微软非常重视我们软件产品和服务的安全性，这包括通过我们 GitHub 组织管理的所有源代码库，这些组织包括 [Microsoft](https://github.com/Microsoft)、[Azure](https://github.com/Azure)、[DotNet](https://github.com/dotnet)、[AspNet](https://github.com/aspnet) 和 [Xamarin](https://github.com/xamarin)。 4 | 5 | 如果您认为在任何微软拥有的代码库中发现了安全漏洞，并且符合[微软对安全漏洞的定义](https://aka.ms/security.md/definition)，请按照以下描述向我们报告。 6 | 7 | ## 报告安全问题 8 | 9 | **请不要通过公共 GitHub 问题报告安全漏洞。** 10 | 11 | 相反，请通过 [Microsoft Security Response Center (MSRC)](https://aka.ms/security.md/msrc/create-report) 向我们报告。 12 | 13 | 如果您希望在不登录的情况下提交，可以发送邮件至 [secure@microsoft.com](mailto:secure@microsoft.com)。如果可能，请使用我们的 PGP 密钥加密您的消息；您可以从 [Microsoft Security Response Center PGP Key 页面](https://aka.ms/security.md/msrc/pgp) 下载密钥。 14 | 15 | 您应在 24 小时内收到回复。如果由于某种原因没有收到，请通过电子邮件进行跟进，以确保我们收到了您的原始消息。更多信息可访问 [microsoft.com/msrc](https://www.microsoft.com/msrc)。 16 | 17 | 请尽可能提供以下所需信息，以帮助我们更好地了解可能问题的性质和范围： 18 | 19 | * 问题类型（例如，缓冲区溢出、SQL 注入、跨站脚本攻击等） 20 | * 与问题表现相关的源文件的完整路径 21 | * 受影响源代码的位置（标签/分支/提交或直接 URL） 22 | * 重现问题所需的任何特殊配置 23 | * 重现问题的逐步说明 24 | * 概念验证或漏洞利用代码（如果可能） 25 | * 问题的影响，包括攻击者可能如何利用该问题 26 | 27 | 这些信息将帮助我们更快地对您的报告进行分类和处理。 28 | 29 | 如果您是为了漏洞奖励而报告问题，更完整的报告可能会提高奖励金额。请访问我们的 [Microsoft Bug Bounty Program](https://aka.ms/security.md/msrc/bounty) 页面，了解我们当前的活动计划的更多详细信息。 30 | 31 | ## 首选语言 32 | 33 | 我们更倾向于使用英语进行所有交流。 34 | 35 | ## 政策 36 | 37 | 微软遵循 [协调漏洞披露](https://aka.ms/security.md/cvd) 原则。 38 | 39 | **免责声明**： 40 | 本文件通过基于机器的人工智能翻译服务进行翻译。尽管我们尽力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的原文作为权威来源。对于关键信息，建议寻求专业人工翻译。因使用本翻译而导致的任何误解或错误解释，我们概不负责。 -------------------------------------------------------------------------------- /translations/zh/lab/Skillable Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # 简介 2 | 3 | > [!NOTE] 4 | > 这是一个 **75 分钟** 的研讨会，将为您提供与 OpenAI 模型交互的核心概念和最佳实践的动手体验。 5 | 6 | ## 学习目标 7 | 8 | 在本次研讨会结束时，您应该能够： 9 | 10 | - 描述 OpenAI 模型在文本生成、图像生成、多模态对话以及 Azure AI Agents 领域的能力和实现方式。 11 | - 理解提示工程的概念和最佳实践。 12 | - 利用生成式 AI 的能力，并将提示工程技术应用于您的解决方案。 13 | 14 | ## 资源 15 | 16 | > [!TIP] 17 | > 您可以在资源标签页找到登录和订阅信息。 18 | 19 | 有关实验室的所有附加信息都可以在 GitHub 上找到： 20 | 21 | - [Skillable Workshop Instructions](https://github.com/microsoft/aitour-interact-with-llms/tree/microsoft-ignite-update/lab/Skillable%20Workshop%20Instructions) 22 | 23 | ## 实验室大纲 24 | 25 | 本实验室分为 4 个部分，带您通过 Azure 上的 OpenAI 模型，通过多模态对话界面生成文本内容、图像素材和代码片段。此外，我们还将涉及 AI 助手的相关内容。实验室的目标是在广泛的场景中利用生成式 AI 的能力。 26 | 27 | 1. **第一部分 - 文本生成** 使用 GPT4o 生成文本内容和描述 28 | 2. **第二部分 - 图像生成** 使用 DALLE-3 生成图像素材 29 | 3. **第三部分 - 多模态** 利用 GPT-4o 的多模态能力与图像和文本交互 30 | 4. **第四部分 - Azure AI Agents** 使用代码解释器来理解您的数据 31 | 32 | 点击 **下一步** 设置您的研讨会环境并开始学习。 33 | 34 | **免责声明**： 35 | 本文件通过基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件作为权威来源。对于关键信息，建议寻求专业人工翻译。我们对于因使用本翻译而引起的任何误解或误读不承担责任。 -------------------------------------------------------------------------------- /translations/zh/lab/Skillable Workshop Instructions/01_Set_up.md: -------------------------------------------------------------------------------- 1 | # 开始使用 2 | 3 | > [!TIP] 4 | > 什么是 **Azure AI Foundry**？Azure AI Foundry 是一个为创新者打造未来的终极平台。它提供了一整套 Azure AI 功能和工具，用于设计、定制和管理 AI 应用和代理。它与全球最受欢迎的开发者工具无缝集成，包括 GitHub、Visual Studio 和 Copilot Studio。Azure AI Foundry 让开发者和 IT 管理员能够轻松高效地实现他们的 AI 愿景。 5 | 6 | ## 登录 Windows 7 | 第一步，使用以下凭据登录实验室虚拟机： 8 | - 用户名：已设置为 Admin。 9 | - 密码：输入 +++@lab.VirtualMachine(Win11Base23B-W11-22H2).Password+++ 并点击。 10 | 11 | > [!TIP] 12 | > 第一次使用 **Skillable**？绿色的 "T"（例如，+++Admin+++）表示可以通过单击在虚拟机的当前光标位置自动输入的值。这可以减少你的操作并降低输入错误的可能性。 13 | 14 | ## 登录 Azure AI Foundry 门户 15 | 16 | 在本次研讨会中，我们将使用 Azure AI Foundry 门户，特别是其 Playground 功能。 17 | 18 | 1. 在桌面上，点击 **Microsoft Edge** 浏览器。导航到第二个浏览器标签页，该标签页将显示 Azure AI Foundry 门户主页，如下图所示。 19 | 20 | ![Azure AI Foundry 首页](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-homepage.jpeg) 21 | 22 | ## 浏览 Azure AI Foundry 门户 23 | 24 | 1. 点击 **登录**，你可以在窗口右上角找到登录链接，并在系统提示输入登录凭据时输入以下信息： 25 | - 邮箱：+++@lab.CloudPortalCredential(User1).Username+++ 26 | - 密码：+++@lab.CloudPortalCredential(User1).Password+++ 27 | 28 | 现在我们已登录，可以开始浏览该平台。 29 | 30 | 2. 在可用的 Hubs 列表中找到 **Workshop AI Hub**。**点击该 Hub 中的项目**以访问其设置和资源。 31 | 32 | ![Hub 管理标签](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-hub-navigation.jpeg) 33 | 34 | ## 项目 35 | 36 | ![项目概览标签](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-project-overview.jpeg) 37 | 38 | ### 项目概览 39 | 40 | 在此页面中，我们可以看到 Azure AI Foundry 门户项目的概览，其中包括： 41 | - **项目名称和描述**：项目名称以及 Azure AI Foundry 门户项目的简短描述。 42 | - **项目详情**：各种属性的集合，例如项目的连接字符串、位置、资源组等。 43 | - **端点和密钥**：Azure AI Foundry 门户允许连接多个资源，扩展其功能。这些资源包括 Azure OpenAI、Azure AI Search 和 Azure AI Services，进一步增强了项目的能力，使我们可以访问如 LLM 部署或向量搜索等功能。在这里，我们可以找到诸如 *API 端点和密钥* 以及文档等有用信息。 44 | - **最近的资源和教程**：在此部分，你最近使用的资源会被突出显示，同时提供额外的学习资源和教程，帮助你快速入门。 45 | 46 | ### 导航栏 47 | 48 | 你会注意到导航栏已更新为新标签，这些标签代表与我们项目相关的功能。 49 | 50 | ![项目导航栏](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-project-navigation.jpeg) 51 | 52 | 我们有以下新部分： 53 | 1. 第一个部分包括 _Playgrounds_ 用于与模型交互，_Overview_ 提供项目的总体概览，_Model Catalog_ 展示 Azure AI Foundry 内可用的模型，以及 _AI Services_，可以查看可用的 Azure AI Services 列表以及演示、用例等内容。 54 | 1. **构建与定制**：包括扩展项目范围的有用功能，例如通过运行云计算在 _Code_ 中工作，访问 [_Prompt Flow_](https://learn.microsoft.com/en-us/azure/ai-studio/how-to/prompt-flow)，以及对部署进行 _Fine Tuning_。 55 | 1. **评估与改进**：包括为模型开发 _Evaluations_，通过 _tracing_ 调试流程，以及通过 _content filters_ 为提示输入和输出添加防护措施。 56 | 1. **我的资产**：在这里你可以为项目添加额外的元素，包括 _数据_、_索引_、_模型和端点_ 以及 _Web 应用_，以便作为工作的一部分使用。 57 | 1. **管理中心**：一个用于管理所有 Hub 和项目详细信息及资源的位置。 58 | 59 | 在本次实验中，我们将专注于使用 **Playgrounds**，导航到 Playgrounds 并继续下一部分。 60 | 61 | ## Playgrounds 62 | 63 | 你会注意到我们有多个 **Playground** 选项。每个选项代表一种与 AI 模型交互和使用的不同方法，可以根据我们的具体需求进行定制。 64 | 65 | 我们的大部分工作将在这些 Playgrounds 中进行，特别是在以下几个： 66 | 67 | 1. **聊天 Playground** 68 | 1. **图像 Playground** 69 | 1. **实时音频 Playground** 70 | 1. **代理 Playground** 71 | 72 | ![Azure AI Foundry Playgrounds 图像](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-playgrounds.jpeg) 73 | 74 | ### 聊天 Playground 75 | 76 | 在 Playground 部分中，导航到 **聊天 Playground** 并选择 **尝试聊天 Playground**。此功能允许你以对话形式与各种 AI 模型进行交互和测试。 77 | 78 | ![Azure AI Foundry Playground 聊天模式图像](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-chat-playground.jpeg) 79 | 80 | 1. **部署**：此部分允许我们在已部署的模型之间切换。 81 | 1. **系统消息框**：在这里输入模型的指令，供用户交互之前使用。 82 | 1. **添加你的数据**：Azure AI Foundry 门户支持为已部署的模型提供外部数据，从而实现更好的搜索和上下文。 83 | 1. **参数**：此标签包含模型的详细设置，例如温度。 84 | 1. **聊天框**：聊天框显示我们与模型的交互内容，以聊天消息的形式呈现。 85 | 1. **提示框**：这是我们输入想要发送给模型的提示内容的地方。 86 | 87 | ### 图像 Playground 88 | 89 | 返回到 Playgrounds，选择 **图像 Playground** 并点击 **尝试图像 Playground**。此选项允许你进行图像生成。 90 | 91 | ![Azure AI Foundry Playground 图像模式图像](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-image-playground.jpeg) 92 | 93 | 1. **部署**：在此下拉菜单中，我们可以选择用于图像生成的模型。这些模型与聊天模型一样，来自我们的部署。 94 | 1. **提示框**：与聊天 Playground 的提示框类似，这是用户输入内容的地方。在图像生成的情况下，是描述我们想要生成的内容。 95 | 1. **结果框**：最后，生成的图像会显示在这里。 96 | 97 | ### 实时音频 Playground 98 | 99 | 返回到 Playgrounds，然后选择 **实时音频 Playground** 并点击 **尝试实时音频 Playground**。此功能允许你以音频对话的形式与各种 AI 模型进行交互和测试。 100 | 101 | ![Azure AI Foundry Playground 实时音频模式图像](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-real-time-audio.jpeg) 102 | 103 | 1. **部署**：此部分允许我们在已部署的模型之间切换。 104 | 1. **服务器回合检测**：决定服务器是否使用语音活动检测 (VAD) 来识别用户何时结束讲话。 105 | 1. **系统消息框**：在这里输入模型的指令，供用户交互之前使用。 106 | 1. **选择语音**：gpt-4o-realtime 提供多种语音可供选择，具有独特的口音或语调能力，满足你的需求。 107 | 1. **服务器回合检测**：附加参数，用于通过改进语音活动检测来优化模型的效率和性能。 108 | 1. **参数**：此标签包含模型的详细设置，例如温度和最大响应。 109 | 1. **提示按钮**：与聊天 Playground 的提示框类似，这是用户输入内容的地方。 110 | 111 | ## 代理 Playground 112 | 113 | 在导航栏中，选择 **Agents**。此功能为你提供构建、测试和定制 AI 驱动代理的工具。 114 | 115 | ![Azure AI Foundry Playground 代理模式图像](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-pt1.jpeg) 116 | 117 | 当你 _创建第一个代理_ 时，你会看到以下 UI 组件： 118 | 1. **代理 ID 和名称**：在这里你可以为代理命名。 119 | 1. **部署**：在此下拉菜单中，我们可以选择用于代理的模型。这些模型与聊天模型一样，来自我们的部署。 120 | 1. **指令框**：在这里输入模型的指令，供用户交互之前使用。 121 | 122 | ![](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-pt2.jpeg) 123 | 124 | 4. **知识**：知识使代理能够访问数据源以增强回答的准确性。 125 | 1. **动作**：通过允许代理在运行时使用各种工具来增强其能力。 126 | 1. **模型设置**：此标签包含模型的详细设置，例如温度和 Top P。 127 | 1. **提示框**：与聊天 Playground 的提示框类似，这是用户输入内容的地方。 128 | 129 | ## 准备开始 130 | 131 | 以上是 Azure AI Foundry 门户的必要设置和基础知识。接下来，我们将开始与模型交互。 132 | 133 | - 导航到 **Playgrounds**，选择 **聊天 Playground** 并点击 **尝试聊天 Playground**。 134 | - 在 _指令标签_ 中，点击下一步进入第 1 部分：文本生成。 135 | 136 | 点击 **下一步** 进入文本生成部分。 137 | 138 | **免责声明**： 139 | 本文件使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保翻译的准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件为权威来源。对于关键性信息，建议使用专业人工翻译。我们对因使用本翻译而引起的任何误解或误读不承担责任。 -------------------------------------------------------------------------------- /translations/zh/lab/Skillable Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # 第三部分 - 多模态 2 | 3 | 到目前为止，我们使用单一模态与LLM交互：输入文本并接收文本或图像作为输出。然而，多模态界面正变得越来越流行，因为它们允许用户通过多种模态（如文本、图像和语音）与模型交互，从而改善人机交互。在本节中，我们将探讨如何使用多模态界面与 **GPT-4o mini** 和 **GPT-4o audio** 进行交互。 4 | 5 | > [!TIP] 6 | > **GPT-4o mini** 是一个多模态模型，结合了自然语言处理和视觉理解。它能够将文本和图像的组合作为输入，并生成与这两种模态相关的输出。 7 | 8 | **GPT-4o realtime** 支持低延迟的“语音输入、语音输出”对话交互。它非常适合用户与模型之间的实时交互场景，例如客户支持代理、语音助手和实时翻译。 9 | 10 | ## 最佳实践 11 | 12 | - **上下文的具体性**：为当前场景添加上下文可以帮助模型更好地理解适当的输出。这种具体性有助于关注相关方面并避免无关细节。 13 | 14 | - **任务导向的提示**：聚焦于特定任务可以帮助模型从该角度生成输出。 15 | 16 | - **定义输出格式**：清楚地说明所需的输出格式，例如 markdown、JSON、HTML 等。你还可以建议特定的结构、长度或关于响应的具体属性。 17 | 18 | - **处理拒绝**：当模型表示无法执行某项任务时，优化提示可能是一个有效的解决方案。更具体的提示可以引导模型更清楚地理解任务并更好地执行。一些需要注意的技巧： 19 | - 请求对生成响应的解释，以增强输出的透明度 20 | - 如果使用单一图像提示，将图像放在文本之前 21 | - 让模型首先详细描述图像，然后根据描述完成你的具体任务 22 | 23 | - **提示调整**：尝试我们在文本生成场景中探索过的提示调整技术，例如： 24 | - 分解请求（例如，链式思维） 25 | - 添加示例（例如，少样本学习） 26 | 27 | ## 使用图像与模型交互 28 | 29 | 1. 进入 **playgrounds** 部分并选择 **Try the Chat Playground**。 30 | 31 | >[!alert] 在开始之前，点击 **Clear Chat** 以避免受之前交互上下文的影响。 32 | 33 | 2. 在聊天文本框中，点击附件图标上传本地图像。 34 | 35 | ![将图像作为输入上传](../../../../lab/Skillable Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. 从桌面上的 ```house-multimodal``` 文件夹中选择所有图像。 38 | 4. 上传文件后，尝试以下提示与图像进行交互： 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 提供上下文 50 | 51 | 在接下来的演示中，我们有一张被遮挡的图像。图像中故意添加了边界框以遮挡完整的上下文。 52 | 53 | 1. _清除聊天_，然后在聊天文本框中添加提示：``what is that?`` 54 | 2. 点击附件图标，进入桌面文件夹并上传 [context-001](./Images/context-001.png) 图像并发送提示。 55 | 56 | > 如果我问“嘿，这是什么？”，你可能会难以辨认这段文字。这展示了光学字符识别中的一个经典计算机视觉挑战：解读模糊的、孤立的单词。现在，如果我使用 gpt-4o-mini 并问“这是什么？”，它会回答：“由于手写风格，文本不太清晰，可能是‘Mark’。” 值得注意的是，它还指出：“部分文字被遮挡，无法读取。” 57 | 58 | 3. 我们将添加一张新图像，进入桌面文件夹并上传 [context-002](./Images/context-002.png) 图像到聊天中，并使用提示 ```Extract all the texts from the image. Explain what you think this is.```。 59 | 60 | > 虽然揭示了更多内容，但仍然很难辨认它是什么。这次，提示稍作调整为：“从图像中提取所有文字。解释你认为这是什么。” gpt-4o-mini 回答：“这写着‘milk, steak’，似乎是一个购物清单。” 它还指出图像仍然部分被遮挡，这非常有趣。 61 | 62 | 4. 我们将添加最后一张新图像，进入桌面文件夹并上传 [context-003](./Images/demo-4-context-003.png) 图像到聊天中，并使用提示：```Extract all the texts from the image. Explain what you think this is.```。 63 | 64 | > 在揭示整个图像后，我们看到 gpt-4o-mini 是正确的——这确实是一个购物清单。它准确识别了像“mayo”和“organic bread”这样的项目。更有趣的是，它对底部注释的解释。它捕捉到了细微的上下文，说：“关于啤酒项目的注释表明了一种提醒或对适度饮用的强调。” 65 | 66 | ## 实时语音交互 67 | 68 | 通过集成 **gpt-4o-realtime-preview** 模型，用户可以使用语音命令与平台交互，使购物体验更加有趣和便捷。 69 | 70 | 1. 返回 **Playgrounds** 并选择 **Try Real-time audio playground**，将部署设置为 **gpt-4o-realtime-preview**。 71 | 72 | 2. 在 **model instructions box** 中更新以下内容： 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. 在 playground 中，点击 **enable microphone**，会弹出一个窗口，点击允许以启用语音交互。 77 | 78 | ![在 AI Foundry 中启用音频](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. 通过点击 **start listening** 按钮与模型互动，说出 ``hello`` 并向模型询问一些事实。 81 | 82 | 5. 接下来，调整系统消息的语气如下，再次与模型互动： 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 下一步 87 | 88 | 恭喜你！你现在已经完成了实验的第三部分，并学习了如何与多模态模型交互。 89 | 90 | 点击 **Next** 继续进入 Azure AI Agents 部分。 91 | 92 | **免责声明**： 93 | 本文件使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件为权威来源。对于关键信息，建议寻求专业人工翻译。对于因使用本翻译而导致的任何误解或误读，我们概不负责。 -------------------------------------------------------------------------------- /translations/zh/lab/Skillable Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # 第四部分 - Azure AI Agents 2 | 3 | 欢迎来到本次研讨会的第四部分！ 4 | 5 | 到目前为止，我们已经通过多种方式与大型语言模型进行交互。然而，这些交互是孤立的，并且与非常具体的目的相关联。**Azure AI Agents** 代表了我们交互的下一步，因为它们帮助我们将之前的交互整合到一个解决方案中。 6 | 7 | > [!TIP] 8 | > **什么是 Azure AI Agent？** 是一种完全托管的服务，旨在帮助开发者安全地构建、部署和扩展高质量、可扩展的 AI Agent，而无需管理底层的计算和存储资源。它集成了状态管理、上下文关联、聊天线程和代码执行等功能，使得访问第三方扩展变得更加容易。 9 | 10 | 以前，即使是经验丰富的开发者，构建自定义 AI Agent 也需要付出很大的努力。虽然聊天补全 API 功能强大且轻量，但它本质上是无状态的，这意味着开发者需要手动管理会话状态和聊天线程、工具集成、文档检索和索引以及代码执行。 11 | 12 | 在 Azure AI Foundry 中，AI Agent 充当一个“智能”微服务，可以用来回答问题（RAG）、执行操作或完全自动化工作流。它通过结合生成式 AI 模型的强大功能与能够访问和交互真实世界数据源的工具来实现这一点。 13 | 14 | 如果需要，Agent 还可以并行访问多个工具。这些工具包括： 15 | - **Function Calling** 16 | - **Code Interpreter** 17 | - **File Search** 18 | - **基于 Bing 搜索的基础支持** 19 | - **Azure Functions** 等等。 20 | 21 | 在本节中，我们将重点介绍 Code Interpreter。 22 | 23 | ## 了解 Agent 的组成部分 24 | 25 | 在开始使用 Azure AI Agent 之前，重要的是要理解并掌握其功能涉及的不同组成部分。 26 | 27 | 正如我们现在所了解的，**Agent** 只是一个“智能”微服务，可以通过 RAG 回答问题、自动化工作流或执行操作。 28 | 29 | 创建 Agent 后的下一步是创建一个 **Thread**。**Thread** 是 Agent 和用户之间的会话。线程存储消息，并自动处理内容截断以适配模型的上下文。 30 | 31 | **消息** 由 Agent 或用户创建，包括文本、图像和其他文件。这些消息以列表形式存储在线程中。 32 | 33 | 最后，我们可以 **运行** Agent。这意味着激活 Agent 以基于线程的内容开始运行。Agent 使用其配置和 *线程的消息* 通过调用模型和工具来执行任务。作为运行的一部分，Agent 会将 *消息附加到线程*。 34 | 35 | ## 创建 Agent 36 | 37 | 1. 在左侧导航栏的 _Build and customize_ 下，选择 **Agents**。在刚刚打开的页面中，点击下拉箭头以选择您的 Azure OpenAI Service 资源，然后点击 **Let's go** 按钮。 38 | 39 | ![选择 Azure OpenAI Service 资源的截图](../../../../lab/Skillable Workshop Instructions/Images/agents-aoai-select.jpeg) 40 | 41 | 2. 一个新的 Agent 会自动为您创建。在 **Deployments** 部分，确保选择 **gpt-4o-mini** 模型。 42 | 43 | > [!TIP] 44 | > **确保选择正确的部署。** 它应该显示为 **gpt-4o-mini** 及其版本。 45 | 46 | 3. 接下来，为 Agent 命名。在 Agent Name 文本框中输入以下内容： 47 | 48 | ```Contoso Outdoor Sales Agent``` 49 | 50 | 4. 然后，我们可以为 Agent 提供一条 **指令**。类似于我们在前面章节中看到的 *系统消息*，它为 Agent 提供需要遵循的目标。导航到 **Prompt** 标签页，将以下指令复制到 Instructions 文本框中。 51 | 52 | ``` 53 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 54 | 55 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 56 | 57 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 58 | 59 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 60 | ``` 61 | 62 | ![Agents Playground](../../../../lab/Skillable Workshop Instructions/Images/agents-playground-update-details.jpeg) 63 | 64 | > [!NOTE] 65 | > 您能在这个提示中识别出多少前面章节提到的提示工程技术？提示：查看研讨会的第二部分。 66 | 67 | 5. 导航到 **Actions** 标签页，并点击 **add**。 68 | 69 | ![Agent 添加新文件](../../../../lab/Skillable Workshop Instructions/Images/agents-actions.jpeg) 70 | 71 | 6. 新选项卡中选择 **Code interpreter**。 72 | 73 | 7. 在下一个窗口中，点击 **select local files** 并选择 `Contoso_Sales_Revenue.csv` file on your Desktop. 74 | ![Agents code interpreter](../../../../lab/Skillable Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 75 | 76 | >[!NOTE] 77 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Skillable Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 78 | 79 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 80 | 81 | The Agent is now ready for us to interact with it. 82 | 83 | ## Interacting with our Agent 84 | 85 | 1. On the top right of our Agents window, select **Try in playground** 86 | 87 | ![](../../../../lab/Skillable Workshop Instructions/Images/agents-try-in-playground.jpeg) 88 | 89 | 2. Let's begin by typing `help` 文件。您会注意到这会开启一个新线程。 90 | 您会看到一些可以测试的示例问题。尝试其中一个问题，看看 Agent 的回复！ 91 | 92 | 8. 接下来，让我们尝试一个具体查询。在聊天框中输入以下内容： 93 | 94 | ```What are the total sales for Europe broken down by category? ``` 95 | 96 | 您会注意到 Agent 使用 Code Interpreter 为您提供答案。 97 | 98 | 9. 现在，让我们尝试处理这些数据。在聊天框中输入以下提示： 99 | 100 | ```Put this data in a graph. ``` 101 | 102 | 通过 Code Interpreter，Agent 能够将结构化数据转换为图表！ 103 | 104 | 10. 如果您想查看另一种类型的图表，可以尝试以下提示，并请求数据以图表形式展示： 105 | 106 | ```What is the trending product category? Give the output as a graph. ``` 107 | 108 | Agent 应该通过分析销售收入数据随时间的变化，为您提供一个展示热门产品趋势的图表。 109 | 110 | 恭喜！您现在已经完成了研讨会的最后一部分，学习了什么是 Azure OpenAI Agent，它们如何工作，以及如何使用 Azure AI Foundry 门户创建一个 Agent。 111 | 112 | 点击 **Next** 进入研讨会的总结部分。 113 | 114 | **免责声明**： 115 | 本文件通过机器翻译服务翻译而成。尽管我们努力确保翻译的准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件作为权威来源。对于关键信息，建议寻求专业人工翻译。因使用本翻译而导致的任何误解或误读，我们概不负责。 -------------------------------------------------------------------------------- /translations/zh/lab/Skillable Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 总结 2 | 3 | 做得好！你成功完成了本次研讨会，生成了文本副本、图像，并探索了利用生成式 AI 的多模态能力。 4 | 5 | ## 一些关键点需要记住 6 | - 生成式 AI 模型可以生成类似人类的文本、图像和代码。 7 | - 生成式 AI 模型是无状态的：它们不会学习，并受到固定时间点的训练数据的限制。 8 | - Azure OpenAI 服务是一项托管服务，提供访问最先进的自然语言生成式 AI 模型，包括来自 OpenAI 的 GPT-4、GPT-4 turbo 和 GPT-4o，同时具备 Azure 的安全性和企业级保障。 9 | - Azure AI Foundry 是 Azure 的统一 AI 平台，代表了 Azure AI 门户和统一 SDK 体验，还包括预构建的应用模板以及对第三方 ISV 工具和服务的访问。 10 | - 提示工程是一种用于“引导”生成式 AI 模型的技术，可以用来影响模型输出的风格、提供事实信息以及约束意外行为。 11 | - Azure AI Agents 是一项新功能，使开发者更容易创建具有复杂协作助手功能的应用程序，这些功能可以筛选数据、提出解决方案并通过集成工具自动化任务。 12 | 13 | ## 额外资源 14 | 以下是一些资源，帮助您进一步学习 Azure OpenAI 服务和 Azure AI Foundry： 15 | 16 | - Microsoft Learn 模块：[Azure OpenAI 服务简介](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 17 | - [Azure OpenAI 服务文档](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 18 | - [Azure OpenAI 服务定价](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 19 | - [Azure OpenAI 服务透明性说明](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) 提供了关于 Azure OpenAI 模型的功能、使用场景和局限性的详细信息。 20 | - [开始使用 Azure AI Foundry 并实施 RAG 模式](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 21 | - [Azure AI Agents 入门](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 22 | 23 | **免责声明**： 24 | 本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文档为权威来源。对于关键信息，建议使用专业的人类翻译。对于因使用本翻译而引起的任何误解或误读，我们概不负责。 -------------------------------------------------------------------------------- /translations/zh/lab/Workshop Instructions/00_Introduction.md: -------------------------------------------------------------------------------- 1 | # 简介 2 | 3 | > [!NOTE] 4 | > 这是一个**75分钟**的研讨会，将通过实践操作向您介绍与 OpenAI 模型交互的核心概念和最佳实践。 5 | 6 | ## 学习目标 7 | 8 | 通过本次研讨会，您将能够： 9 | 10 | - 描述 OpenAI 模型在文本生成、图像生成、多模态对话以及 Azure AI Agents 领域的能力和实现。 11 | - 理解提示工程的概念和最佳实践。 12 | - 利用生成式 AI 的功能，并将提示工程技术应用于您的解决方案中。 13 | 14 | ## 实验大纲 15 | 16 | 本实验分为四个部分，带您通过 Azure 上的 OpenAI 模型，生成文本内容、图像素材和代码片段，使用多模态对话界面。此外，我们还将涉及 AI 助手的内容。实验的目标是在广泛的场景中利用生成式 AI 的能力。 17 | 18 | 1. **第1部分 - 文本生成** 使用 GPT4o 生成文本内容和描述 19 | 2. **第2部分 - 图像生成** 使用 DALLE-3 生成图像素材 20 | 3. **第3部分 - 多模态** 利用 GPT-4o 的多模态功能，与图像和文本进行交互 21 | 4. **第4部分 - Azure AI Agents** 使用代码解释器理解您的数据 22 | 23 | **免责声明**： 24 | 本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原文的母语版本作为权威来源。对于关键信息，建议使用专业人工翻译。我们对于因使用此翻译而产生的任何误解或误读不承担责任。 -------------------------------------------------------------------------------- /translations/zh/lab/Workshop Instructions/04_Multimodal_Interfaces.md: -------------------------------------------------------------------------------- 1 | # 第三部分 - 多模态 2 | 3 | 到目前为止，我们与大型语言模型（LLM）的交互仅限于单一模态：输入文本并接收文本或图像输出。然而，多模态界面正变得越来越流行，因为它允许用户通过多种模态（如文本、图像和语音）与模型互动，从而改善人机交互。在本节中，我们将探索如何使用多模态界面与 **GPT-4o mini** 和 **GPT-4o audio** 进行交互。 4 | 5 | > [!TIP] 6 | > **GPT-4o mini** 是一个多模态模型，结合了自然语言处理和视觉理解。它能够处理文本和图像的组合输入，并生成与这两种模态相关的输出。 7 | 8 | **GPT-4o realtime** 支持低延迟的“语音输入、语音输出”对话交互。它非常适合涉及用户与模型实时互动的用例，例如客户支持、语音助手和实时翻译。 9 | 10 | ## 最佳实践 11 | 12 | - **上下文具体性**：为当前场景添加上下文可以帮助模型更好地理解适当的输出。这种具体性有助于聚焦于相关方面，避免无关细节。 13 | 14 | - **任务导向型提示**：专注于特定任务可以帮助模型在生成输出时考虑该任务的角度。 15 | 16 | - **定义输出格式**：明确说明所需的输出格式，例如 markdown、JSON、HTML 等。您还可以建议特定的结构、长度或输出的具体属性。 17 | 18 | - **处理拒绝**：当模型表明无法完成某项任务时，优化提示可能是有效的解决方案。更具体的提示可以引导模型更清晰地理解并更好地执行任务。以下是一些提示： 19 | - 请求对生成的响应进行解释，以提高输出的透明度 20 | - 如果使用单一图像提示，将图像置于文本之前 21 | - 要求模型先详细描述图像，然后基于描述完成您的具体任务 22 | 23 | - **提示调优**：尝试我们在文本生成场景中探索过的提示调优技术，例如： 24 | - 分解请求（例如，思维链） 25 | - 添加示例（例如，小样本学习） 26 | 27 | ## 使用图像与模型交互 28 | 29 | 1. 导航到 **playgrounds** 部分并选择 **Try the Chat Playground** 30 | 31 | >[!alert] 在开始之前，点击 **Clear Chat** 以避免受之前交互上下文的影响。 32 | 33 | 2. 在聊天文本框中，点击附件图标上传本地图像。 34 | 35 | ![上传图像作为输入](../../../../lab/Workshop Instructions/Images/upload_image_icon.png) 36 | 37 | 3. 从桌面上的 ```house-multimodal``` 文件夹中选择所有图像。 38 | 4. 上传文件后，尝试以下提示与图像互动： 39 | 40 | ``` 41 | Create a tagline and short description for this rental home advertisement. 42 | - The first picture is from the home 43 | - The other pictures are from sights nearby 44 | - In the description use the features of the house and make the ad more compelling with the sights. 45 | - Do not talk about features not visible in the images. 46 | - If you have information about the location of the images, use that information in the description 47 | ``` 48 | 49 | ## 提供上下文 50 | 51 | 在接下来的演示中，我们有一张被遮挡的图像。图像中故意添加了边框以遮挡完整的上下文。 52 | 53 | 1. **清除聊天记录**，并在聊天文本框中添加提示：``what is that?`` 54 | 2. 点击附件图标，进入桌面文件夹，上传 [context-001](./Images/context-001.png) 图像并发送提示。 55 | 56 | > 如果我问“嘿，这是什么？”，您可能会发现难以识别这段文字。这展示了光学字符识别中一个经典的计算机视觉挑战：解读模糊的、孤立的单词。现在，如果我使用 gpt-4o-mini 并问“这是什么？”，它会回答“由于手写风格，文字不清晰。可能是‘Mark’。” 它还指出“部分文字被遮挡，无法读取。” 57 | 58 | 3. 我们将添加一张新图像，进入桌面文件夹并上传 [context-002](./Images/context-002.png) 图像到聊天中，提示为 ```Extract all the texts from the image. Explain what you think this is.``` 59 | 60 | > 虽然揭示了更多内容，但仍然很难辨认这是什么。这次提示稍作调整为：“从图像中提取所有文字。解释你认为这是什么。” gpt-4o-mini 回答说：“这写着‘milk, steak’，似乎是一个购物清单。” 它还指出图像仍部分被遮挡，这非常有趣。 61 | 62 | 4. 我们将添加最后一张图像，进入桌面文件夹并上传 [context-003](./Images/demo-4-context-003.png) 图像到聊天中，提示为：```Extract all the texts from the image. Explain what you think this is.``` 63 | 64 | > 在揭示完整图像后，我们看到 gpt-4o-mini 是正确的——这确实是一个购物清单。它准确地识别了诸如“mayo”和“organic bread”等项目。更有趣的是，它对底部备注的解读。它捕捉到了细微的上下文，指出“啤酒项目上的备注表明一种提醒或强调适量饮用的建议。” 65 | 66 | ## 实时语音交互 67 | 68 | 通过集成 **gpt-4o-realtime-preview** 模型，用户可以通过语音命令与平台互动，使购物体验更加生动和便捷。 69 | 70 | 1. 返回 **Playgrounds** 并选择 **try Real-time audio playground**，将部署设置为 **gpt-4o-realtime-preview** 71 | 72 | 2. 在 **model instructions box** 中更新以下内容： 73 | 74 | ```You are a pirate, and every response must be full of pirate lingo. ``` 75 | 76 | 3. 在 playground 中，点击 **enable microphone**，弹出窗口后，点击允许以启用语音交互。 77 | 78 | ![在 AI Foundry 中启用音频](../../../../lab/Workshop Instructions/Images/aifoundry-enable-audio.jpeg) 79 | 80 | 4. 点击 **start listening** 按钮，通过语音说出 ``hello`` 并向模型提问一些事实问题。 81 | 82 | 5. 接下来，修改系统消息的语气如下，再次与模型互动： 83 | 84 | ```You are a valiant medieval knight. Every response should echo the chivalry, honor, and grandeur of the court. Speak with formality and grace, as if addressing kings, queens, and noble warriors.``` 85 | 86 | ## 后续步骤 87 | 88 | 恭喜！您现在已完成实验的第三部分，并学习了如何与多模态模型进行交互。 89 | 90 | 前往 [第四部分：Azure AI Agents](./05_AI_Agents.md) 91 | 92 | **免责声明**： 93 | 本文档使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原文档的原始语言版本为权威来源。对于关键信息，建议使用专业人工翻译。我们不对因使用本翻译而产生的任何误解或误读承担责任。 -------------------------------------------------------------------------------- /translations/zh/lab/Workshop Instructions/05_AI_Agents.md: -------------------------------------------------------------------------------- 1 | # 第四部分 - Azure AI Agents 2 | 3 | 欢迎来到本次研讨会的第四部分！ 4 | 5 | 到目前为止，我们已经通过多种方式与大型语言模型进行了交互。然而，这些交互是孤立的，并且针对非常具体的目的。**Azure AI Agents** 代表了我们交互的下一步，因为它们帮助我们将之前的交互整合到一个解决方案中。 6 | 7 | > [!TIP] 8 | > **什么是 Azure AI Agent？** 9 | > 这是一个完全托管的服务，旨在帮助开发者安全地构建、部署和扩展高质量、可扩展的 AI Agents，而无需管理底层的计算和存储资源。它集成了状态管理、上下文关联、聊天线程和代码执行等功能，从而更容易访问第三方扩展。 10 | 11 | 之前，即使是经验丰富的开发者，构建自定义 AI Agents 也需要耗费大量精力。虽然聊天补全 API 轻量且功能强大，但它本质上是无状态的，这意味着开发者需要手动管理会话状态和聊天线程、工具集成、检索文档和索引，以及执行代码。 12 | 13 | 在 Azure AI Foundry 中，AI Agent 作为一个“智能”微服务，可以用来回答问题（RAG）、执行操作或完全自动化工作流。它通过结合生成式 AI 模型的强大功能和能够访问和交互现实数据源的工具来实现这一点。 14 | 15 | 如果需要，Agents 还可以并行访问多个工具。这些工具包括： 16 | - **Function Calling** 17 | - **代码解释器** 18 | - **文件搜索** 19 | - **基于 Bing 的搜索** 20 | - **Azure Functions** 等等。 21 | 22 | 在本节中，我们将重点讲解代码解释器。 23 | 24 | ## 理解 Agents 的组成部分 25 | 26 | 开始使用 Azure AI Agents 之前，理解和掌握其功能涉及的不同组成部分非常重要。 27 | 28 | 正如我们现在所知，**Agent** 只是一个“智能”微服务，可以通过 RAG 回答问题、执行操作或自动化工作流。 29 | 30 | 创建 Agent 后的下一步是创建一个 **Thread**。**Thread** 是 Agent 与用户之间的会话。线程存储消息，并自动处理截断以将内容适配到模型的上下文中。 31 | 32 | **Messages** 是由 Agent 或用户创建的，可以包括文本、图片和其他文件。这些消息以列表的形式存储在线程中。 33 | 34 | 最后，我们可以 **运行（Run）** Agent。这意味着激活 Agent，根据线程的内容开始运行。Agent 使用其配置和 *线程的消息* 通过调用模型和工具来执行任务。作为运行的一部分，Agent *将消息附加到线程中*。 35 | 36 | ## 创建 Agent 37 | 38 | 1. 在左侧导航栏的 _Build and customize_ 下，选择 **Agents**。在新打开的页面中，点击下拉箭头选择你的 Azure OpenAI Service 资源，然后点击 **Let's go** 按钮。 39 | 40 | ![选择 Azure OpenAI Service 资源的截图](../../../../lab/Workshop Instructions/Images/agents-aoai-select.jpeg) 41 | 42 | 2. 系统会为你自动创建一个新的 Agent。在 **Deployments** 部分，确保选择 **gpt-4o-mini** 模型。 43 | 44 | > [!TIP] 45 | > **确保选择正确的部署**。应显示为 **gpt-4o-mini** 及其版本。 46 | 47 | 3. 接下来，为你的 Agent 命名。在 Agent Name 文本框中输入以下内容： 48 | 49 | ```Contoso Outdoor Sales Agent``` 50 | 51 | 4. 接下来，我们可以为 Agent 提供 **指令**。类似于之前部分提到的 *系统消息*，它为 Agent 提供需要遵循的目标。导航到 **Prompt** 选项卡，将以下指令复制到 Instructions 文本框中。 52 | 53 | ``` 54 | You are a sales Agent for Contoso Outdoor. You are polite, professional, helpful and friendly. 55 | 56 | You get all the sales data from the uploaded .csv files. There is sales revenue data that is broken down by region, product category, product type and separated by year and month. 57 | 58 | Examples of regions include Africa, Asia, Europe and America. Categories include climbing gear, camping equipment, apparel and others. Product categories include jackets, hammocks, wet suits, shoes and more. 59 | 60 | If a question is not related to sales or you cannot answer the question, you **must** respond: "Please contact IT for more assistance". If the user asks for help or says 'help', provide a list of sample questions that you can answer. 61 | ``` 62 | 63 | ![Agents Playground](../../../../lab/Workshop Instructions/Images/agents-playground-update-details.jpeg) 64 | 65 | > [!NOTE] 66 | > 你能在此提示中识别出之前部分提到的多少种提示工程技术？提示：查看本研讨会的第二部分。 67 | 68 | 5. 导航到 **Actions** 选项卡，并点击 **add**。 69 | 70 | ![Agent 添加新文件](../../../../lab/Workshop Instructions/Images/agents-actions.jpeg) 71 | 72 | 6. 将打开一个新选项卡，选择 **代码解释器（Code Interpreter）**。 73 | 74 | 7. 在接下来的窗口中，点击 **选择本地文件（select local files）**，然后选择 `Contoso_Sales_Revenue.csv` file on your Desktop. 75 | ![Agents code interpreter](../../../../lab/Workshop Instructions/Images/aifoundry-codeinterpreter-upload-file.jpeg) 76 | 77 | >[!NOTE] 78 | > If you cannot find the file on your desktop, you can download it from [here](../../../../lab/Workshop Instructions/assets/Contoso_Sales_Revenue.csv). 79 | 80 | 7. Click on the **upload and add** button. You should now see the file under the *Code Interpreter* tool. 81 | 82 | The Agent is now ready for us to interact with it. 83 | 84 | ## Interacting with our Agent 85 | 86 | 1. On the top right of our Agents window, select **Try in playground** 87 | 88 | ![](../../../../lab/Workshop Instructions/Images/agents-try-in-playground.jpeg) 89 | 90 | 2. Let's begin by typing `help`。在聊天框中，你会注意到这开启了一个新线程。 91 | 你会看到一些示例问题可以测试。尝试其中一个问题，看看 Agent 的回复！ 92 | 93 | 8. 接下来，让我们尝试一个具体的查询。输入以下内容： 94 | 95 | ```What are the total sales for Europe broken down by category? ``` 96 | 97 | 你会注意到 Agent 使用代码解释器为你提供了答案。 98 | 99 | 9. 现在，让我们尝试处理这些数据。输入以下提示： 100 | 101 | ```Put this data in a graph. ``` 102 | 103 | 通过代码解释器，Agent 能够将结构化数据转换为图表！ 104 | 105 | 10. 如果你想查看另一种类型的图表，尝试以下提示并请求数据以图表形式展示： 106 | 107 | ```What is the trending product category? Give the output as a graph. ``` 108 | 109 | Agent 将通过分析销售收入数据随时间的变化，为你提供一个显示趋势产品的图表。 110 | 111 | 恭喜！你已经完成了研讨会的最后部分，并学习了 Azure OpenAI Assistants 是什么、它们如何工作以及如何使用 Azure AI Studio 创建它们。 112 | 113 | 前往研讨会的最后部分：[总结](./07_Summary.md) 114 | 115 | **免责声明**： 116 | 本文件使用基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件作为权威来源。对于关键信息，建议使用专业的人类翻译服务。我们对于因使用本翻译而导致的任何误解或误读不承担责任。 -------------------------------------------------------------------------------- /translations/zh/lab/Workshop Instructions/07_Summary.md: -------------------------------------------------------------------------------- 1 | # 总结 2 | 做得好！你完成了本次研讨会，并成功为 Contoso Outdoor Company 设计了一款电商网站，充分利用了生成式 AI 的强大功能。 3 | 4 | ## 清理资源 5 | 6 | 完成教程后，您可能需要删除创建的所有资源。您可以单独删除资源，也可以删除整个资源组。 7 | 8 | 1. 浏览到 [Azure Portal](https://portal.azure.com)。 9 | 2. 从主页导航到 **资源组**，然后选择我们创建的资源组：**interact-with-llms**。 10 | 11 | ![](../../../../lab/Workshop Instructions/Images/azure-portal-resource-group.PNG) 12 | 13 | 3. 在资源组顶部导航面板中，选择 **删除资源组**。 14 | 15 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-navigation.PNG) 16 | 17 | 4. 系统会提示您输入资源组名称以确认删除。输入名称 **interact-with-llms**，然后点击 **删除** 以删除您的资源组。 18 | 19 | ![删除资源组](../../../../lab/Workshop Instructions/Images/delete-resource-group-name.PNG) 20 | 21 | 5. 您将收到资源组已被删除的通知。 22 | 23 | ![](../../../../lab/Workshop Instructions/Images/delete-resource-group-notification-popup.PNG) 24 | 25 | ## 一些需要记住的关键点 26 | - 生成式 AI 模型可以生成类似人类的文本、图像和代码。 27 | - 生成式 AI 模型是无状态的：它们不会学习，并受到其冻结在某一固定时间点的训练数据的限制。 28 | - Azure OpenAI Service 是一种托管服务，提供访问最先进的自然语言生成式 AI 模型的能力，包括来自 OpenAI 的 GPT-4、GPT-4 turbo 和 GPT-4o，同时具备 Azure 的安全性和企业级保障。 29 | - Azure AI Foundry 是 Azure 的统一 AI 平台，代表了 Azure AI 门户和统一 SDK 体验，此外还包括预构建的应用模板以及对第三方 ISV 工具和服务的访问。 30 | - 提示工程（Prompt engineering）是一种“引导”生成式 AI 模型的技术，可以用来影响模型输出的风格、提供事实信息以及约束意外行为。 31 | - Azure AI Agents 是一项新功能，使开发人员更容易创建具有复杂协同工作体验的应用程序，这些应用程序可以筛选数据、建议解决方案并通过工具集成自动化任务。 32 | 33 | ## 其他资源 34 | 以下是一些资源，帮助您进一步了解 Azure OpenAI Service 和 Azure AI Foundry： 35 | 36 | - Microsoft Learn 模块: [Azure OpenAI Service 入门](https://learn.microsoft.com/en-us/training/modules/explore-azure-openai/?WT.mc_id=aiml-132569-cacaste) 37 | - [Azure OpenAI Service 文档](https://learn.microsoft.com/en-us/azure/cognitive-services/openai/?WT.mc_id=aiml-132569-cacaste) 38 | - [Azure OpenAI Service 定价](https://azure.microsoft.com/en-us/products/cognitive-services/openai-service/#pricing/?WT.mc_id=aiml-132569-cacaste) 39 | - [Azure OpenAI Service 透明度说明](https://learn.microsoft.com/en-us/legal/cognitive-services/openai/transparency-note/?WT.mc_id=aiml-132569-cacaste) 提供了关于 Azure OpenAI 模型能力、使用案例和限制的详细信息。 40 | - [Azure AI Foundry 入门及实现 RAG 模式](https://learn.microsoft.com/training/paths/create-custom-copilots-ai-studio//?WT.mc_id=aiml-132569-cacaste) 41 | - [Azure AI Agents 入门](https://learn.microsoft.com/en-us/azure/ai-services/agents/overview) 42 | 43 | **免责声明**: 44 | 本文档通过基于机器的人工智能翻译服务翻译而成。虽然我们努力确保翻译的准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文档为权威来源。对于关键信息，建议使用专业人工翻译。因使用此翻译而导致的任何误解或错误解释，我们概不负责。 -------------------------------------------------------------------------------- /translations/zh/session-delivery-resources/README.md: -------------------------------------------------------------------------------- 1 | ## 如何使用 2 | 3 | 欢迎， 4 | 5 | > 以下资源旨在帮助主讲者学习并传递课程内容。 6 | 7 | 我们很高兴您来到这里，并期待您精彩地传递这些内容。作为一位经验丰富的主讲者，我们知道您已经掌握了“如何”进行演讲，因此本指南将专注于您需要演讲的“内容”。它将为您提供由演示设计团队创建的完整演示流程。 8 | 9 | 除了演示视频外，本文档还将链接到所有您需要的资源，包括 PowerPoint 幻灯片、演示说明和代码，以确保您成功完成演讲。 10 | 11 | 1. 通读完整文档。 12 | 13 | 1. 向主讲人提问。 14 | 15 | ## 文件概览 16 | 17 | | 资源 | 链接 | 描述 | 18 | |-------------------|----------------------------------|-------------------| 19 | | PowerPoint | [演示文稿](https://aka.ms/AAryqzi) | 幻灯片 | 20 | | Session Delivery Resources PPT 录制视频 | [视频](https://aka.ms/AAs7etz) | Session Delivery Resources PowerPoint 幻灯片的录制演讲 | 21 | | Session Delivery Resources PowerPoint | [幻灯片](https://aka.ms/AAs7mfu) | 本次研讨会的 Session Delivery Resources 幻灯片 | 22 | | 研讨会说明 | [视频](/lab/Workshop%20Instructions/00_Introduction.md) | 逐步互动 LLM 的说明 | 23 | | Skillable 研讨会说明 | [视频](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | Skillable 实验室说明 | 24 | 25 | ## 开始 26 | 27 | 此存储库分为以下几个部分： 28 | 29 | | [幻灯片](https://aka.ms/AAryqzi) | [Skillable 研讨会说明](/lab/Skillable%20Workshop%20Instructions/00_Introduction.md) | [非 Skillable 研讨会说明](/lab/Workshop%20Instructions/00_Introduction.md) | 30 | |-------------------|---------------------------|--------------------------------------| 31 | | 35 张幻灯片 | 4 部分 - 15 分钟 | [在 Skillable 之外运行研讨会](/lab/Workshop%20Instructions/00_Introduction.md) | 32 | 33 | ## 幻灯片 34 | 35 | [幻灯片](https://aka.ms/AAryqzi) 在每部分中都包含主讲者备注。 36 | 37 | ### 时间安排 38 | 39 | > [NOTE!] 40 | > 对于研讨会，Q&A 通常会在研讨会进行中进行。可以将这 5 分钟用作更多的实践时间。 41 | 42 | | 时间 | 描述 43 | --------------|------------- 44 | 0:00 - 3:00 | 课程介绍 45 | 3:00 - 15:00 | 大型语言模型是如何工作的？ 46 | 15:00 - 30:00 | 文本生成 47 | 30:00 - 45:00 | 图像生成和多模态 48 | 45:00 - 65:00 | Azure AI 助手 49 | 70:00 - 75:00 | 关键活动总结 50 | 51 | ### 研讨会交付格式 52 | 53 | - 在本次研讨会中，前 15 分钟用于讲解幻灯片内容，说明 LLM 的工作原理。 54 | - 剩余时间让参与者独立完成研讨会内容，并在需要时提供帮助。 55 | - 最后，分享最终幻灯片并结束课程。 56 | 57 | ## Skillable 研讨会说明 58 | 59 | [您可以在这里获取工具的概览以及我们将如何使用它们](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md)。 60 | 61 | | 部分 | 时间 | 62 | -------------------------------------------------------------------------------------------------------|---------| 63 | | [1 - 介绍 Azure AI Foundry](/lab/Skillable%20Workshop%20Instructions/01_Set_up.md) | 10 分钟 | 64 | | [2 - 文本生成](/lab/Skillable%20Workshop%20Instructions/02_Text_Generation.md) | 15 分钟 | 65 | | [3 - 图像生成](/lab/Skillable%20Workshop%20Instructions/03_Image_Generation.md) | 10 分钟 | [链接](../../../session-delivery-resources) | 15 分钟 | 66 | | [4 - 多模态](/lab/Skillable%20Workshop%20Instructions/04_Multimodal_Interfaces.md) | 10 分钟 | 67 | | [5 - AI 助手](/lab/Skillable%20Workshop%20Instructions/05_AI_Assistants.md) | 15 分钟 | [链接](../../../session-delivery-resources) | 68 | 69 | ## 在 Skillable 之外运行研讨会 70 | 71 | 如果在没有 Skillable 访问权限的情况下进行本课程，请确保听众在完成实验时满足以下要求： 72 | 73 | - 一个 Azure 订阅 - [免费创建一个。](https://azure.microsoft.com/free/cognitive-services?WT.mc_id=aiml-132569-bethanycheum) 74 | - 一个支持 [GPT-4o 和 DALL.E 3 模型](https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#assistants-preview?WT.mc_id=aiml-132569-bethanycheum) 的 Azure OpenAI 资源，且位于支持的区域。推荐的区域是 **瑞典中部**。 75 | 76 | 要将资源部署到 Azure，您只需点击 **Deploy to Azure** 按钮。 77 | 78 | [![Deploy to Azure](https://aka.ms/deploytoazurebutton)](https://portal.azure.com/#create/Microsoft.Template/uri/https%3A%2F%2Fraw.githubusercontent.com%2Fmicrosoft%2Faitour-interact-with-llms%2Fmain%2Flab%2FWorkshop%20Instructions%2Fassets%2FAITour24_WKR540_Template.json) 79 | 80 | 所有研讨会说明可以在[这里](/lab/Workshop%20Instructions/00_Introduction.md)找到。 81 | 82 | **免责声明**： 83 | 本文件通过基于机器的人工智能翻译服务进行翻译。尽管我们努力确保准确性，但请注意，自动翻译可能包含错误或不准确之处。应以原始语言的文件为权威来源。对于关键信息，建议使用专业的人类翻译服务。对于因使用本翻译而引起的任何误解或误读，我们概不负责。 --------------------------------------------------------------------------------