DP-3028 Implement Generative AI engineering with Azure Databricks 🆕

Tämä Applies Skills -koulutus keskittyy generatiivisen tekoälyn (Generative AI) toteuttamiseen Azure Databricks-ympäristössä. Osallistujat oppivat käyttämään ison kielimallin (LLM) teknologioita Spark-alustalla, toteuttamaan tekniikoita kuten RAG (retrieval-augmented generation) ja monivaiheista päättelyä (multi-stage reasoning), hienosäätämään kielimalleja erityistehtäviin, arvioimaan niiden suorituskykyä sekä ottamaan vastuullisen tekoälyn periaatteet ja tuotantokäytännöt (LLMOps) haltuun.

Tavoite

Koulutuksen päätavoitteena on, että osallistuja pystyy rakentamaan generatiivisia tekoälysovelluksia Azure Databricks -alustalla;

• ymmärtämään suurten kielimallien (LLM) periaatteet ja sovellukset.
• toteuttamaan RAG-työnkulkuja ja monivaiheista päättelyä osana tekoälyratkaisua.
• hienosäätämään kielimalleja (fine-tuning) ja arvioimaan niiden suorituskykyä relevantilla mittareilla.
• soveltamaan vastuullisen tekoälyn (Responsible AI) periaatteita sekä hallitsemaan mallien elinkaarta (LLMOps) tuotantoympäristössä.

Kenelle

Koulutus  soveltuu erityisesti data-analyytikoille, datatieteilijöille, koneoppimisen ja tekoälyn kehittäjille sekä muille asiantuntijoille, jotka haluavat laajentaa osaamistaan generatiivisen tekoälyn toteuttamiseen Azure Databricksin avulla.

Koulutukseen osallistujalla on suositeltavaa olla perustuntemusta tekoälyn ja koneoppimisen käsitteistä, Python -ohjelmointikielestä sekä Databricks -ympäristön ja Azure -palveluiden peruskäytöstä. Lisäksi suositellaan kokemusta suurten tietoaineistojen käsittelystä ja Spark -alustan hyödyntämisestä.

Koulutuksen sisältö

Get started with language models in Azure Databricks

• Describe Generative AI
• Describe Large Language Models (LLMs)
• Identify key components of LLM applications
• Use LLMs for Natural Language Processing (NLP) tasks
• Lab: Explore language models

Implement Retrieval Augmented Generation RAG with Azure Databricks

• Set up a RAG workflow
• Prepare your data for RAG
• Retrieve relevant documents with vector search
• Improve model accuracy by reranking your search results
• Lab: Set up RAG

Implement multistage reasoning in Azure Databricks

• Identify the need for multi-stage reasoning systems
• Describe a multi-stage reasoning workflow
• Implement multi-stage reasoning with libraries like LangChain, LlamaIndex, Haystack, and the DSPy framework
• Lab: Implement multi-stage reasoning with LangChain

Finetune language models with Azure Databricks

• Understand when to use fine-tuning
• Prepare your data for fine-tuning
• Fine-tune an Azure OpenAI model
• Lab: Fine-tune an Azure OpenAI model

Evaluate language models with Azure Databricks

• Compare LLM and traditional ML evaluations
• Describe the relationship between LLM evaluation and evaluation of entire AI systems
• Describe generic LLM evaluation metrics like accuracy, perplexity, and toxicity
• Describe LLM-as-a-judge for evaluation
• Lab: Evaluate an Azure OpenAI model

Review responsible AI principles for language models in Azure Databricks

• Describe the responsible AI principles for implementation of language models
• Identify the ethical considerations for language models
• Mitigate the risks associated with language models
• Implement key security tooling for language models
• Lab: Implement responsible AI

Implement LLMOps in Azure Databricks

• Describe the LLM lifecycle overview
• Identify the model deployment option that best fits your needs
• Use MLflow and Unity Catalog to implement LLMops
• Lab: Implement LLMOps

Avainsanat

Applied Skills, Generatiivinen tekoäly, Azure Databricks, LLM, RAG, tekoälysovellukset, Koneoppiminen, Python, Spark, Databricks, LLMOps, Responsible AI, Sata science, pilvipalvelut, Azure AI