برای انجام عملیات در مقیاس بزرگ بر روی Databricks، باید برنامهها یا اسکریپتهایی را توسعه دهید که بتوانند با این سرویس داده بزرگ تعامل داشته باشند. این دوره به Databricks CLI، REST API آن و کتابخانه dbutils برای خودکارسازی چنین تعاملاتی میپردازد.
آنچه خواهید آموخت:
در حالی که تقریباً هر کار در Databricks میتواند برای انجام عملیات با هر پیچیدگی در مقیاس، باید از طریق یک اسکریپت یا یک برنامه با این سرویس تعامل داشته باشید. در این دوره آموزشی، کار با Azure Databricks به صورت برنامه ریزی شده، با رابط خط فرمان (Databricks (CLI آشنا خواهید شد. ابتدا، نحوه ایجاد و استفاده از یک نشانه دسترسی شخصی برای احراز هویت، و نحوه ساخت دستورات CLI برای انجام انواع عملیات فضای کاری را بررسی خواهید کرد. سپس، استفاده از Databricks REST API را بررسی خواهید کرد. در نهایت، تطبیق پذیری کتابخانه dbutils را برای تعامل با سیستم فایل Databricks از یک برنامه پایتون کشف خواهید کرد. پس از تکمیل این دوره، درک واضحی از نحوه خودکارسازی تعامل با سرویس Databricks با استفاده از Databricks CLI، REST API و بسته dbutils خواهید داشت.
نمونه ویدیوی آموزشی ( زیرنویسها جدا از ویدیو است و میتوانید آنرا نمایش ندهید ) :
[ENGLISH]
01 Course Overview [2mins]
01-01 Course Overview [2mins]
02 Accessing Azure Databricks with the CLI [37mins]
02-01 Course Prerequisites and Outline [2mins]
02-02 Interacting with Databricks [5mins]
02-03 Automating Databricks Interactions [6mins]
02-04 Demo: Downloading and Setting up the Databricks CLI [8mins]
02-05 Demo: Viewing Cluster Data with the CLI [6mins]
02-06 Demo: Deleting Clusters with the CLI [4mins]
02-07 Demo: Creating and Editing Clusters [6mins]
03 Using the Azure Databricks REST API [17mins]
03-01 The Databricks REST Interface [3mins]
03-02 Demo: Creating a Cluster with the Databricks REST API [7mins]
03-03 Demo: Submitting REST Calls to Databricks from Python [3mins]
03-04 Demo: Modifying and Deleting Clusters with the REST API [4mins]
04 Managing an Azure Databricks Workspace with dbutils [21mins]
04-01 An Introduction to dbutils [2mins]
04-02 Demo: Setting up Databricks Connect [4mins]
04-03 Demo: Confuring Databricks Connect with a Workspace [4mins]
04-04 Demo: Uploading a CSV File to DBFS [4mins]
04-05 Demo: Performing File System Operations with dbutils [6mins]
04-06 Course Summary and Related Content [1mins]
[فارسی]
01 بررسی اجمالی دوره [2 دقیقه]
01-01 بررسی اجمالی دوره [2 دقیقه]
02 دسترسی به Azure Databricks با CLI [37 دقیقه]
02-01 پیش نیازهای دوره و طرح کلی [2 دقیقه]
02-02 تعامل با Databricks [5 دقیقه]
02-03 خودکار کردن تعاملات Databricks [6 دقیقه]
02-04 نسخهی نمایشی- بارگیری و راه اندازی Databricks CLI [8 دقیقه]
02-05 نسخهی نمایشی- مشاهده دادههای کلاستر با CLI [6 دقیقه]
02-06 نسخهی نمایشی- حذف خوشهها با CLI [4 دقیقه]
02-07 نسخهی نمایشی- ایجاد و ویرایش خوشهها [6 دقیقه]
03 با استفاده از Azure Databricks REST API [17 دقیقه]
03-01 رابط Databricks REST [3 دقیقه]
03-02 نسخهی نمایشی- ایجاد یک کلاستر با Databricks REST API [7 دقیقه]
03-03 نسخهی نمایشی- ارسال تماسهای REST به Databricks از پایتون [3 دقیقه]
03-04 نسخهی نمایشی- اصلاح و حذف خوشهها با REST API [4 دقیقه]
04 مدیریت فضای کاری Azure Databricks با dbutils [21 دقیقه]
04-01 مقدمهای بر dbutils [2 دقیقه]
04-02 نسخهی نمایشی- راه اندازی Databricks Connect [4 دقیقه]
04-03 نسخهی نمایشی- مخدوش کردن Databricks با یک فضای کاری [4 دقیقه]
04-04 نسخهی نمایشی- آپلود یک فایل CSV در DBFS [4 دقیقه]
04-05 نسخهی نمایشی- انجام عملیات سیستم فایل با dbutils [6 دقیقه]
04-06 خلاصه دوره و مطالب مرتبط [1 دقیقه]
من دارای مدرک کارشناسی ارشد در علوم کامپیوتر از دانشگاه کلمبیا هستم و قبلاً به عنوان توسعه دهنده و مهندس DevOps کار کردهام. من اکنون در Loonycorn کار میکنم که یک استودیو برای محتوای ویدیویی با کیفیت بالا است. علایق من در دسته بندیهای کلان داده، ML و ابر نهفته است.