অ্যামাজন ইএমআর স্টুডিও থেকে অ্যামাজন ইএমআর সার্ভারলেস ইন্টারেক্টিভ ওয়ার্কলোড চালান | আমাজন ওয়েব সার্ভিসেস

রিলিজ 6.14 থেকে শুরু হচ্ছে, আমাজন ইএমআর স্টুডিও ইন্টারেক্টিভ বিশ্লেষণ সমর্থন করে আমাজন ইএমআর সার্ভারহীন. আপনি এখন EC2 ক্লাস্টারে অ্যামাজন ইএমআর ছাড়াও গণনা হিসাবে EMR সার্ভারহীন অ্যাপ্লিকেশনগুলি ব্যবহার করতে পারেন এবং EKS-এ Amazon EMR ভার্চুয়াল ক্লাস্টার, EMR স্টুডিও ওয়ার্কস্পেস থেকে JupyterLab নোটবুক চালানোর জন্য।

EMR স্টুডিও হল একটি ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) যা ডেটা সায়েন্টিস্ট এবং ডেটা ইঞ্জিনিয়ারদের জন্য PySpark, Python এবং Scala-এ লেখা অ্যানালিটিক্স অ্যাপ্লিকেশান ডেভেলপ, ভিজ্যুয়ালাইজ এবং ডিবাগ করতে সহজ করে তোলে৷ EMR সার্ভারলেস এর জন্য একটি সার্ভারহীন বিকল্প আমাজন ইএমআর যেটি ওপেন সোর্স বিগ ডেটা অ্যানালিটিক্স ফ্রেমওয়ার্ক যেমন অ্যাপাচি স্পার্ককে কনফিগার, পরিচালনা এবং ক্লাস্টার বা সার্ভার স্কেলিং ছাড়াই চালানো সহজ করে তোলে।

পোস্টে, আমরা নিম্নলিখিতগুলি কীভাবে করতে হয় তা প্রদর্শন করি:

• ইন্টারেক্টিভ অ্যাপ্লিকেশনের জন্য একটি EMR সার্ভারলেস এন্ডপয়েন্ট তৈরি করুন
• একটি বিদ্যমান EMR স্টুডিও পরিবেশে শেষ পয়েন্ট সংযুক্ত করুন
• একটি নোটবুক তৈরি করুন এবং একটি ইন্টারেক্টিভ অ্যাপ্লিকেশন চালান
• নির্বিঘ্নে ইএমআর স্টুডিও থেকে ইন্টারেক্টিভ অ্যাপ্লিকেশনগুলি নির্ণয় করুন

পূর্বশর্ত

একটি সাধারণ সংস্থায়, একজন AWS অ্যাকাউন্ট প্রশাসক AWS সংস্থান যেমন সেট আপ করবেন AWS পরিচয় এবং অ্যাক্সেস ব্যবস্থাপনা (আইএএম) ভূমিকা, আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি, এবং আমাজন ভার্চুয়াল প্রাইভেট ক্লাউড (Amazon VPC) ইন্টারনেট অ্যাক্সেসের জন্য সংস্থান এবং ভিপিসি-তে অন্যান্য সংস্থানগুলিতে অ্যাক্সেস। তারা EMR স্টুডিও অ্যাডমিনিস্ট্রেটরদের নিয়োগ করে যারা EMR স্টুডিও সেট আপ করে এবং ব্যবহারকারীদের নির্দিষ্ট EMR স্টুডিওতে বরাদ্দ করে। একবার তাদের নিয়োগ করা হলে, EMR স্টুডিও বিকাশকারীরা কাজের চাপগুলি বিকাশ এবং নিরীক্ষণ করতে EMR স্টুডিও ব্যবহার করতে পারে।

নিশ্চিত করুন যে আপনি একই AWS অঞ্চলে আপনার S3 বালতি, VPC সাবনেট এবং EMR স্টুডিওর মতো সংস্থানগুলি সেট আপ করেছেন৷

এই পূর্বশর্তগুলি স্থাপন করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. নিম্নলিখিত চালু করুন এডাব্লুএস ক্লাউডফর্মেশন স্ট্যাক।
   
2. এর জন্য মান লিখুন অ্যাডমিন পাসওয়ার্ড এবং DevPassword এবং আপনার তৈরি করা পাসওয়ার্ডগুলির একটি নোট করুন।
3. বেছে নিন পরবর্তী.
4. সেটিংস ডিফল্ট হিসাবে রাখুন এবং নির্বাচন করুন পরবর্তী আবার.
5. নির্বাচন করা আমি স্বীকার করি যে AWS CloudFormation কাস্টম নাম সহ IAM সংস্থান তৈরি করতে পারে.
6. জমা দিন নির্বাচন করুন.

আমরা নমুনা IAM নীতিগুলির সাথে এই সংস্থানগুলিকে ম্যানুয়ালি মোতায়েন করার নির্দেশাবলীও প্রদান করেছি৷ গিটহুব রেপো.

EMR স্টুডিও এবং একটি সার্ভারহীন ইন্টারেক্টিভ অ্যাপ্লিকেশন সেট আপ করুন

AWS অ্যাকাউন্ট অ্যাডমিনিস্ট্রেটর পূর্বশর্তগুলি সম্পূর্ণ করার পরে, EMR স্টুডিও প্রশাসক লগ ইন করতে পারেন এডাব্লুএস ম্যানেজমেন্ট কনসোল একটি EMR স্টুডিও, ওয়ার্কস্পেস এবং EMR সার্ভারহীন অ্যাপ্লিকেশন তৈরি করতে।

একটি EMR স্টুডিও এবং ওয়ার্কস্পেস তৈরি করুন

EMR স্টুডিও অ্যাডমিনিস্ট্রেটরকে ব্যবহার করে কনসোলে লগ ইন করতে হবে emrs-interactive-app-admin-user ব্যবহারকারীর শংসাপত্র। আপনি যদি প্রদত্ত ক্লাউডফর্মেশন টেমপ্লেট ব্যবহার করে পূর্বশর্ত সংস্থানগুলি স্থাপন করেন, তাহলে ইনপুট প্যারামিটার হিসাবে আপনার দেওয়া পাসওয়ার্ডটি ব্যবহার করুন৷

1. আমাজন ইএমআর কনসোলে, চয়ন করুন EMR সার্ভারহীন নেভিগেশন ফলকে।
   
2. বেছে নিন এবার শুরু করা যাক.
3. নির্বাচন করা EMR স্টুডিও তৈরি করুন এবং চালু করুন.

এটি ডিফল্ট নামের সাথে একটি স্টুডিও তৈরি করে studio_1 এবং ডিফল্ট নামের একটি ওয়ার্কস্পেস My_First_Workspace. এর জন্য একটি নতুন ব্রাউজার ট্যাব খুলবে Studio_1 ব্যবহারকারী ইন্টারফেস.

একটি EMR সার্ভারহীন অ্যাপ্লিকেশন তৈরি করুন

একটি EMR সার্ভারহীন অ্যাপ্লিকেশন তৈরি করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. EMR স্টুডিও কনসোলে, নির্বাচন করুন অ্যাপ্লিকেশন নেভিগেশন ফলকে।
2. একটি নতুন অ্যাপ্লিকেশন তৈরি করুন।
3. জন্য নাম, একটি নাম লিখুন (উদাহরণস্বরূপ, my-serverless-interactive-application).
4. জন্য অ্যাপ্লিকেশন সেটআপ বিকল্প, নির্বাচন করুন কাস্টম সেটিংস ব্যবহার করুন ইন্টারেক্টিভ কাজের চাপের জন্য।
   

ইন্টারেক্টিভ অ্যাপ্লিকেশনগুলির জন্য, একটি সর্বোত্তম অনুশীলন হিসাবে, আমরা কনফিগার করে ড্রাইভার এবং কর্মীদের প্রাক-প্রাথমিক রাখার পরামর্শ দিই। প্রাক-প্রাথমিক ক্ষমতা অ্যাপ্লিকেশন তৈরির সময়। এটি কার্যকরভাবে একটি অ্যাপ্লিকেশনের জন্য কর্মীদের একটি উষ্ণ পুল তৈরি করে এবং সংস্থানগুলিকে ব্যবহার করার জন্য প্রস্তুত রাখে, অ্যাপ্লিকেশনটিকে সেকেন্ডের মধ্যে প্রতিক্রিয়া জানাতে সক্ষম করে। EMR সার্ভারহীন অ্যাপ্লিকেশন তৈরির জন্য আরও সেরা অনুশীলনের জন্য, দেখুন Amazon EMR সার্ভারলেস ব্যবহার করে বড় ডেটা ওয়ার্কলোডের জন্য প্রতি-টিম সম্পদের সীমা নির্ধারণ করুন.

5. মধ্যে ইন্টারেক্টিভ এন্ডপয়েন্ট অধ্যায়, নির্বাচন করুন ইন্টারেক্টিভ এন্ডপয়েন্ট সক্ষম করুন.
6. মধ্যে নেটওয়ার্ক সংযোগ বিভাগে, আপনি পূর্বে তৈরি করা VPC, ব্যক্তিগত সাবনেট এবং নিরাপত্তা গোষ্ঠী বেছে নিন।

আপনি যদি এই পোস্টে প্রদত্ত ক্লাউডফর্মেশন স্ট্যাক স্থাপন করেন, নির্বাচন করুন emr-serverless-sg­  নিরাপত্তা গোষ্ঠী হিসাবে।

বহিরাগত পাইথন প্যাকেজগুলি ডাউনলোড করার জন্য EMR সার্ভারলেস অ্যাপ্লিকেশনের মধ্যে থেকে ইন্টারনেট অ্যাক্সেস করতে সক্ষম হওয়ার জন্য কাজের চাপের জন্য একটি VPC প্রয়োজন। ভিপিসি আপনাকে রিসোর্স অ্যাক্সেস করার অনুমতি দেয় যেমন অ্যামাজন রিলেশনাল ডাটাবেস পরিষেবা (Amazon RDS) এবং আমাজন রেডশিফ্ট যে এই অ্যাপ্লিকেশন থেকে VPC মধ্যে আছে. একটি ভিপিসিতে একটি সার্ভারবিহীন অ্যাপ্লিকেশন সংযুক্ত করলে সাবনেটে আইপি ক্লান্তি হতে পারে, তাই নিশ্চিত করুন যে আপনার সাবনেটে পর্যাপ্ত আইপি ঠিকানা রয়েছে।

7. বেছে নিন অ্যাপ্লিকেশন তৈরি করুন এবং শুরু করুন.

অ্যাপ্লিকেশন পৃষ্ঠায়, আপনি যাচাই করতে পারেন যে আপনার সার্ভারহীন অ্যাপ্লিকেশনের স্থিতি পরিবর্তিত হয়েছে৷ শুরু.

8. আপনার আবেদন নির্বাচন করুন এবং নির্বাচন করুন কিভাবে এটা কাজ করে.
9. বেছে নিন কর্মক্ষেত্র দেখুন এবং চালু করুন.
10. বেছে নিন স্টুডিও কনফিগার করুন.

11. জন্য সেবা ভূমিকা¸ আপনার পূর্বশর্ত হিসাবে তৈরি করা EMR স্টুডিও পরিষেবা ভূমিকা প্রদান করুন (emr-studio-service-role).
12. জন্য ওয়ার্কস্পেস স্টোরেজ, আপনি পূর্বশর্ত হিসাবে তৈরি S3 বালতিটির পথ প্রবেশ করুন (emrserverless-interactive-blog-<account-id>-<region-name>).
13. বেছে নিন পরিবর্তনগুলোর সংরক্ষন.

14. বেছে নিয়ে স্টুডিওস কনসোলে নেভিগেট করুন স্টুডিওর বাম নেভিগেশন মেনুতে ইএমআর স্টুডিও অধ্যায়. নোট করুন স্টুডিও অ্যাক্সেস URL স্টুডিওস কনসোল থেকে এবং আপনার ডেভেলপারদের স্পার্ক অ্যাপ্লিকেশন চালানোর জন্য এটি প্রদান করুন।

আপনার প্রথম স্পার্ক অ্যাপ্লিকেশন চালান

EMR স্টুডিও অ্যাডমিনিস্ট্রেটর স্টুডিও, ওয়ার্কস্পেস এবং সার্ভারহীন অ্যাপ্লিকেশন তৈরি করার পরে, স্টুডিও ব্যবহারকারী স্পার্ক ওয়ার্কলোড বিকাশ এবং নিরীক্ষণ করতে ওয়ার্কস্পেস এবং অ্যাপ্লিকেশন ব্যবহার করতে পারেন।

ওয়ার্কস্পেস চালু করুন এবং সার্ভারহীন অ্যাপ্লিকেশন সংযুক্ত করুন

নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. EMR স্টুডিও অ্যাডমিনিস্ট্রেটর দ্বারা প্রদত্ত স্টুডিও URL ব্যবহার করে, ব্যবহার করে লগ ইন করুন emrs-interactive-app-dev-user ব্যবহারকারীর শংসাপত্রগুলি AWS অ্যাকাউন্ট প্রশাসক দ্বারা ভাগ করা হয়েছে৷

আপনি যদি প্রদত্ত ক্লাউডফর্মেশন টেমপ্লেট ব্যবহার করে পূর্বশর্ত সংস্থানগুলি স্থাপন করেন, তাহলে ইনপুট প্যারামিটার হিসাবে আপনার দেওয়া পাসওয়ার্ডটি ব্যবহার করুন৷

উপরে ওয়ার্কস্পেস পৃষ্ঠা, আপনি আপনার কর্মক্ষেত্রের অবস্থা পরীক্ষা করতে পারেন। ওয়ার্কস্পেস চালু হলে, আপনি স্থিতি পরিবর্তন দেখতে পাবেন প্রস্তুত.

2. ওয়ার্কস্পেস নাম নির্বাচন করে ওয়ার্কস্পেস চালু করুন (My_First_Workspace).

এটি একটি নতুন ট্যাব খুলবে। নিশ্চিত করুন যে আপনার ব্রাউজার পপ-আপের অনুমতি দেয়।

3. কর্মক্ষেত্রে, নির্বাচন করুন গনা (ক্লাস্টার আইকন) নেভিগেশন ফলকে।
4. জন্য EMR সার্ভারহীন অ্যাপ্লিকেশন, আপনার আবেদন চয়ন করুন (my-serverless-interactive-application).
5. জন্য ইন্টারেক্টিভ রানটাইম ভূমিকা, একটি ইন্টারেক্টিভ রানটাইম ভূমিকা চয়ন করুন (এই পোস্টের জন্য, আমরা ব্যবহার করি emr-serverless-runtime-role).
6. বেছে নিন জোড়া এই ওয়ার্কস্পেসের সমস্ত নোটবুকের জন্য কম্পিউট টাইপ হিসাবে সার্ভারহীন অ্যাপ্লিকেশনটিকে সংযুক্ত করতে।

ইন্টারেক্টিভভাবে আপনার স্পার্ক অ্যাপ্লিকেশন চালান

নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. পছন্দ নোটবুকের নমুনা (তিন ডট আইকন) নেভিগেশন প্যানে এবং খুলুন Getting-started-with-emr-serverless নোটবই.
2. বেছে নিন ওয়ার্কস্পেসে সেভ করুন.

আমাদের নোটবুকের জন্য কার্নেলের তিনটি পছন্দ রয়েছে: পাইথন 3, পাইস্পার্ক এবং স্পার্ক (স্কলার জন্য)।

3. যখন অনুরোধ করা হয়, নির্বাচন করুন পাইস্পার্ক কার্নেল হিসাবে
4. বেছে নিন নির্বাচন করা.

এখন আপনি আপনার স্পার্ক অ্যাপ্লিকেশন চালাতে পারেন। এটি করতে, ব্যবহার করুন %%configure স্পার্কম্যাজিক কমান্ড, যা সেশন তৈরির পরামিতি কনফিগার করে। ইন্টারেক্টিভ অ্যাপ্লিকেশন পাইথন ভার্চুয়াল পরিবেশ সমর্থন করে। আমরা এক্সিকিউটর পরিবেশের জন্য একটি ভিন্ন পাইথন রানটাইমের জন্য একটি পথ নির্দিষ্ট করে কর্মী নোডগুলিতে একটি কাস্টম পরিবেশ ব্যবহার করি spark.executorEnv.PYSPARK_PYTHON। নিম্নলিখিত কোডটি দেখুন:

%%configure -f
{
  "conf": {
    "spark.pyspark.virtualenv.enabled": "true",
    "spark.pyspark.virtualenv.bin.path": "/usr/bin/virtualenv",
    "spark.pyspark.virtualenv.type": "native",
    "spark.pyspark.python": "/usr/bin/python3",
    "spark.executorEnv.PYSPARK_PYTHON": "/usr/bin/python3"
  }
}

বাহ্যিক প্যাকেজ ইনস্টল করুন

এখন যেহেতু আপনার কর্মীদের জন্য একটি স্বাধীন ভার্চুয়াল পরিবেশ রয়েছে, ইএমআর স্টুডিও নোটবুক আপনাকে স্পার্ক ব্যবহার করে সার্ভারহীন অ্যাপ্লিকেশনের মধ্যে থেকে বাহ্যিক প্যাকেজ ইনস্টল করার অনুমতি দেয়। install_pypi_package স্পার্ক প্রসঙ্গের মাধ্যমে ফাংশন। এই ফাংশনটি ব্যবহার করে প্যাকেজটি সমস্ত EMR সার্ভারহীন কর্মীদের জন্য উপলব্ধ করে।

প্রথমে, PyPi থেকে matplotlib, একটি পাইথন প্যাকেজ ইনস্টল করুন:

sc.install_pypi_package("matplotlib")

যদি পূর্ববর্তী পদক্ষেপটি সাড়া না দেয়, তাহলে আপনার VPC সেটআপ পরীক্ষা করুন এবং নিশ্চিত করুন যে এটি ইন্টারনেট অ্যাক্সেসের জন্য সঠিকভাবে কনফিগার করা হয়েছে।

এখন আপনি একটি ডেটাসেট ব্যবহার করতে পারেন এবং আপনার ডেটা কল্পনা করতে পারেন।

ভিজ্যুয়ালাইজেশন তৈরি করুন

ভিজ্যুয়ালাইজেশন তৈরি করতে, আমরা NYC হলুদ ট্যাক্সিতে একটি পাবলিক ডেটাসেট ব্যবহার করি:

file_name = "s3://athena-examples-us-east-1/notebooks/yellow_tripdata_2016-01.parquet"
taxi_df = (spark.read.format("parquet").option("header", "true") 
.option("inferSchema", "true").load(file_name))

পূর্ববর্তী কোড ব্লকে, আপনি Amazon S3 এ একটি পাবলিক বাকেট থেকে Parquet ফাইলটি পড়েছেন। ফাইলটিতে শিরোনাম রয়েছে এবং আমরা স্পার্ককে স্কিমা অনুমান করতে চাই। তারপরে আপনি একটি স্পার্ক ডেটাফ্রেম ব্যবহার করে গ্রুপ করতে এবং নির্দিষ্ট কলামগুলি গণনা করতে পারেন taxi_df:

taxi1_df = taxi_df.groupBy("VendorID", "passenger_count").count()
taxi1_df.show()

ব্যবহার %%display টেবিল বিন্যাসে ফলাফল দেখতে যাদু:

%%display
taxi1_df

আপনি পাঁচ ধরনের চার্ট দিয়ে আপনার ডেটা দ্রুত কল্পনা করতে পারেন। আপনি প্রদর্শনের ধরন বেছে নিতে পারেন এবং সেই অনুযায়ী চার্ট পরিবর্তন হবে। নিম্নলিখিত স্ক্রিনশটে, আমরা আমাদের ডেটা কল্পনা করতে একটি বার চার্ট ব্যবহার করি।

স্পার্ক এসকিউএল ব্যবহার করে EMR সার্ভারলেস এর সাথে ইন্টারঅ্যাক্ট করুন

আপনি টেবিলের সাথে ইন্টারঅ্যাক্ট করতে পারেন এডাব্লুএস আঠালো ডেটা ক্যাটালগ EMR সার্ভারলেস স্পার্ক এসকিউএল ব্যবহার করে। নমুনা নোটবুকে, আমরা দেখাই কিভাবে আপনি একটি স্পার্ক ডেটাফ্রেম ব্যবহার করে ডেটা রূপান্তর করতে পারেন।

প্রথমে, ট্যাক্সি নামে একটি নতুন অস্থায়ী দৃশ্য তৈরি করুন। এটি আপনাকে এই ভিউ থেকে ডেটা নির্বাচন করতে স্পার্ক এসকিউএল ব্যবহার করতে দেয়। তারপরে আরও প্রক্রিয়াকরণের জন্য একটি ট্যাক্সি ডেটাফ্রেম তৈরি করুন:

taxi_df.createOrReplaceTempView("taxis")
sqlDF = spark.sql(
    "SELECT DOLocationID, sum(total_amount) as sum_total_amount 
     FROM taxis where DOLocationID < 25 Group by DOLocationID ORDER BY DOLocationID"
)
sqlDF.show(5)

আপনার EMR স্টুডিও নোটবুকের প্রতিটি ঘরে, আপনি প্রসারিত করতে পারেন স্পার্ক কাজের অগ্রগতি এই নির্দিষ্ট সেল চালানোর সময় EMR সার্ভারলেস জমা দেওয়া কাজের বিভিন্ন ধাপ দেখতে। আপনি প্রতিটি পর্যায় সম্পূর্ণ করতে সময় নিতে পারেন. নিম্নলিখিত উদাহরণে, কাজের 14 তম ধাপে 12টি সম্পূর্ণ কাজ রয়েছে। উপরন্তু, কোনো ব্যর্থতা থাকলে, আপনি লগগুলি দেখতে পারেন, সমস্যা সমাধানকে একটি বিরামহীন অভিজ্ঞতা তৈরি করে। আমরা পরবর্তী বিভাগে এটি আরও আলোচনা করব।

ম্যাটপ্লটলিব প্যাকেজ ব্যবহার করে প্রক্রিয়াকৃত ডেটাফ্রেমটি কল্পনা করতে নিম্নলিখিত কোডটি ব্যবহার করুন। আপনি ড্রপঅফ অবস্থান এবং বার চার্ট হিসাবে মোট পরিমাণ প্লট করতে maptplotlib লাইব্রেরি ব্যবহার করেন।

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
plt.clf()
df = sqlDF.toPandas()
plt.bar(df.DOLocationID, df.sum_total_amount)
%matplot plt

ইন্টারেক্টিভ অ্যাপ্লিকেশন নির্ণয়

আপনি ব্যবহার করে আপনার Livy শেষ পয়েন্টের জন্য সেশন তথ্য পেতে পারেন %%info স্পার্কম্যাজিক। এটি আপনাকে স্পার্ক UI এবং সেইসাথে আপনার নোটবুকে ড্রাইভার লগ অ্যাক্সেস করার লিঙ্ক দেয়।

নিম্নলিখিত স্ক্রিনশটটি আমাদের অ্যাপ্লিকেশনের জন্য একটি ড্রাইভার লগ স্নিপেট, যা আমরা আমাদের নোটবুকের লিঙ্কের মাধ্যমে খুলেছি।

একইভাবে, আপনি নীচের লিঙ্ক চয়ন করতে পারেন স্পার্ক UI UI খুলতে। নিম্নলিখিত স্ক্রিনশট দেখায় এক্সিকিউটররা ট্যাব, যা ড্রাইভার এবং এক্সিকিউটর লগগুলিতে অ্যাক্সেস সরবরাহ করে।

নিম্নলিখিত স্ক্রিনশটটি স্টেজ 14 দেখায়, যা স্পার্ক এসকিউএল ধাপের সাথে মিলে যায় যা আমরা আগে দেখেছিলাম যেখানে আমরা মোট ট্যাক্সি সংগ্রহের লোকেশন অনুযায়ী যোগফল গণনা করেছি, যা 12টি টাস্কে বিভক্ত করা হয়েছে। স্পার্ক UI-এর মাধ্যমে, ইন্টারেক্টিভ অ্যাপ্লিকেশনটি সূক্ষ্ম-দানাযুক্ত টাস্ক-লেভেল স্ট্যাটাস, I/O, এবং এলোমেলো বিবরণ, সেইসাথে আপনার নোটবুক থেকে এই পর্যায়ে প্রতিটি কাজের জন্য সংশ্লিষ্ট লগগুলির লিঙ্কগুলি প্রদান করে, একটি বিরামহীন সমস্যা সমাধানের অভিজ্ঞতা সক্ষম করে।

পরিষ্কার কর

আপনি যদি এই পোস্টে তৈরি সংস্থানগুলি আর রাখতে না চান তবে নিম্নলিখিত পরিষ্কারের পদক্ষেপগুলি সম্পূর্ণ করুন:

1. EMR সার্ভারহীন অ্যাপ্লিকেশন মুছুন.
2. EMR স্টুডিও এবং সংশ্লিষ্ট ওয়ার্কস্পেস এবং নোটবুক মুছুন.
3. বাকি সম্পদ মুছে ফেলতে, ক্লাউডফর্মেশন কনসোলে নেভিগেট করুন, স্ট্যাক নির্বাচন করুন এবং নির্বাচন করুন মুছে ফেলা.

S3 বাকেট ব্যতীত সমস্ত সংস্থান মুছে ফেলা হবে, যার মুছে ফেলার নীতি বজায় রাখার জন্য সেট করা আছে।

উপসংহার

পোস্টে দেখানো হয়েছে কিভাবে ইএমআর স্টুডিওতে ইএমআর সার্ভারলেসকে কম্পিউট হিসেবে ব্যবহার করে ইন্টারেক্টিভ পাইস্পার্ক ওয়ার্কলোড চালানো যায়। আপনি একটি ইন্টারেক্টিভ JupyterLab ওয়ার্কস্পেসে স্পার্ক অ্যাপ্লিকেশনগুলি তৈরি এবং নিরীক্ষণ করতে পারেন।

একটি আসন্ন পোস্টে, আমরা EMR সার্ভারলেস ইন্টারেক্টিভ অ্যাপ্লিকেশনগুলির অতিরিক্ত ক্ষমতা নিয়ে আলোচনা করব, যেমন:

• আপনার VPC-তে Amazon RDS এবং Amazon Redshift-এর মতো সংস্থানগুলির সাথে কাজ করা (উদাহরণস্বরূপ, JDBC/ODBC সংযোগের জন্য)
• সার্ভারহীন এন্ডপয়েন্ট ব্যবহার করে লেনদেনমূলক কাজের চাপ চালানো

আপনি যদি প্রথমবার ইএমআর স্টুডিও অন্বেষণ করেন তবে আমরা এটি পরীক্ষা করে দেখার পরামর্শ দিই আমাজন ইএমআর কর্মশালা এবং উল্লেখ করে একটি EMR স্টুডিও তৈরি করুন.

লেখক সম্পর্কে

সেকার শ্রীনিবাসন ডেটা অ্যানালিটিক্স এবং এআই-এর উপর দৃষ্টি নিবদ্ধ AWS-এর একজন প্রধান বিশেষজ্ঞ সমাধান স্থপতি। সেকারের ডেটা নিয়ে কাজ করার 20 বছরেরও বেশি অভিজ্ঞতা রয়েছে। তিনি গ্রাহকদের তাদের আর্কিটেকচারের আধুনিকীকরণ এবং তাদের ডেটা থেকে অন্তর্দৃষ্টি তৈরি করতে স্কেলযোগ্য সমাধান তৈরি করতে সহায়তা করার বিষয়ে উত্সাহী। তার অবসর সময়ে তিনি সুবিধাবঞ্চিত শিশুদের শিক্ষার উপর দৃষ্টি নিবদ্ধ করে অলাভজনক প্রকল্পে কাজ করতে পছন্দ করেন।

দিশা উমরওয়ানি গ্লোবাল হেলথ কেয়ার এবং লাইফসায়েন্সের মধ্যে অ্যামাজন পেশাদার পরিষেবাগুলির সাথে একজন সিনিয়র ডেটা আর্কিটেক্ট। তিনি গ্রাহকদের সাথে ডেটা স্ট্র্যাটেজি ডিজাইন, আর্কিটেক্ট এবং বাস্তবায়নের জন্য কাজ করেছেন। তিনি এন্টারপ্রাইজ প্ল্যাটফর্মের জন্য ডেটা মেশ আর্কিটেকচারের স্থপতিতে বিশেষজ্ঞ।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/big-data/run-interactive-workloads-on-amazon-emr-serverless-from-amazon-emr-studio/