রিগ্রেশন বিশ্লেষণ

${\displaystyle {\displaystyle y={\frac {3x}{2}}+2}}$ রেখার (দেখানো হয়নি) চারপাশে গাউসীয় বণ্টন ব্যবস্থায় ৫০টি বিক্ষিপ্ত বিন্দুর রিগ্রেশন রেখা।

রিগ্রেশনের সবচেয়ে প্রাচীনতম রূপ ছিল লঘিষ্ঠ বর্গ পদ্ধতি, যেটি ১৮০৫ সালে লেজাঁদ্রে (Legendre)[6], এবং ১৮০৯ সালে গাউস কর্তৃক প্রকাশিত হয়।[7] লেজাঁদ্রে ও গাউস উভয়ই, জ্যোতির্বৈজ্ঞানিক পর্যবেক্ষণ থেকে, সূর্যের চারপাশের বস্তুসমূহের কক্ষপথ (অধিকাংশই ধূমকেতু, কিন্তু পরবর্তীকালে ঐ সময়ে নতুন আবিষ্কৃত কিছু ক্ষুদ্র গ্রহও ছিল) নির্ণয়ের সমস্যার ক্ষেত্রে এই পদ্ধতি প্রয়োগ করেছিলেন। ১৮২১ সালে গাউস এই লঘিষ্ঠ বর্গ তত্ত্বের আরও উন্নত রূপ প্রকাশ করেন[8], যার মধ্যে গাউস-মার্কভ তত্ত্বের একটি রূপও অন্তর্ভুক্ত ছিল।

১৯শ শতকে একটি জৈবিক ঘটনার বর্ণনা করতে “রিগ্রেশন” শব্দটি প্রথম প্রবর্তন করেন ফ্রান্সিস গল্টন (Francis Galton)। ঘটনাটি ছিল যে, দীর্ঘকায় পূর্বপুরুষ থেকে তাদের উত্তসূরিদের দৈর্ঘ্য ক্রমশ হ্রাস পেয়ে সাধারণ গড়পরতা মানের দিকে ধাবিত হতে থাকে (এ ঘটনা গড়ের দিকবর্তী রিগ্রেশন নামেও পরিচিত)।[9][10] গল্টনের কাছে রিগ্রেশনের শুধুমাত্র জীববৈজ্ঞানিক অর্থই ছিল[11][12], কিন্তু পরবর্তীকালে উডনি ইউল এবং কার্ল পিয়ারসন তার কাজকে পরিসংখ্যানগত প্রেক্ষাপট হতে আরও সাধারণভাবে বিস্তৃত করেন।[13][14] ইউল ও পিয়ারসনের কাজে, প্রতিক্রিয়া ও ব্যাখ্যামূলক চলকের যুগ্ম-বণ্টন গাউসীয় বলে ধরা হয়। এই স্বতঃসিদ্ধটি রোনাল্ড ফিশারের এর ১৯২২ ও ১৯২৫ এর কাজের প্রেক্ষিতে দুর্বল হয়ে যায়।[15][16][17] ফিশার ধরে নেন যে, প্রতিক্রিয়া চলকের শর্তাধীন-বণ্টন গাউসীয় প্রকৃতির, কিন্তু যুগ্ম-বণ্টন তেমন নাও হতে পারে। এদিক থেকে ফিশারের অনুমান, ১৮২১ সালে প্রকাশিত গাউসের সূত্রায়নের কাছাকাছি।

বিংশ শতকের পঞ্চাশ ও ষাটের দশকের দিকে, অর্থনীতিবীদগণ রিগ্রেশন গণনার জন্য তড়িৎ-যান্ত্রিক (electro-mechanical) ডেস্ক “ক্যালকুলেটর” ব্যবহার করতেন। ১৯৭০ এর আগে, একটি রিগ্রেশনের ফলাফল পাওয়ার জন্য কখনো কখনো ২৪ ঘণ্টা পর্যন্ত সময় লাগতো।[18]

রিগ্রেশন পদ্ধতি এখনো সক্রিয় গবেষণার একটি ক্ষেত্র। সাম্প্রতিক দশকগুলোতে, বলিষ্ঠ রিগ্রেশনের (robust regression) জন্য নতুন পদ্ধতির বিকাশ ঘটেছে- যে সব রিগ্রেশনে পরস্পর অন্বিত প্রতিক্রিয়া যেমন, সময় ধারা ও ক্রমবৃদ্ধির বক্ররেখা অন্তর্ভুক্ত থাকে, যে রিগ্রেশনে সূচক (স্বাধীন চলক) বা প্রতিক্রিয়া চলকসমূহ হচ্ছে বক্ররেখা, চিত্র, লেখচিত্র, অথবা অন্য কোন জটিল উপাত্ত বস্তু, যে রিগ্রেশন পদ্ধতিতে বিভিন্ন ধরনের উপাত্ত উপস্থিত থাকে না, অপরামিতিক রিগ্রেশন, বেইজীয় রিগ্রেশন পদ্ধতি, যে সব রিগ্রেশনে সূচক-চলকের পরিমাপে ত্রুটি থাকে, যে সব রিগ্রেশনে পর্যবেক্ষণের তুলনায় সূচক-চলকের সংখ্যা বেশি, এবং যে সব রিগ্রেশনের সাথে কার্যকারণ সম্পর্ক থাকে।

রিগ্রেশন মডেলসমূহে নিম্নোক্ত পরামিতি ও চলকসমূহ অন্তর্ভুক্ত থাকে:

• অজ্ঞাত পরামিতি, যা ${\displaystyle {\displaystyle {\boldsymbol {\beta }}}}$ দ্বারা সূচিত হয়, এবং কোন অদিক অথবা সদিক রাশিকে নির্দেশ করতে পারে।
• স্বাধীন চলক,${\displaystyle {\displaystyle {\boldsymbol {X}}}}$
• অধীন চলক, ${\displaystyle {\displaystyle {\boldsymbol {Y}}}}$

বিভিন্ন প্রায়োগিক ক্ষেত্রে, স্বাধীন ও অধীন চলকের স্থলে ভিন্ন ভিন্ন পরিভাষা ব্যবহৃত হয়ে থাকে।

কোন রিগ্রেশন মডেল ${\displaystyle {\displaystyle Y}}$-কে কোন ফাংশন ${\displaystyle {\displaystyle X}}$ এবং ${\displaystyle {\displaystyle \beta }}$ এর সাথে অন্বিত করে।

${\displaystyle {\displaystyle Y\approx f(X,\beta )}}$।

একে প্রচলিত রীতিতে লেখা হয় ${\displaystyle {\displaystyle \operatorname {E} (Y|X)=f(X,\beta )}}$ হিসেবে। রিগেশন বিশ্লেষণ করার জন্য, ফাংশন ${\displaystyle {\displaystyle f}}$ এর আকার অবশ্যই সুনির্দিষ্ট হতে হয়। কখনো কখনো ${\displaystyle {\displaystyle Y}}$ এবং ${\displaystyle {\displaystyle X}}$ এর মধ্যে বিদ্যমান সম্পর্ক সংক্রান্ত তথ্য, যা উপাত্তের ওপর নির্ভরশীল নয়, তার ভিত্তিতে এই ফাংশনের আকার নির্ধারিত হয়। যদি এমন কোন তথ্য জানা না থাকে, ${\displaystyle {\displaystyle f}}$ এর নমনীয় বা সুবিধাজনক কোন আকার নির্বাচন করা হয়।

ধরা যাক, অজ্ঞাত পরামিতি ${\displaystyle {\displaystyle \beta }}$ এর ভেক্টরের দৈর্ঘ্য ${\displaystyle {\displaystyle k}}$। রিগ্রেশন বিশ্লেষণ করার জন্য ব্যবহারকারীকে অবশ্যই অধীন চলক ${\displaystyle {\displaystyle Y}}$ সম্পর্কে তথ্য সরবরাহ করতে হবে:

• যদি ${\displaystyle {\displaystyle (Y,X)}}$ আকারের ${\displaystyle {\displaystyle N}}$-সংখ্যক উপাত্ত বিন্দু থাকে, যেখানে ${\displaystyle {\displaystyle N<k,}}$ রিগ্রেশন বিশ্লেষণের সবচেয়ে উৎকৃষ্ট পদ্ধতিগুলো সেখানে প্রয়োগ করা যায় না: কেননা, যে সমীকরণ জোট দ্বারা রিগ্রেশন মডেলটি সংজ্ঞায়িত হয় তা অনির্ণেয়, এবং ${\displaystyle {\displaystyle \beta }}$ এর মান নির্ণয়ের জন্য পর্যাপ্ত উপাত্ত বিন্দু থাকে না। .
• যদি ঠিক ${\displaystyle {\displaystyle N=k}}$ সংখ্যক উপাত্ত বিন্দু পাওয়া যায়, এবং ফাংশন ${\displaystyle {\displaystyle f}}$ রৈখিক প্রকৃতির হয়, সমীকরণ ${\displaystyle {\displaystyle Y=f(X,\beta )}}$ এর সমাধানের আসন্ন মানের পরিবর্তে নির্ভুল মান পাওয়া যায়। এতে রিগ্রেশনটি হ্রাস পেয়ে ${\displaystyle {\displaystyle N}}$-সংখ্যক অজ্ঞাত রাশি (${\displaystyle {\displaystyle \beta }}$ এর উপাদানসমূহ) বিশিষ্ট ${\displaystyle {\displaystyle N}}$-সংখ্যক সমীকরণের সমাধানে পরিণত হয়, ${\displaystyle {\displaystyle X}}$ রৈখিকভাবে স্বাধীন হলে যার একটি অনন্য সমাধান থাকে। যদি ${\displaystyle {\displaystyle f}}$ অরৈখিক হয়, তাহলে সমাধান না-ও থাকতে পারে, অথবা অসংখ্য সমাধানও থাকতে পারে।
• সবচেয়ে গতানুগতিক ক্ষেত্র হচ্ছে যেখানে ${\displaystyle {\displaystyle N>k}}$ সংখ্যক উপাত্ত বিন্দু পাওয়া যায়। এক্ষেত্রে উপাত্তের সাথে সঙ্গতিপূর্ণ, ${\displaystyle {\displaystyle \beta }}$ এর অনন্য একটি মান অনুমানের জন্য যথেষ্ট সংখ্যক তথ্য, উপাত্তের মধ্যে বিদ্যমান থাকে, এবং ঐ উপাত্তে রিগ্রেশন মডেল প্রয়োগ করা হলে তাকে ${\displaystyle {\displaystyle \beta }}$ এর একটি অতি-নির্ণীত জোট হিসেবে বিবেচনা করা যায়। .

সর্বশেষ ক্ষেত্রটিতে, রিগ্রেশন বিশ্লেষণ নিম্নোক্ত পন্থাগুলো প্রদান করে:

1. অজ্ঞাত পরামিতি ${\displaystyle {\displaystyle \beta }}$ এর একটি সমাধান নির্ণয় যা, উদাহরণস্বরূপ, অধীন চলক ${\displaystyle {\displaystyle Y}}$ এর প্রাপ্ত মান ও অনুমিত মানের মধ্যে পার্থক্য হ্রাস করে (লঘিষ্ঠ বর্গ পদ্ধতি নামেও পরিচিত)।
2. সুনির্দিষ্ট পরিসংখ্যানগত অনুমানের ওপর নির্ভর করে, রিগ্রেশন বিশ্লেষণ উদ্বৃত্ত তথ্য ব্যবহার করে অজ্ঞাত পরামিতি ${\displaystyle {\displaystyle \beta }}$ এবং অধীন চলক ${\displaystyle {\displaystyle Y}}$ এর অনুমিত মানগুলো সম্পর্কে পরিসংখ্যানগত তথ্য সরবরাহ করে।

রিগ্রেশন বিশ্লেষণের ক্ষেত্রে গুরুত্বপূর্ণ কিছু স্বতঃসিদ্ধের মধ্যে রয়েছে:

• অনুমানভিত্তিক পূর্বাভাস প্রদানের জন্য, নমুনাটিকে সমগ্র ক্ষেত্রের প্রতিনিধিত্বমূলক হতে হবে।
• ত্রুটি হচ্ছে একটি যথেচ্ছ চলক, ব্যাখ্যামূলক চলকসমূহের শর্তসাপেক্ষে যার গড় শূন্য।
• কোন ত্রুটি ছাড়াই স্বাধীন চলকসমূহ পরিমাপ করা হয় (উল্লেখ্য যে, যদি তেমনটা না হয়, চলকীয় ত্রুটি মডেল ব্যবহার করে মডেল গঠন করা যায়)।
• স্বাধীন চলকসমূহ (predictor বা সূচক) রৈখিকভাবে স্বাধীন, অর্থাৎ, কোন একটি সূচকীয় চলককে অবশিষ্ট চলকসমূহের রৈখিক বিন্যাস দ্বারা প্রকাশ করা যায় না।
• ত্রুটিসমূহ পরস্পর সম্পর্কহীন, তার মানে, ত্রুটিসমূহের ভেদাংক-সহভেদাংক ম্যাট্রিক্স (variance-covariance matrix) একটি কর্ণ ম্যাট্রিক্স, এবং প্রতিটি অশূন্য উপাদান ঐ ত্রুটির একটি ভেদাংক (variance)।
• সমগ্র পর্যবেক্ষণজুড়েই ত্রুটির ভেদাংক ধ্রুব থাকে (সমভেদাঙ্কত্ব বা homoscedasticity)। যদি তা না হয়, তাহলে এর পরিবর্তে ভরযুক্ত লঘিষ্ঠ বর্গ পদ্ধতি বা অন্য কোন পদ্ধতি ব্যবহৃত হতে পারে।

এগুলোই লঘিষ্ঠ-বর্গ প্রাক্কলক (least-squares estimator) কর্তৃক আকাংক্ষিত বৈশিষ্ট্যাবলি অর্জনের জন্য পর্যাপ্ত শর্ত; বিশেষ করে, এই স্বতঃসিদ্ধগুলো ইঙ্গিত করে যে, রৈখিক নিরপেক্ষ প্রাক্কলক শ্রেণিতে এই নির্ণীত পরামিতিগুলো পক্ষপাতহীন, সঙ্গতিপূর্ণ, এবং কার্যকর হবে। এটা বলে রাখাটা গুরুত্বপূর্ণ যে, অনুমানের সাথে সন্তোষজনক প্রকৃত উপাত্ত পাওয়া বেশ বিরল। কখনো কখনো অনুমান থেকে পার্থক্য কতটুকু- তা থেকে, মডেলটি ব্যবহারযোগ্যতা থেকে কতখানি দূরে আছে তা পরিমাপ করা হয়। আরও উন্নত প্রক্রিয়া অবলম্বন করে এসব স্বতঃসিদ্ধ শিথিল করা যেতে পারে। পরিসংখ্যানগত বিশ্লেষণের প্রতিবেদনে সচরাচর নমুনা উপাত্তের ওপর পরীক্ষা-নিরীক্ষার বিশ্লেষণ ও মডেলটির প্রণালিগত যথার্থতা এবং মডেলটির ব্যবহারযোগ্যতার উল্লেখ করা হয়।

স্বাধীন ও অধীন চলকসমূহ প্রায়শই বিন্দু অবস্থানে পরিমাপকৃত মান নির্দেশ করে। যেসব চলক পরিসংখ্যানগত স্বতঃসিদ্ধগুলো লংঘন করে, তাদের মধ্যে স্থানগত-প্রবণতা (spatial trends) এবং স্থানগত স্বয়ংক্রিয়-সংশ্লিষ্টতা (spatial auto-correlation) বিদ্যমান থাকতে পারে। এ ধরনের উপাত্তের জন্য ব্যবহৃত একটি পদ্ধতি হচ্ছে ভৌগোলিক ভরযুক্ত রিগ্রেশন।[19] এছাড়া, চলকের মানে ক্ষেত্রফল দ্বারা সমষ্টিকৃত মানও অন্তর্ভুক্ত থাকতে পারে। সমষ্টিকৃত উপাত্ত থেকে সৃষ্ট সংশোধনযোগ্য ক্ষেত্রফল সমস্যা (modifiable areal unit problem) রিগ্রেশনের পরামিতিতে চরম পার্থক্যের কারণ হতে পারে।[20] যখন রাজনৈতিক সীমা, ডাক কোড বা আদমশুমারি এলাকার ভিত্তিতে উপাত্ত বিশ্লেষণ করা হয়, ভিন্ন ভিন্ন এককের জন্য প্রাপ্ত ফলাফল স্পষ্টভাবেই ভিন্ন হতে পারে।

রৈখিক রিগ্রেশনে, কোন মডেলের সনাক্তকরণ-বিবরণীতে বলা হয় যে, অধীন চলক ${\displaystyle {\displaystyle y_{i}}}$ হচ্ছে পরামিতি সমূহের একটি রৈখিক সমাবেশ (কিন্তু স্বাধীন চলক এর ক্ষেত্রে তা রৈখিক হওয়া আবশ্যক নয়)। উদাহরণস্বরূপ, সরল রৈখিক রিগ্রেশনে (simple linear regression) ${\displaystyle {\displaystyle n}}$-সংখ্যক উপাত্ত বিন্দুর মডেল গঠনে একটি স্বাধীন চলক ${\displaystyle {\displaystyle x_{i}}}$, দুটি পরামিতি ${\displaystyle {\displaystyle \beta _{0}}}$ ও ${\displaystyle {\displaystyle \beta _{1}}}$ বিদ্যমান থাকে:

সরলরেখা: ${\displaystyle {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n\!}}$।

বহু-রৈখিক রিগ্রেশনে, বেশ কতগুলো স্বাধীন চলক বা স্বাধীন চলকের ফাংশন থাকে।

ওপরের রিগ্রেশনে ${\displaystyle {\displaystyle x_{i}^{2}}}$ পদটি যোগ করে পাওয়া যায়:

পরাবৃত্ত: ${\displaystyle {\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n\!}}$।

এটাও রৈখিক রিগ্রেশন; যদিও ডানপক্ষের রাশিটিতে স্বাধীন চলক ${\displaystyle {\displaystyle x_{i}}}$ এর দ্বিঘাত রয়েছে, এটা পরামিতি ${\displaystyle {\displaystyle \beta _{0},\beta _{1}}}$ এবং ${\displaystyle {\displaystyle \beta _{2}}}$ এর মধ্যে রৈখিক।

উভয় ক্ষেত্রেই, ${\displaystyle {\displaystyle \varepsilon _{i}}}$ হচ্ছে ত্রুটিসূচক পদ এবং নিম্নলিপি ${\displaystyle {\displaystyle i}}$ দ্বারা কোন নির্দিষ্ট পর্যবেক্ষণ সূচিত হয়।

মনোযোগ পুনরায় সরলরৈখিক ক্ষেত্রের দিকে আনা যাক: ঘটনাজগৎ থেকে যথেচ্ছ একটি নমুনা নিলে, ঘটনাজগতের পরামিতিগুলো নির্ণয় করা হয় এবং নমুনা রৈখিক রিগ্রেশন মডেল তৈরি করা হয়:

${\displaystyle {\displaystyle {\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}}}$।

অবশেষ ${\displaystyle {\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}}$, হচ্ছে অধীন চলকের মডেল কর্তৃক অনুমিত মান ${\displaystyle {\displaystyle {\widehat {y}}_{i}}}$, এবং প্রকৃত মান ${\displaystyle {\displaystyle y_{i}}}$ এর মধ্যকার ব্যবধান। এর একটি নির্ণয় পদ্ধতি হচ্ছে সাধারণ লঘিষ্ঠ বর্গ পদ্ধতি। এই পদ্ধতিতে অবশেষের বর্গের সমষ্টি, SSR (Sum of Squared Residuals) এর হ্রাসকরণের মাধ্যমে পরামিতির মান নির্ণয় করা হয়:

${\displaystyle {\displaystyle SSR=\sum _{i=1}^{n}e_{i}^{2}\,}}$।

এই ফাংশনের লঘিষ্ঠকরণের ফলে কতগুলো অভিলম্ব সমীকরণের একটি জোট পাওয়া যায়, পরামিতিগুলোর যুগপৎ রৈখিক সমীকরণ জোট পাওয়া যায়, যেগুলো সমাধান করে পরামিতি প্রাক্কলক ${\displaystyle {\displaystyle {\widehat {\beta }}_{0},{\widehat {\beta }}_{1}}}$ পাওয়া যায়।

কোন উপাত্ত সেটের ওপর রৈখিক রিগ্রেশনের একটি দৃষ্টান্ত।

সরল রিগ্রেশনের ক্ষেত্রে, লঘিষ্ঠ বর্গের সূত্রগুলো হচ্ছে-

${\displaystyle {\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}}$,

${\displaystyle {\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}}$

যেখানে ${\displaystyle {\displaystyle {\bar {x}}}}$ হচ্ছে ${\displaystyle {\displaystyle x}}$ এর গড় মান এবং ${\displaystyle {\displaystyle {\bar {y}}}}$ হচ্ছে ${\displaystyle {\displaystyle y}}$ এর গড় মান।

জনসংখ্যা ত্রুটি'র (population error) ভেদাংক সর্বত্র ধ্রুব ধরে নিলে, ঐ ভেদাংকের মান পাওয়া যায়:

${\displaystyle {\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}\,}}$।

একে রিগ্রেশনের গড় বর্গ ত্রুটি (MSE: Mean Square Error) বলা হয়। হর হচ্ছে নমুনার আকার থেকে ঐ একই উপাত্তের মডেলের পরামিতি সংখ্যার অন্তর, ${\displaystyle {\displaystyle p}}$-সংখ্যক প্রত্যাবর্তকের জন্য ${\displaystyle {\displaystyle (n-p)}}$, আর ছেদক ব্যবহার করলে তা হবে ${\displaystyle {\displaystyle (n-p-1)}}$।[21] এক্ষেত্রে, ${\displaystyle {\displaystyle p=1}}$ বলে হর ${\displaystyle {\displaystyle n-2}}$হয়।

নির্ণীত পরামিতির প্রমিত ত্রুটি হচ্ছে-

${\displaystyle {\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}}$,

${\displaystyle {\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}}}$ ।

আরও যদি ধরে নেওয়া হয় যে, জনসংখ্যা ত্রুটি অভিলম্বভাবে বণ্টিত, গবেষকবৃন্দ জনসংখ্যা পরামিতিগুলো সম্পর্কে এসব নির্ণীত প্রমিত ত্রুটিসমূহ ব্যবহার করে, আস্থা ব্যবধি (confidence intervals) তৈরি এবং প্রকল্প পরীক্ষণ (hypothesis tests) করে দেখতে পারেন।

যখন কোন মডেলের পরামিতির ফাংশনগুলো রৈখিক না হয়, কোন একটি পুনরাবৃত্তিমূলক পদ্ধতি অবলম্বন করে এর বর্গের সমষ্টি লঘিষ্ঠ করতে হয়। এর ফলে অনেক জটিলতার সৃষ্টি হয় যা রৈখিক ও অরৈখিক লঘিষ্ঠ বর্গের মধ্যে পার্থক্য -তে বর্ণিত আছে।

মধ্যবর্তী অন্তর্পাতিত রেখাটি এর ওপর ও নিচে অবস্থিত বিন্দুগুলোর মধ্যে সর্বোত্তম ভারসাম্য উপস্থাপন করে। ভগ্ন রেখাগুলো দুটি চরম রেখা নির্দেশ করে। প্রথম বক্ররেখাটি নির্ণীত মান এবং বহিঃস্থ বক্ররেখাটি নতুন পরিমাপের জন্য একটি পূর্বানুমান উপস্থাপন করে।[22]

রিগ্রেশন মডেলসমূহ X-চলকসমূহের প্রদত্ত জানা মানের জন্য Y-চলকের মান গণনা করে। কোন মডেলে সঙ্গতিপূর্ণভাবে ব্যবহারের জন্য, এর উপাত্ত সেটের অন্তর্বর্তী মানের ব্যবধি থেকে কোন মান অনুমান করার প্রক্রিয়াকে অনানুষ্ঠানিকভাবে অন্তর্পাতন (interpolation) বলে। আর উপাত্ত সেটের ব্যাপ্তির বাইরে কোন অনুমানকে বলা হয় বহির্পাতন (extrapolation)। বহির্পাতন প্রক্রিয়া রিগ্রেশনের স্বতঃসিদ্ধের ওপর অনেকখানি নির্ভরশীল। উপাত্তের যতখানি বাইরে বহির্পাতন করা হয়, অনুমিত এবং নমুনা উপাত্ত বা প্রকৃত মানের মধ্যে পার্থক্যের কারণে, কোন মডেলের ব্যর্থ হওয়ার সম্ভাবনা ততই বেড়ে যায়।

বহির্পাতনের ক্ষেত্রে সাধারণ নির্দেশনা হচ্ছে, অধীন চলকের অনুমিত মানের সাথে একটি অনুমান ব্যবধিও উল্লেখ করতে হয় যেন তা অনুমানের অনিশ্চয়তা নির্দেশ করে। স্বাধীন চলকের (গুলোর) মান যদি পর্যবেক্ষণ উপাত্তের বাইরে চলে যায়, এ ধরনের ব্যবধির ব্যাপ্তি দ্রুত হারে বর্ধিত হয়।

এসব ও অন্যান্য কিছু কারণে, অনেকেই বহির্পাতন করাটা সমীচীন নয় বলে মনে করেন।[23]

তবে এর মধ্যেই যে সম্ভাব্য সকল মডেলিং ত্রুটিঅন্তর্ভুক্ত, তা নয়: বিশেষ করে, Y এবং X এর মধ্যে সম্পর্ক নির্ণয়ে সুনির্দিষ্ট আকার অনুমান করা। একটি যথাযথ রিগ্রেশন বিশ্লেষণে, পরিলক্ষিত উপাত্তের সাথে অনুমিত আকারের সামঞ্জস্যের মূল্যায়ন অন্তর্ভুক্ত থাকে, কিন্তু তা শুধুমাত্র স্বাধীন চলকের প্রদত্ত মানের ব্যাপ্তির মধ্যেই করা সম্ভব। এর মানে হচ্ছে, কোন বহির্পাতন প্রক্রিয়া রিগ্রেশন সম্পর্কের কাঠামোগত আকার সম্পর্কিত অনুমানের ওপর বিশেষভাবে নির্ভরশীল। এক্ষেত্রে সর্বোত্তম পরামর্শ হচ্ছে, শুধুমাত্র হিসাবের সুবিধার জন্য চলক ও পরামিতি- উভয় ক্ষেত্রেই রৈখিক, এমন সম্পর্ক অনুমান করে নেওয়া উচিৎ নয়, বরং জানা সকল তথ্য ব্যবহার করে রিগ্রেশন মডেল গঠন করা উচিৎ। যদি এমনটা জানা থাকে যে, অধীন চলকের মান একটি নির্দিষ্ট সীমার বাইরে যেতে পারবে না, তাহলে সেই অনুসারে মডেল নির্বাচন করা সমীচীন- এমনকি যদি পর্যবেক্ষণ উপাত্ত সেটের কোন মানই ঐ সীমার নিকটবর্তী না হয়। বহির্পাতন বিবেচনা করলে, রিগ্রেশনের জন্য একটি যথার্থ কার্যকর আকার বাছাই করার ধাপটির তাৎপর্য অনেক। কম করে হলেও, এটা নিশ্চিত করে যে কোন মডেল থেকে প্রাপ্ত বহির্পাতন "বাস্তবসম্মত" (অথবা জ্ঞাত রাশির সাথে সঙ্গতিপূর্ণ)।

কোন মডেলে পর্যবেক্ষণ সংখ্যা বনাম স্বাধীন চলকের সংখ্যার মধ্যে সম্পর্ক স্থাপনের জন্য সম্মত কোন সাধারণ পদ্ধতি নেই। গুড এবং হার্ডিন কর্তৃক প্রস্তাবিত একটি প্রচলিত রীতি হচ্ছে ${\displaystyle {\displaystyle N=m^{n}}}$ , যেখানে ${\displaystyle {\displaystyle N}}$ হচ্ছে নমুনার আকার, ${\displaystyle {\displaystyle n}}$ হচ্ছে স্বাধীন চলকের সংখ্যা, এবং ${\displaystyle {\displaystyle m}}$ হচ্ছে অভীষ্ট নির্ভুল মাত্রা অর্জনের জন্য আবশ্যক পর্যবেক্ষণ সংখ্যা, যদি ঐ মডেলে কেবল একটি স্বাধীন চলক থাকতো।[24] যেমন- কোন গবেষক একটি রৈখিক রিগ্রেশন মডেল গঠন করছেন যার উপাত্ত সেট হচ্ছে ১০০০ জন রোগী (${\displaystyle {\displaystyle N}}$)। যদি ঐ গবেষক সিদ্ধান্ত নেন যে, নির্ভুলভাবে একটি সরলরেখা ${\displaystyle {\displaystyle m}}$ কে সংজ্ঞায়িত করতে পাঁচটি পর্যবেক্ষণ প্রয়োজন, তাহলে ঐ মডেল কর্তৃক ধারণকৃত স্বাধীন চলকের সর্বোচ্চ সংখ্যা হবে ৪, কেননা

${\displaystyle {\displaystyle {\frac {\log {1000}}{\log {5}}}=4.29}}$।

যদিও কোন রিগ্রেশন মডেলের পরামিতিসমূহ সচরাচরভাবে লঘিষ্ঠ বর্গ পদ্ধতিতে নির্ণয় করা হয়, অন্যান্য পদ্ধতিও ব্যবহৃত হয়েছে, যার মধ্যে রয়েছে:

• বেইজীয় পদ্ধতি, যেমন- বেইজীয় রৈখিক রিগ্রেশন
• ^{শতকরা রিগ্রেশন, যেসব ক্ষেত্রে শতকরা ত্রুটি হ্রাস করা অধিকতর উপযুক্ত।}[25]
• লঘিষ্ঠ পরম বিচ্যুতি, চরম বিচ্যুতির ক্ষেত্রে যা অধিক বলিষ্ঠ, এবং সমাংশক রিগ্রেশনের (quantile regression) দিকে ধাবিত করে।
• অপরামিতিক রিগ্রেশন, পর্যবেক্ষণের সংখ্যা অনেক বেশি হতে হয়, এবং গণনাগতভাবে শ্রমসাধ্য।
• দৃশ্যকল্প উন্নয়ন (Scenario Optimization), যা ব্যবধি অনুমানকারী মডেল (Interval Predictor Models) এর দিকে ধাবিত হয়।
• দূরত্ব পরিমাপ শিক্ষণ, যা কোন প্রদত্ত স্থানের জন্য অর্থবহ একটি দূরত্ব অনুসন্ধানের মাধ্যমে জানা যায়।[26]

আরও বিস্তারিত তালিকার জন্য, পরিসংখ্যান-সংক্রান্ত প্যাকেজের তালিকা দেখুন।

সকল পরিসংখ্যান সফটওয়্যার প্যাকেজেই লঘিষ্ঠ বর্গ বিশ্লেষণ ও অনুমিতিক গণনা করা যায়। কোন স্প্রেডশীট অ্যাপলিকেশন ও ক্যালকুলেটর দ্বারা, লঘিষ্ঠ বর্গ ব্যবহার করে সরল রৈখিক রিগ্রেশন এবং বহু-রৈখিক রিগ্রেশন করা যায়। যদিও অনেক পরিসংখ্যান প্যাকেজেই অপরামিতিক এবং বলিষ্ঠ রিগ্রেশন করা যায়, এই পদ্ধতিগুলো তুলনামূলকভাবে কম প্রমিত; বিভিন্ন সফটওয়্যার প্যাকেজে বিভিন্ন পদ্ধতি ব্যবহৃত হয়ে থাকে, এবং একই নামের পদ্ধতি ভিন্ন ভিন্ন প্যাকেজে ভিন্ন ভিন্ন উপায়ে প্রয়োগ করা যেতে পারে। জরিপ বিশ্লেষণ ও স্নায়বিক-ইমেজিং এর মত ক্ষেত্রে ব্যবহারের জন্য, বিশেষায়িত রিগ্রেশন সফটওয়্যার এর বিকাশ ঘটেছে।

1. "Necessary Condition Analysis - Erasmus Research Institute of Management - ERIM"। www.erim.eur.nl। সংগ্রহের তারিখ ২০১৯-০৭-২৬।
2. Freedman, David A. (২০০৯-০৪-২৭)। Statistical Models: Theory and Practice (ইংরেজি ভাষায়)। Cambridge University Press। আইএসবিএন 9781139477314।
3. Cook, R. Dennis; Weisberg, Sanford (১৯৮২)। "Criticism and Influence Analysis in Regression"। Sociological Methodology। 13: 313–361। doi:10.2307/270724। আইএসএসএন 0081-1750।
4. Bishop, Christopher M. (২০০৬)। Pattern Recognition and Machine Learning। Springer। পৃষ্ঠা ৩। আইএসবিএন 0387310738।
5. "Ordinal regression"। Wikipedia (ইংরেজি ভাষায়)। ২০১৯-০৩-০২।
6. Legendre, Adrien Marie (১৮০৫)। Nouvelles méthodes pour la détermination des orbites des comètes (ফরাসি ভাষায়)। F. Didot।
7. C.F. Gauss. Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum. (1809)
8. Gauss, Carl Friedrich (১৮২৩)। Theoria combinationis observationum erroribus minimis obnoxiae (লাতিন ভাষায়)। H. Dieterich।
9. Mogull, Robert G. (২০০৪)। Second-Semester Applied Statistics। Kendall/Hunt Publishing Company। পৃষ্ঠা ৫৯। আইএসবিএন 978-0-7575-1181-3।
10. Galton, Francis (মে ১৯৮৯)। "Kinship and Correlation"। Statistical Science (ইংরেজি ভাষায়)। 4 (2): 81–86। doi:10.1214/ss/1177012581। আইএসএসএন 0883-4237।
11. Francis Galton। "Typical laws of heredity", Nature ১৫ (১৮৭৭), ৪৯২-৪৯৫, ৫১২-৫১৪, ৫৩২-৫৩৩। (গল্টন এই সাময়িকীতে "reversion" শব্দটি ব্যবহার করেন, যা মটরশুঁটির আকার নিয়ে আলোচনা করে।)
    
12. Francis Galton। Presidential address, Section H, Anthropology. (১৮৮৫) (গল্টন এই সাময়িকীতে "regression" শবটি ব্যবহার করেন, যা মানুষের উচ্চতা নিয়ে আলোচনা করে।)
13. Yule, G. Udny (১৮৯৭-১২-০১)। "On the Theory of Correlation"। doi:10.2307/2979746।
14. Pearson, Karl (১৯০৩-০১-০১)। "The Law of Ancestral Heredity"। doi:10.1093/biomet/2.2.211।
15. "The Goodness of Fit of Regression Formulae and the Distribution of Regression Coefficients"। Proceedings of the National Academy of Sciences of the United States of America। 12 (12): 773। ডিসেম্বর ১৯২৬। আইএসএসএন 0027-8424। পিএমসি 1084801 ।
16. "Classics in the History of Psychology -- Fisher (1925) Index"। psychclassics.yorku.ca। সংগ্রহের তারিখ ২০১৯-০৭-২৬।
17. Aldrich, John (নভেম্বর ২০০৫)। "Fisher and Regression"। Statistical Science (ইংরেজি ভাষায়)। 20 (4): 401–417। doi:10.1214/088342305000000331। আইএসএসএন 0883-4237।
18. "Finance and Development"। Finance and Development | F&D (ইংরেজি ভাষায়)। সংগ্রহের তারিখ ২০১৯-০৭-২৬।
19. Fotheringham, A. Stewart. (২০০২)। Geographically weighted regression : the analysis of spatially varying relationships। Brunsdon, Chris., Charlton, Martin.। Chichester, West Sussex: Wiley। আইএসবিএন 0470855258। ওসিএলসি 51520402।
20. Fotheringham, A S; Wong, D W S (জুলাই ১৯৯১)। "The Modifiable Areal Unit Problem in Multivariate Statistical Analysis"। Environment and Planning A: Economy and Space (ইংরেজি ভাষায়)। ২৩ (৭): ১০২৫–১০৪৪। doi:10.1068/a231025। আইএসএসএন 0308-518X। সংগ্রহের তারিখ ২৯ আগস্ট ২০১৯।
21. Steel, R.G.D.; Torrie, J.H. (১৯৬০)। Principles and Procedures of Statistics with Special Reference to the Biological Sciences। McGraw Hill। পৃষ্ঠা ২৮৮।
22. Rouau; Mathieu (২০১৩)। Probability, Statistics and Estimation। পৃষ্ঠা ৬০।
23. Chiang, Chin Long, 1915-2014. (২০০৩)। Statistical methods of analysis। River Edge, N.J.: World Scientific। আইএসবিএন 9812383093। ওসিএলসি 53877749।উদ্ধৃতি শৈলী রক্ষণাবেক্ষণ: একাধিক নাম: লেখকগণের তালিকা (link)
24. Good, Phillip I. (২০০৯)। Common errors in statistics (and how to avoid them)। Hardin, James W. (James William) (3rd ed সংস্করণ)। Hoboken, N.J.: Wiley। আইএসবিএন 9780470457986। ওসিএলসি 264671141।উদ্ধৃতি শৈলী রক্ষণাবেক্ষণ: অতিরিক্ত লেখা (link)
25. Tofallis, Chris (২০০৯)। "Least Squares Percentage Regression"। SSRN Electronic Journal (ইংরেজি ভাষায়)। doi:10.2139/ssrn.1406472। আইএসএসএন 1556-5068।
26. YangJing Long (২০০৯)। "Human age estimation by metric learning for regression problems"। Proc. International Conference on Computer Analysis of Images and Patterns: পৃষ্ঠা ৭৪-৮২।

• William H. Kruskal and Judith M. Tanur, ed. (১৯৭৮), "Linear Hypotheses," International Encyclopedia of Statistics. Free Press, v. ১, Evan J. Williams, "I. Regression," পৃষ্ঠা ৫২৩-৫৪১। Julian C. Stanley, "II. Analysis of Variance," পৃষ্ঠা ৫৪১-৫৫৪।
• Lindley, D.V. (১৯৮৭), "Regression and correlation analysis," New Palgrave: A Dictionary of Economics, v. ৪, পৃষ্ঠা ১২০-১২৩।
• Birkes, David and Dodge, Y., Alternative Methods of Regression. আইএসবিএন ০-৪৭১-৫৬৮৮১-৩।
• Chatfield, C. (১৯৯৩), "Calculating Interval Forecasts," Journal of Business and Economic Statistics, ১১। পৃষ্ঠা ১২১-১৩৫।
• Draper, N.R.; Smith, H. (১৯৯৮)। Applied Regression Analysis (৩য় সংস্করণ)। John Wiley। আইএসবিএন 978-0-471-17082-2।
• Fox, J. (১৯৯৭), Applied Regression Analysis, Linear Models and Related Methods. Sage।
• Hardle, W., Applied Nonparametric Regression (১৯৯০), আইএসবিএন ০-৫২১-৪২৯৫০-১।
• Meade, Nigel; Islam, Towhidul (১৯৯৫)। "Prediction intervals for growth curve forecasts"। ১৪ (৫): ৪১৩–৪৩০। doi:10.1002/for.3980140502।
• A. Sen, M. Srivastava, Regression Analysis — Theory, Methods, and Applications, Springer-Verlag, Berlin, ২০১১ (৪র্থ মুদ্রণ)।
• T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, আইএসবিএন ৯৭৮-৩-৮৩৪৮-১০২২-৯।
• Malakooti, B. (২০১৩)। Operations and Production Systems with Multiple Objectives। John Wiley & Sons।

উইকিমিডিয়া কমন্সে রিগ্রেশন বিশ্লেষণ সংক্রান্ত মিডিয়া রয়েছে।

• Hazewinkel, Michiel, সম্পাদক (২০০১), "Regression analysis", Encyclopedia of Mathematics, Springer Science+Business Media, আইএসবিএন 978-1-55608-010-4উদ্ধৃতি টেমপ্লেট ইংরেজি প্যারামিটার ব্যবহার করেছে (link)
• Earliest Uses: Regression – মৌলিক ইতিহাস এবং তথ্য সূত্রাবলি
• Regression of Weakly Correlated Data – X-সীমার তুলনায় Y-সীমা যথেষ্ট ক্ষুদ্রতর হলে কীভাবে রৈখিক রিগ্রেশনে ত্রুটির উদ্রেক ঘটে।