תִכנוּת

• הדרכה

מבוא

אני מתכנת מחשבים. עשיתי את הקפיצה הגדולה ביותר בקריירה שלי כשלמדתי לומר: "אני לא מבין כלום!"עכשיו אני לא מתבייש להגיד לאור המדע שהוא נותן לי הרצאה, שאני לא מבין על מה זה, המאורה, מדבר איתי. וזה מאוד קשה. כן, זה קשה ומביך להודות שאתה לא יודע. מי שאוהב להודות שהוא לא יודע את היסודות של משהו-שם. מתוקף המקצוע שלי אני צריך להשתתף במספר רב של מצגות והרצאות, שבהן, אני מודה, ברוב המוחלט של המקרים אני מרגיש ישנוני, כי אני לא מבין כלום. ואני לא מבין כי הבעיה העצומה של המצב הנוכחי במדע נעוצה במתמטיקה. היא מניחה שכל התלמידים מכירים לחלוטין את כל תחומי המתמטיקה (וזה אבסורד). להודות שאתה לא יודע מהי נגזרת (שזה קצת יותר מאוחר) חבל.

אבל למדתי להגיד שאני לא יודע מה זה כפל. כן, אני לא יודע מהי תת-אלגברה על פני אלגברת שקר. כן, אני לא יודע למה יש צורך במשוואות ריבועיות בחיים. אגב, אם אתה בטוח שאתה יודע, אז יש לנו על מה לדבר! מתמטיקה היא סדרה של טריקים. מתמטיקאים מנסים לבלבל ולהפחיד את הציבור; שבו אין בלבול, אין מוניטין, אין סמכות. כן, זה יוקרתי לדבר בשפה הכי מופשטת שאפשר, וזו שטות גמורה בפני עצמה.

אתה יודע מה זה נגזרת? סביר להניח שתספר לי על הגבול של יחס ההבדל. בשנה הראשונה של מתמטיקה באוניברסיטת סנט פטרבורג, ויקטור פטרוביץ' חווין לי מוּגדָרנגזרת כמקדם האיבר הראשון של סדרת טיילור של הפונקציה בנקודה (זו הייתה התעמלות נפרדת כדי לקבוע את סדרת טיילור ללא נגזרות). צחקתי מההגדרה הזו הרבה זמן, עד שהבנתי סוף סוף במה מדובר. הנגזרת היא לא יותר מסתם מדד עד כמה הפונקציה שאנו מבדילים דומה לפונקציה y=x, y=x^2, y=x^3.

כעת יש לי הכבוד להרצות לסטודנטים אשר פַּחַדמָתֵימָטִיקָה. אם אתה מפחד ממתמטיקה - אנחנו בדרך. ברגע שאתה מנסה לקרוא איזה טקסט ונראה לך שהוא מסובך מדי, אז דע שהוא כתוב גרוע. אני טוען שאין תחום אחד במתמטיקה שאי אפשר לדבר עליו "על האצבעות" מבלי לאבד את הדיוק.

האתגר לעתיד הקרוב: הנחיתי את התלמידים שלי להבין מהו בקר ליניארי-ריבועי. אל תתביישו, תבזבזו שלוש דקות מהחיים שלכם, כנסו לקישור. אם אתה לא מבין כלום, אז אנחנו בדרך. גם אני (מתמטיקאי-מתכנת מקצועי) לא הבנתי כלום. ואני מבטיח לך שאפשר לסדר את זה "על האצבעות". כרגע אני לא יודע מה זה, אבל אני מבטיח לך שנוכל להבין את זה.

אז, ההרצאה הראשונה שאני הולך לתת לתלמידים שלי אחרי שהם באים אלי בריצה באימה עם המילים שהבקר הליניארי-ריבועי הוא באג נוראי שלעולם לא תשלוט בו בחייך היא שיטות הריבועים הקטנים ביותר. האם אתה יכול לפתור משוואות לינאריות? אם אתה קורא את הטקסט הזה, סביר להניח שלא.

אז בהינתן שתי נקודות (x0, y0), (x1, y1), למשל, (1,1) ו-(3,2), המשימה היא למצוא את משוואת הישר העובר דרך שתי הנקודות הללו:

אִיוּר

לקו הישר הזה צריכה להיות משוואה כמו הבאה:

כאן אלפא ובטא אינם ידועים לנו, אך שתי נקודות בקו זה ידועות:

אתה יכול לכתוב את המשוואה הזו בצורה מטריצה:

כאן עלינו לעשות סטיה לירית: מהי מטריצה? מטריצה ​​אינה אלא מערך דו מימדי. זוהי דרך לאחסן נתונים, אין לתת לה עוד ערכים. זה תלוי בנו איך בדיוק לפרש מטריצה ​​מסוימת. מעת לעת, אפרש אותו כמיפוי ליניארי, מעת לעת כצורה ריבועית, ולפעמים פשוט כקבוצה של וקטורים. כל זה יובהר בהקשר.

בואו נחליף מטריצות ספציפיות בייצוג הסמלי שלהן:

לאחר מכן (אלפא, בטא) ניתן למצוא בקלות:

יותר ספציפית לנתונים הקודמים שלנו:

מה שמוביל למשוואה הבאה של ישר העובר בנקודות (1,1) ו-(3,2):

אוקיי, הכל ברור כאן. ונמצא את המשוואה של קו ישר שעובר דרכו שְׁלוֹשָׁהנקודות: (x0,y0), (x1,y1) ו-(x2,y2):

הו-או-הו, אבל יש לנו שלוש משוואות לשני לא ידועים! המתמטיקאי הסטנדרטי יגיד שאין פתרון. מה יגיד המתכנת? והוא ישכתב תחילה את מערכת המשוואות הקודמת בצורה הבאה:

במקרה שלנו, הוקטורים i, j, b הם תלת מימדיים, ולכן, (במקרה הכללי) אין פתרון למערכת הזו. כל וקטור (alpha\*i + beta\*j) נמצא במישור החולש על ידי הוקטורים (i, j). אם b לא שייך למישור הזה, אז אין פתרון (אי אפשר להשיג שוויון במשוואה). מה לעשות? בואו נחפש פשרה. בואו נסמן ב e(אלפא, בטא)איך בדיוק לא השגנו שוויון:

וננסה למזער את השגיאה הזו:

למה ריבוע?

אנחנו מחפשים לא רק את המינימום של הנורמה, אלא את המינימום של הריבוע של הנורמה. למה? נקודת המינימום עצמה עולה בקנה אחד, והריבוע נותן פונקציה חלקה (פונקציה ריבועית של הארגומנטים (אלפא, בטא)), בעוד שרק האורך נותן פונקציה בצורת חרוט, שאינה ניתנת להבדלה בנקודת המינימום. ברר. ריבוע נוח יותר.

ברור, השגיאה ממוזערת כאשר הווקטור האורתוגונלית למישור המתפרש על ידי הוקטורים אניו י.

אִיוּר

במילים אחרות: אנו מחפשים קו כך שסכום אורכי הריבוע של המרחקים מכל הנקודות לישר זה הוא מינימלי:

עדכון: כאן יש לי משקוף, המרחק לקו צריך להימדד אנכית, לא הקרנה אורתוגרפית. המגיב צודק.

אִיוּר

במילים שונות לחלוטין (בזהירות, בצורה לא פורמלית, אבל זה צריך להיות ברור על האצבעות): אנחנו לוקחים את כל הקווים האפשריים בין כל זוגות הנקודות ומחפשים את הקו הממוצע בין כולם:

אִיוּר

הסבר נוסף על האצבעות: אנו מצמידים קפיץ בין כל נקודות הנתונים (כאן יש לנו שלוש) והקו שאנו מחפשים, והקו של מצב שיווי המשקל הוא בדיוק מה שאנו מחפשים.

מינימום צורה ריבועית

אז בהינתן הווקטור בוהמישור המתפרש על ידי הטורים-וקטורים של המטריצה א(במקרה זה (x0,x1,x2) ו-(1,1,1)), אנו מחפשים וקטור העם ריבוע מינימלי של אורך. ברור שהמינימום ניתן להשגה רק עבור הווקטור ה, אורתוגונלי למישור המתפרש על ידי הטורים-וקטורים של המטריצה א:

במילים אחרות, אנו מחפשים וקטור x=(אלפא, בטא) כך ש:

אני מזכיר לך שהווקטור הזה x=(alpha, beta) הוא המינימום של הפונקציה הריבועית ||e(alpha, beta)||^2:

כאן כדאי לזכור שניתן לפרש את המטריצה ​​כמו גם את הצורה הריבועית, לדוגמה, ניתן לפרש את מטריצת הזהות ((1,0),(0,1)) כפונקציה של x^2 + y ^2:

צורה ריבועית

כל ההתעמלות הזו ידועה בשם רגרסיה לינארית.

משוואת לפלס עם תנאי גבול דיריכלה

עכשיו הבעיה האמיתית הפשוטה ביותר: יש משטח משולש מסוים, יש צורך להחליק אותו. לדוגמה, בואו נטען את דגם הפנים שלי:

ההתחייבות המקורית זמינה. כדי למזער תלות חיצונית, לקחתי את הקוד של renderer התוכנה שלי, כבר על Habré. כדי לפתור את המערכת הליניארית, אני משתמש ב-OpenNL , זה פותר מצוין, אבל קשה מאוד להתקין אותו: אתה צריך להעתיק שני קבצים (.h + .c) לתיקיית הפרויקט שלך. כל ההחלקה מתבצעת על ידי הקוד הבא:

עבור (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = faces[i]; עבור (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

קואורדינטות X, Y ו-Z ניתנות להפרדה, אני מחליק אותן בנפרד. כלומר, אני פותר שלוש מערכות של משוואות ליניאריות, שלכל אחת מהן מספר משתנים זהה למספר הקודקודים במודל שלי. ל-n השורות הראשונות של מטריצה ​​A יש רק 1 אחד בכל שורה, ול-n השורות הראשונות של וקטור b יש קואורדינטות מודל מקוריות. כלומר, אני מקפיץ בין מיקום הקודקוד החדש למיקום הקודקוד הישן - החדשים לא צריכים להיות רחוקים מדי מהישן.

לכל השורות הבאות של מטריצה ​​A (faces.size()*3 = מספר הקצוות של כל המשולשים ברשת) יש מופע אחד של 1 ומופע אחד של -1, בעוד שלווקטור b יש אפס רכיבים ממול. זה אומר ששמתי קפיץ בכל קצה של הרשת המשולשת שלנו: כל הקצוות מנסים לקבל את אותו קודקוד כמו נקודות ההתחלה והסיום שלהם.

שוב: כל הקודקודים הם משתנים, והם אינם יכולים לסטות רחוק ממיקומם המקורי, אך יחד עם זאת הם מנסים להיות דומים זה לזה.

הנה התוצאה:

הכל יהיה בסדר, הדגם ממש מוחלק, אבל הוא התרחק מהקצה המקורי שלו. בואו נשנה מעט את הקוד:

עבור (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

במטריצה ​​A שלנו, עבור הקודקודים שנמצאים בקצה, אני לא מוסיף שורה מהקטגוריה v_i = verts[i][d], אלא 1000*v_i = 1000*verts[i][d]. מה זה משנה? וזה משנה את הצורה הריבועית שלנו של השגיאה. כעת סטייה בודדת מהחלק העליון בקצה תעלה לא יחידה אחת, כמו קודם, אלא 1000 * 1000 יחידות. כלומר, תלינו קפיץ חזק יותר על הקודקודים הקיצוניים, הפתרון מעדיף למתוח אחרים חזק יותר. הנה התוצאה:

נכפיל את עוצמת הקפיצים בין הקודקודים:
nlCoefficient(face[ j ], 2); nlCoefficient(face[(j+1)%3], -2);

זה הגיוני שהמשטח הפך חלק יותר:

ועכשיו אפילו פי מאה חזק יותר:

מה זה? תארו לעצמכם שטבלנו טבעת תיל במי סבון. כתוצאה מכך, סרט הסבון המתקבל ינסה לקבל את הקימור המינימלי ככל האפשר, לגעת באותו גבול - טבעת החוט שלנו. זה בדיוק מה שקיבלנו על ידי תיקון הגבול ובקשת משטח חלק בפנים. מזל טוב, זה עתה פתרנו את משוואת לפלס עם תנאי הגבול של דיריכלה. נשמע מגניב? אבל למעשה, רק מערכת אחת של משוואות לינאריות לפתרון.

משוואת פויסון

בוא יהיה עוד שם מגניב.

נניח שיש לי תמונה כזו:

כולם טובים, אבל אני לא אוהב את הכיסא.

חתכתי את התמונה לשניים:

ואני אבחר כיסא בידיים:

לאחר מכן אגרור את כל מה שלבן במסכה לצד שמאל של התמונה, ובמקביל אגיד לאורך כל התמונה שההבדל בין שני פיקסלים שכנים צריך להיות שווה להפרש בין שני פיקסלים שכנים של תמונה ימין:

עבור (int i=0; i

הנה התוצאה:

קוד ותמונות זמינים

אשר מוצא את היישום הרחב ביותר בתחומי מדע ופרקטיקה שונים. זה יכול להיות פיזיקה, כימיה, ביולוגיה, כלכלה, סוציולוגיה, פסיכולוגיה וכן הלאה וכן הלאה. לפי רצון הגורל, אני נאלץ להתמודד לא פעם עם הכלכלה, ולכן היום אסדר לך כרטיס למדינה מדהימה בשם אקונומטריה=) ... איך אתה לא רוצה את זה?! שם טוב מאוד - רק צריך להחליט! ...אבל מה שאתה כנראה בהחלט רוצה זה ללמוד איך לפתור בעיות הריבועים הקטנים ביותר. וקוראים חרוצים במיוחד ילמדו לפתור אותם לא רק במדויק, אלא גם מהר מאוד ;-) אבל קודם כל הצהרה כללית על הבעיה+ דוגמה קשורה:

אפשר ללמוד אינדיקטורים בתחום נושא כלשהו שיש להם ביטוי כמותי. יחד עם זאת, יש כל סיבה להאמין שהאינדיקטור תלוי באינדיקטור. הנחה זו יכולה להיות גם השערה מדעית וגם מבוססת על השכל הישר היסודי. עם זאת, בואו נעזוב את המדע בצד, ונחקור אזורים מעוררי תיאבון נוספים - כלומר חנויות מכולת. סמן ב:

– שטח מסחר של מכולת, מ"ר,
- מחזור שנתי של מכולת, מיליון רובל.

די ברור שככל ששטח החנות גדול יותר, כך גדלה המחזור שלה ברוב המקרים.

נניח שלאחר עריכת תצפיות / ניסויים / חישובים / ריקוד עם טמבורין, עומדים לרשותנו נתונים מספריים:

עם חנויות מכולת אני חושב שהכל ברור: - זה השטח של החנות הראשונה, - המחזור השנתי שלה, - השטח של החנות השנייה, - המחזור השנתי שלה וכו'. אגב, אין צורך כלל בגישה לחומרים מסווגים - הערכה די מדויקת של המחזור ניתן לקבל באמצעות סטטיסטיקה מתמטית. עם זאת, אין להסיח את דעתו, מהלך הריגול המסחרי כבר בתשלום =)

ניתן לכתוב נתונים טבלאיים גם בצורה של נקודות ולהציג אותם בדרך הרגילה עבורנו. מערכת קרטזיאנית .

בוא נענה על שאלה חשובה: כמה נקודות נדרשות למחקר איכותני?

יותר גדול יותר טוב. הסט המינימלי הקביל מורכב מ-5-6 נקודות. בנוסף, עם כמות קטנה של נתונים, אין לכלול תוצאות "חריגות" במדגם. אז, למשל, חנות עילית קטנה יכולה לעזור בסדרי גודל יותר מאשר "הקולגות שלהם", ובכך לעוות את הדפוס הכללי שצריך למצוא!

אם זה די פשוט, אנחנו צריכים לבחור פונקציה, לוח זמניםשעובר הכי קרוב שאפשר לנקודות . פונקציה כזו נקראת מתקרב (קירוב - קירוב)אוֹ פונקציה תיאורטית . באופן כללי, כאן מופיע מיד "מתיימר" ברור - פולינום בדרגה גבוהה, שהגרף שלו עובר דרך כל הנקודות. אבל אפשרות זו היא מסובכת, ולעתים קרובות פשוט לא נכונה. (מכיוון שהתרשים "יתפתל" כל הזמן וישקף בצורה גרועה את המגמה העיקרית).

לפיכך, התפקוד הרצוי חייב להיות מספיק פשוט ובו בזמן לשקף את התלות בצורה נאותה. כפי שאתה יכול לנחש, אחת השיטות למציאת פונקציות כאלה נקראת הריבועים הקטנים ביותר. ראשית, בואו ננתח את מהותו באופן כללי. תן לפונקציה כלשהי להעריך את נתוני הניסוי:


כיצד להעריך את הדיוק של קירוב זה? הבה נחשב גם את ההבדלים (סטיות) בין הערכים הניסויים והפונקציונליים (אנחנו לומדים את הציור). המחשבה הראשונה שעולה בראש היא להעריך כמה גדול הסכום, אבל הבעיה היא שההבדלים יכולים להיות שליליים. (לדוגמה, ) וסטיות כתוצאה מסיכום כזה יבטלו זו את זו. לכן, כהערכה לדיוק הקירוב, היא מציעה לעצמה לקחת את הסכום מודוליםסטיות:

או בצורה מקופלת: (פתאום, מי שלא יודע: הוא סמל הסכום, והוא משתנה עזר-"מונה", שלוקח ערכים מ-1 עד ).

על ידי קירוב נקודות הניסוי עם פונקציות שונות, נקבל ערכים שונים של , וברור שכאשר הסכום הזה קטן יותר, הפונקציה הזו מדויקת יותר.

שיטה כזו קיימת ונקראת שיטת מודול המינימום. עם זאת, בפועל היא הפכה לנפוצה הרבה יותר. שיטת הריבוע הפחותה, שבו ערכים שליליים אפשריים מסולקים לא על ידי המודולוס, אלא על ידי ריבוע הסטיות:

, לאחר מכן מופנים המאמצים לבחירת פונקציה כזו שסכום הסטיות בריבוע היה קטן ככל האפשר. למעשה, מכאן שם השיטה.

ועכשיו נחזור לנקודה חשובה נוספת: כפי שצוין לעיל, הפונקציה שנבחרה צריכה להיות די פשוטה - אבל יש גם הרבה פונקציות כאלה: ליניארי , היפרבולי, אקספוננציאלי, לוגריתמי, רִבּוּעִי וכו ' וכמובן שכאן אבקש מיד "לצמצם את תחום הפעילות". איזה סוג של פונקציות לבחור למחקר? טכניקה פרימיטיבית אך יעילה:

- הדרך הקלה ביותר לצייר נקודות על הציור ולנתח את מיקומם. אם הם נוטים להיות בקו ישר, אז אתה צריך לחפש משוואת קו ישר עם ערכים אופטימליים ו. במילים אחרות, המשימה היא למצוא מקדמי SUCH - כך שסכום הסטיות בריבוע הוא הקטן ביותר.

אם הנקודות ממוקמות, למשל, לאורך הַגזָמָה, אז ברור שהפונקציה הליניארית תיתן קירוב גרוע. במקרה זה, אנו מחפשים את המקדמים ה"טובים" ביותר עבור משוואת ההיפרבולה - אלה שנותנים את הסכום המינימלי של ריבועים .

עכשיו שימו לב שבשני המקרים אנחנו מדברים פונקציות של שני משתנים, שטענותיו חיפשו אפשרויות תלות:

ובעצם, אנחנו צריכים לפתור בעיה סטנדרטית - למצוא מינימום של פונקציה של שני משתנים.

זכור את הדוגמה שלנו: נניח שנקודות ה"חנות" נוטות להיות ממוקמות בקו ישר ויש כל סיבה להאמין בנוכחות תלות ליניאריתמחזור מאזור המסחר. בוא נמצא את מקדמי SUCH "a" ו-"be" כך שסכום הסטיות בריבוע היה הקטן ביותר. הכל כרגיל - ראשון נגזרות חלקיות מהסדר הראשון. לפי כלל ליניאריותאתה יכול להבדיל ממש מתחת לסמל הסכום:

אם ברצונך להשתמש במידע זה לחיבור או לעבודה, אודה מאוד על הקישור ברשימת המקורות, חישובים מפורטים כאלה לא תמצאו בשום מקום:

בואו נעשה מערכת סטנדרטית:

אנו מצמצמים כל משוואה ב-"שתיים" ובנוסף "מפרקים" את הסכומים:

הערה : נתח באופן עצמאי מדוע ניתן להוציא "a" ו-"be" מסמל הסכום. אגב, פורמלית אפשר לעשות את זה עם הסכום

בואו נשכתב את המערכת בצורה "מיושם":

לאחר מכן מתחיל להצטייר האלגוריתם לפתרון הבעיה שלנו:

האם אנו יודעים את הקואורדינטות של הנקודות? אנחנו יודעים. סכומים אנחנו יכולים למצוא? בְּקַלוּת. אנו מרכיבים את הפשוט ביותר מערכת של שתי משוואות ליניאריות עם שני לא ידועים("א" ו-"בה"). אנחנו פותרים את המערכת, למשל, השיטה של ​​קריימר, וכתוצאה מכך נקודה נייחת . בודק תנאי מספיק לקיצוניות, נוכל לוודא שבשלב זה הפונקציה מגיע בדיוק מִינִימוּם. האימות משויך לחישובים נוספים ולכן נשאיר אותו מאחורי הקלעים. (במידת הצורך, ניתן לראות את המסגרת החסרה). אנו מסיקים את המסקנה הסופית:

פוּנקצִיָה הדרך הכי טובה (לפחות בהשוואה לכל פונקציה לינארית אחרת)מקרב את נקודות הניסוי . באופן גס, הגרף שלו עובר הכי קרוב שאפשר לנקודות האלה. במסורת אקונומטריהפונקציית הקירוב המתקבלת נקראת גם משוואת רגרסיה ליניארית זוגית .

לבעיה הנידונה יש חשיבות מעשית רבה. במצב עם הדוגמה שלנו, המשוואה מאפשר לך לחזות איזה סוג של מחזור ("ייג")יהיה בחנות עם ערך כזה או אחר של אזור המכירה (משמעות כזו או אחרת של "x"). כן, התחזית שתתקבל תהיה רק ​​תחזית, אבל במקרים רבים היא תתברר כמדויקת למדי.

אנתח רק בעיה אחת עם מספרים "אמיתיים", שכן אין בה קשיים - כל החישובים הם ברמת תכנית הלימודים בבית הספר בכיתות ז'-ח'. ב-95 אחוז מהמקרים תתבקשו למצוא רק פונקציה לינארית, אבל ממש בסוף המאמר אראה שלא קשה יותר למצוא את המשוואות להיפרבולה האופטימלית, המעריך ועוד כמה פונקציות.

למעשה, נותר להפיץ את הטובים שהובטחו - כדי שתלמדו איך לפתור דוגמאות כאלה לא רק במדויק, אלא גם במהירות. אנו לומדים בקפידה את התקן:

משימה

כתוצאה מלימוד הקשר בין שני אינדיקטורים, התקבלו זוגות המספרים הבאים:

באמצעות שיטת הריבועים הקטנים ביותר, מצא את הפונקציה הליניארית המקורבת ביותר לאמפיריה (מְנוּסֶה)נתונים. צרו ציור שעליו, במערכת קואורדינטות מלבנית קרטזית, משרטטים נקודות ניסוי וגרף של הפונקציה המקורבת . מצא את סכום הסטיות בריבוע בין ערכים אמפיריים לערכים תיאורטיים. גלה אם הפונקציה טובה יותר (מבחינת שיטת הריבועים הקטנים ביותר)נקודות ניסוי משוערות.

שימו לב שערכי "x" הם ערכי טבע, ולכך יש משמעות משמעותית אופיינית, עליה אדבר מעט מאוחר יותר; אבל הם, כמובן, יכולים להיות חלקים. בנוסף, בהתאם לתוכן של משימה מסוימת, ערכי "X" ו-"G" יכולים להיות שליליים באופן מלא או חלקי. ובכן, קיבלנו משימה "חסרת פנים", ואנחנו מתחילים בה פִּתָרוֹן:

אנו מוצאים את המקדמים של הפונקציה האופטימלית כפתרון למערכת:

למטרות סימון קומפקטי יותר, ניתן להשמיט את משתנה "המונה", שכן כבר ברור שהסיכום מתבצע מ-1 עד.

נוח יותר לחשב את הסכומים הנדרשים בצורה טבלה:


ניתן לבצע חישובים על מחשבון מיקרו, אך עדיף להשתמש באקסל - גם מהר יותר וגם ללא שגיאות; צפו בסרטון קצר:

לפיכך, אנו מקבלים את הדברים הבאים מערכת:

כאן אתה יכול להכפיל את המשוואה השנייה ב-3 ו להחסיר את ה-2 מהמשוואה ה-1 איבר אחר איבר. אבל זה מזל - בפועל, מערכות לרוב אינן מחוננים, ובמקרים כאלה זה חוסך השיטה של ​​קריימר:
, כך שלמערכת יש פתרון ייחודי.

בוא נעשה בדיקה. אני מבין שאני לא רוצה, אבל למה לדלג על טעויות שבהן אתה בהחלט לא יכול לפספס אותן? החליפו את הפתרון שנמצא בצד שמאל של כל משוואה של המערכת:

מתקבלים החלקים הנכונים של המשוואות המתאימות, מה שאומר שהמערכת נפתרת בצורה נכונה.

לפיכך, פונקציית הקירוב הרצויה: - מ כל הפונקציות הליניאריותנתוני ניסוי מוערכים בצורה הטובה ביותר לפי זה.

בניגוד יָשָׁר תלות מחזור החנות בשטחה, התלות שנמצאה היא לַהֲפוֹך (עקרון "כמה שיותר - כמה שפחות"), ועובדה זו מתגלה מיד על ידי השלילי מקדם זוויתי. פוּנקצִיָה מודיע לנו שעם עלייה של מחוון מסוים ביחידה אחת, הערך של המחוון התלוי יורד מְמוּצָעב-0.65 יחידות. כמו שאומרים, ככל שמחיר הכוסמת גבוה יותר, כך נמכר פחות.

כדי לשרטט את הפונקציה המקורבת, אנו מוצאים שניים מהערכים שלה:

ותבצע את הציור:


הקו הבנוי נקרא קו מגמה (כלומר, קו מגמה ליניארי, כלומר במקרה הכללי, מגמה אינה בהכרח קו ישר). כולם מכירים את הביטוי "להיות במגמה", ואני חושב שהמונח הזה לא צריך הערות נוספות.

חשב את סכום הסטיות בריבוע בין ערכים אמפיריים לתיאורטיים. מבחינה גיאומטרית, זהו סכום הריבועים של אורכי מקטעי ה"ארגמן". (שניים מהם כל כך קטנים שאתה אפילו לא יכול לראות אותם).

נסכם את החישובים בטבלה:


הם יכולים להתבצע שוב באופן ידני, למקרה שאתן דוגמה לנקודה הראשונה:

אבל זה הרבה יותר יעיל לעשות את הדרך הידועה כבר:

בואו נחזור על כך: מה משמעות התוצאהמ כל הפונקציות הליניאריותפוּנקצִיָה המעריך הוא הקטן ביותר, כלומר, הוא הקירוב הטוב ביותר במשפחתו. וכאן, אגב, השאלה הסופית של הבעיה אינה מקרית: מה אם הפונקציה האקספוננציאלית המוצעת האם עדיף להעריך את נקודות הניסוי?

הבה נמצא את הסכום המתאים של סטיות בריבוע - כדי להבדיל ביניהן, אציין אותן באות "אפסילון". הטכניקה זהה לחלוטין:


ושוב על כל חישוב אש עבור הנקודה הראשונה:

באקסל, אנו משתמשים בפונקציה הסטנדרטית EXP (ניתן למצוא תחביר בעזרה של Excel).

סיכום: , כך שהפונקציה המעריכית מתקרבת לנקודות הניסוי בצורה גרועה יותר מהקו הישר .

אבל יש לציין כאן ש"גרוע יותר" הוא לא מתכוון עדיין, מה לא בסדר. עכשיו בניתי גרף של הפונקציה האקספוננציאלית הזו - והוא גם עובר קרוב לנקודות - עד כדי כך שללא מחקר אנליטי קשה לומר איזו פונקציה מדויקת יותר.

זה משלים את הפתרון, ואני חוזר לשאלת ערכי הטבע של הטיעון. במחקרים שונים, ככלל, כלכליים או סוציולוגיים, חודשים, שנים או מרווחי זמן שווים אחרים ממוספרים ב-"X" טבעי. קחו למשל בעיה כזו.

הריבועים הקטנים הוא הליך מתמטי לבניית משוואה לינארית המתאימה ביותר לקבוצה של זוגות מסודרים על ידי מציאת ערכים עבור a ו-b, המקדמים במשוואת הישר. המטרה של שיטת הריבועים הקטנים היא למזער את השגיאה הכוללת בריבוע בין ערכי y ו- ŷ. אם עבור כל נקודה אנו קובעים את השגיאה ŷ, שיטת הריבועים הקטנים ממזערת:

כאשר n = מספר זוגות מסודרים סביב הקו. הכי רלוונטי לנתונים.

מושג זה מודגם באיור

אם לשפוט לפי האיור, הקו המתאים ביותר לנתונים, קו הרגרסיה, ממזער את השגיאה הכוללת בריבוע של ארבע הנקודות בגרף. אני אראה לך כיצד לקבוע זאת באמצעות שיטת הריבועים הקטנים בדוגמה הבאה.

דמיינו לעצמכם זוג צעיר שחיים לאחרונה יחד וחולקים שולחן איפור בחדר האמבטיה. הצעיר החל להבחין שחצי מהשולחן שלו מתכווץ ללא הרף, מאבד קרקע ממוסי שיער ותסביכי סויה. במהלך החודשים האחרונים, הבחור עקבה מקרוב אחר הקצב שבו מספר הפריטים מצדה של השולחן גדל. הטבלה למטה מציגה את מספר הפריטים שיש לילדה על שולחן השירותים שהצטברו במהלך החודשים האחרונים.

מכיוון שהמטרה שלנו היא לברר אם מספר הפריטים גדל עם הזמן, "חודש" יהיה המשתנה הבלתי תלוי, ו"מספר פריטים" יהיה המשתנה התלוי.

באמצעות שיטת הריבועים הקטנים, אנו קובעים את המשוואה המתאימה ביותר לנתונים על ידי חישוב הערכים של a, הקטע על ציר ה-y ו-b, השיפוע של הישר:

a = y cf - bx cf

כאשר x cf הוא הערך הממוצע של x, המשתנה הבלתי תלוי, y cf הוא הערך הממוצע של y, המשתנה הבלתי תלוי.

הטבלה שלהלן מסכמת את החישובים הנדרשים עבור משוואות אלו.

עקומת ההשפעה של דוגמה לאמבטיה שלנו תינתן על ידי המשוואה הבאה:

מכיוון שלמשוואה שלנו יש שיפוע חיובי של 0.976, לבחור יש הוכחה לכך שמספר הפריטים על הטבלה גדל עם הזמן בקצב ממוצע של פריט 1 לחודש. הגרף מציג את עקומת האפקט עם זוגות מסודרים.

מספר הפריטים הצפוי לחצי השנה הקרובה (חודש 16) יחושב באופן הבא:

ŷ = 5.13 + 0.976x = 5.13 + 0.976(16) ~ 20.7 = 21 פריטים

אז הגיע הזמן שהגיבור שלנו ינקוט פעולה.

פונקציית TREND באקסל

כפי שאולי ניחשתם, לאקסל יש פונקציה שממנה ניתן לחשב ערך שיטת הריבועים הקטנים ביותר.תכונה זו נקראת TREND. התחביר שלו הוא הבא:

TREND (ערכי Y ידועים; ערכי X ידועים; ערכי X חדשים; const)

ערכים ידועים של Y - מערך של משתנים תלויים, במקרה שלנו, מספר הפריטים על הטבלה

ערכים ידועים של X - מערך של משתנים בלתי תלויים, במקרה שלנו זה חודש

ערכי X חדשים - ערכי X חדשים (חודשיים) שעבורם פונקציית TRENDמחזירה את הערך הצפוי של משתנים תלויים (מספר פריטים)

const - אופציונלי. ערך בוליאני שמציין אם הקבוע b נדרש להיות 0.

לדוגמה, האיור מציג את הפונקציה TREND המשמשת לקביעת המספר הצפוי של פריטים על שולחן האמבטיה לחודש ה-16.

שיטת הריבועים הקטנים ביותר (LSM) מאפשרת להעריך כמויות שונות באמצעות תוצאות של מדידות רבות המכילות שגיאות אקראיות.

MNC אופייני

הרעיון המרכזי של שיטה זו הוא שסכום השגיאות בריבוע נחשב כקריטריון לדיוק פתרון הבעיה, שאותו מבקשים למזער. בעת שימוש בשיטה זו, ניתן ליישם גישות מספריות ואנליטיות כאחד.

בפרט, כיישום מספרי, שיטת הריבועים הקטנים מרמזת לבצע כמה שיותר מדידות של משתנה אקראי לא ידוע. יתרה מכך, ככל שיהיו יותר חישובים, כך הפתרון יהיה מדויק יותר. על קבוצת חישובים זו (נתונים ראשוניים), מתקבלת קבוצה נוספת של פתרונות מוצעים, שמהם נבחר הטוב ביותר. אם ערכת הפתרונות מותאמת לפרמטרים, אזי שיטת הריבועים הקטנים תצטמצם למציאת הערך האופטימלי של הפרמטרים.

כגישה אנליטית להטמעת LSM על מכלול הנתונים הראשוניים (מדידות) ומערך הפתרונות המוצעים, מוגדרים חלקם (פונקציונליים), אותם ניתן לבטא על ידי נוסחה המתקבלת כהשערה מסוימת שיש לאשש אותה. במקרה זה, שיטת הריבועים הקטנים ביותר מצטמצמת למציאת המינימום של פונקציונלי זה על קבוצת השגיאות בריבוע של הנתונים הראשוניים.

שימו לב שלא השגיאות עצמן, אלא הריבועים של השגיאות. למה? העובדה היא שלעתים קרובות הסטיות של המדידות מהערך המדויק הן חיוביות ושליליות. בעת קביעת הממוצע, סיכום פשוט יכול להוביל למסקנה לא נכונה לגבי איכות האומדן, שכן ביטול הדדי של ערכים חיוביים ושליליים יפחית את כוח הדגימה של מערך המדידות. וכתוצאה מכך, דיוק ההערכה.

כדי למנוע את זה, מסוכמים את הסטיות בריבוע. אפילו יותר מזה, כדי להשוות את מימד הערך הנמדד והאומדן הסופי, סכום השגיאות בריבוע משמש לחילוץ

כמה יישומים של MNCs

MNC נמצא בשימוש נרחב בתחומים שונים. לדוגמה, בתורת ההסתברות ובסטטיסטיקה מתמטית, השיטה משמשת לקביעת מאפיין כזה של משתנה אקראי כמו סטיית התקן, הקובעת את רוחב טווח הערכים של משתנה מקרי.

השיטה הכי פחות ריבועיתמשמש להערכת הפרמטרים של משוואת הרגרסיה.

מספר שורות (נתונים ראשוניים)

אחת השיטות לחקר קשרים סטוכסטיים בין תכונות היא ניתוח רגרסיה.
ניתוח רגרסיה הוא הגזירה של משוואת רגרסיה, המשמשת למציאת הערך הממוצע של משתנה אקראי (תכונה-תוצאה), אם הערך של משתנים אחרים (או אחרים) (מאפיינים-גורמים) ידוע. הוא כולל את השלבים הבאים:

1. בחירת צורת החיבור (סוג משוואת רגרסיה אנליטית);
2. הערכת פרמטרים של המשוואה;
3. הערכת איכות משוואת הרגרסיה האנליטית.

לרוב, צורה ליניארית משמשת לתיאור הקשר הסטטיסטי של תכונות. תשומת לב לקשר ליניארי מוסברת על ידי פרשנות כלכלית ברורה של הפרמטרים שלו, מוגבלת על ידי שונות של משתנים, ועל ידי העובדה שברוב המקרים, צורות לא לינאריות של קשר מומרות (על ידי לקיחת לוגריתם או שינוי משתנים) לצורה לינארית כדי לבצע חישובים.
במקרה של קשר זוג ליניארי, משוואת הרגרסיה תקבל את הצורה: y i =a+b·x i +u i . הפרמטרים של משוואה זו a ו-b נאמדים מנתוני התצפית הסטטיסטית x ו-y. התוצאה של הערכה כזו היא המשוואה: , כאשר , - אומדנים של הפרמטרים a ו-b , - ערך התכונה האפקטיבית (המשתנה) המתקבלת על ידי משוואת הרגרסיה (ערך מחושב).

הנפוץ ביותר עבור הערכת פרמטרים הוא שיטת הריבועים הקטנים ביותר (LSM).
שיטת הריבועים הקטנים נותנת את האומדנים הטובים ביותר (עקביים, יעילים ובלתי מוטים) של הפרמטרים של משוואת הרגרסיה. אבל רק אם מתקיימות הנחות מסוימות לגבי המונח האקראי (u) והמשתנה הבלתי תלוי (x) (ראה הנחות OLS).

הבעיה של אומדן הפרמטרים של משוואת זוג ליניארית בשיטת הריבועים הקטניםמורכב מהדברים הבאים: כדי לקבל אומדנים כאלה של הפרמטרים , , שבהם סכום הסטיות בריבוע של הערכים בפועל של התכונה האפקטיבית - y i מהערכים המחושבים - הוא מינימלי.
רִשְׁמִית קריטריון OLSאפשר לכתוב כך: .

סיווג שיטות הריבועים הקטנים ביותר

1. השיטה הכי פחות ריבועית.
2. שיטת הסבירות המקסימלית (עבור מודל רגרסיה ליניארית קלאסית רגילה, מונחת נורמליות של שאריות רגרסיה).
3. שיטת הריבועים הקטנים המוכללת של GLSM משמשת במקרה של קורלציה אוטומטית של שגיאה ובמקרה של הטרוסקדסטיות.
4. שיטת הריבועים הקטנים המשוקללים (מקרה מיוחד של GLSM עם שאריות הטרוסקדסטיות).

המחיש את המהות השיטה הקלאסית של הריבועים הקטנים מבחינה גרפית. לשם כך נבנה עלילת נקודות לפי נתוני התצפית (x i, y i, i=1;n) במערכת קואורדינטות מלבנית (עלילת נקודות כזו נקראת שדה מתאם). ננסה למצוא קו ישר הקרוב ביותר לנקודות של שדה המתאם. לפי שיטת הריבועים הקטנים, הקו נבחר כך שסכום המרחקים האנכיים בריבוע בין נקודות שדה המתאם לקו זה יהיה מינימלי.

סימון מתמטי של בעיה זו: .
הערכים של y i ו-x i =1...n ידועים לנו, אלו נתונים תצפיתיים. בפונקציה S הם קבועים. המשתנים בפונקציה זו הם האומדנים הנדרשים של הפרמטרים - , . כדי למצוא את המינימום של פונקציה של 2 משתנים, יש צורך לחשב את הנגזרות החלקיות של פונקציה זו ביחס לכל אחד מהפרמטרים ולהשוות אותם לאפס, כלומר. .
כתוצאה מכך, נקבל מערכת של 2 משוואות לינאריות נורמליות:
בפתרון מערכת זו, אנו מוצאים את הערכות הפרמטרים הנדרשות:

ניתן לבדוק את נכונות חישוב הפרמטרים של משוואת הרגרסיה על ידי השוואת הסכומים (ייתכן אי התאמה מסוימת עקב עיגול החישובים).
כדי לחשב אומדני פרמטרים, אתה יכול לבנות טבלה 1.
הסימן של מקדם הרגרסיה b מציין את כיוון הקשר (אם b > 0, הקשר ישיר, אם b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
באופן פורמלי, הערך של הפרמטר a הוא הערך הממוצע של y עבור x שווה לאפס. אם לגורם הסימן אין ולא יכול להיות ערך אפס, אז הפרשנות לעיל של הפרמטר a אינה הגיונית.

הערכת אטימות הקשר בין תכונות מתבצעת באמצעות מקדם מתאם זוג ליניארי - r x,y . ניתן לחשב אותו באמצעות הנוסחה: . בנוסף, ניתן לקבוע את מקדם המתאם של זוג ליניארי במונחים של מקדם הרגרסיה b: .
טווח הערכים הקבילים של המקדם הליניארי של מתאם הזוגות הוא מ-1 עד +1. הסימן של מקדם המתאם מציין את כיוון הקשר. אם r x, y >0, אז החיבור הוא ישיר; אם r x, y<0, то связь обратная.
אם מקדם זה קרוב לאחדות במודולוס, אזי ניתן לפרש את הקשר בין התכונות כיחס ליניארי קרוב למדי. אם המודולוס שלו שווה לאחד ê r x , y ê =1, אז הקשר בין התכונות הוא ליניארי פונקציונלי. אם התכונות x ו-y אינן תלויות באופן ליניארי, אז r x,y קרוב ל-0.
ניתן להשתמש בטבלה 1 גם לחישוב r x,y.

שולחן 1

N תצפיות	x i	y i	x i ∙ y i
1	x 1	y 1	x 1 י 1
2	x2	y2	x 2 י 2
...
נ	x n	y n	x n y n
סכום עמודה	∑x	∑y	∑x y
מתכוון

כדי להעריך את איכות משוואת הרגרסיה המתקבלת, מחושב מקדם הקביעה התיאורטי - R 2 yx:

,
כאשר d 2 היא השונות y המוסברת על ידי משוואת הרגרסיה;
e 2 - שיורית (לא מוסברת על ידי משוואת הרגרסיה) שונות y ;
s 2 y - סה"כ שונות (סה"כ) y .
מקדם הקביעה מאפיין את חלקה של השונות (פיזור) של התכונה y המתקבלת, המוסברת על ידי רגרסיה (וכתוצאה מכך, הגורם x), בשונות הכוללת (פיזור) y. מקדם הקביעה R 2 yx לוקח ערכים מ-0 עד 1. בהתאם לכך, הערך 1-R 2 yx מאפיין את הפרופורציה של השונות y הנגרמת מהשפעת גורמים אחרים שלא נלקחו בחשבון בשגיאות המודל והמפרט.
עם רגרסיה ליניארית זוגית R 2 yx =r 2 yx .