אבי דיכטר הצטרף לשב”כ ב1974 כמאבטח באל על. הוא למד באולפן לערבית ועבר קורס רכז מודיעין. לאחר שהוצב במרחב דרום של השב”כ, מונה ב1980 לרכז נפה. ב1983 מונה לרכז נפת צידון שבלבנון. ב1986 מונה כראש מחלקה ומספר 2 במרחב דרום. ב1990 מונה לראש מחלקת הדרכת נושאים ערביים. ב1992 הוקפץ מתפקיד ראש מחלקה לתפקיד ראש אגף – ראש מרחב דרום בשב”כ. בשנת 1996, בעקבות רצח ראש הממשלה יצחק רבין ז”ל, נקרא דיכטר לדגל במטרה לשקם את אגף האבטחה ומונה לראש האגף.
בחודש מאי 2000, מונה על ידי ראש הממשלה דאז, אהוד ברק, לתפקיד ראש השב”כ. דיכטר כיהן בתפקיד זה, בתקופה מהקשות בתולדות ישראל, תקופת האינתיפאדה השנייה. בתקופה זו הצליח השב”כ לסכל ניסיונות פיגוע רבים. באוגוסט 2001 בעקבות פיגוע הדמים במסעדת סבארו שבירושלים, דחף דיכטר לסילוק הרשות הפלסטינית מכל משרדיה שבירושלים ובראשם מהאוריינט האוס, שעד אז נתפס כמקום חסין בדומה לשגרירות ארה”ב בתל אביב. בנוסף, הביא לסילוקם של כל נציגי מנגנוני הביטחון הפלסטיניים מהר הבית.
בשנת 2004, למעלה משלוש שנים לאחר פרוץ האינתיפאדה השנייה, חלה ירידה מהותית במספר הפיגועים והנפגעים. דיכטר הוא מבוניה ומעצביה של דוקטרינת הסיכול הממוקד, שהוציאה ממעגל הטרור רבי מחבלים רבים, בהם השייח’ יאסין מייסד ארגון הטרור של חמאס. בתקופה זו היה המוציא והמביא המרכזי של מסרים מראש הממשלה אריאל שרון לעבר ראשי המדינות במצרים, ארה”ב והנהגת הרשות הפלסטינית.
דיכטר היה מראשי יוזמיה ומהדוחפים העיקריים להקמתה של גדר הביטחון אשר סייעה לשיפור יכולת הסיכול של השב”כ. בנאום ביום השואה, סמוך לתום כהונתו, אמר דיכטר כי “בשנים האחרונות התפתחה סביבנו מכונת רצח נוספת שגמרה אומר לרצוח יהודים רק משום שהם יהודים”. במהלך כהונתו העביר דיכטר בכנסת את חוק השב”כ.
עוד בפברואר 2002, עת היה ראש השב”כ, דחף דיכטר להקמתה של גדר הביטחון, ‘חיץ פיזי’ כלשונו, במטרה להגן על תושבי ישראל ולהוריד למינימום את מספר הפיגועים. לחצו כאן לקריאת דבריו כראש השב”כ בפני ועדת החוץ והביטחון ב2002
ב15 במאי 2005, בתום חמש שנות כהונה, ברוח הכתוב בחוק השירות הביטחון הכללי, למרות שהחוק לא חל על דיכטר עצמו, בחר שלא לנצל עובדה זו, וסיים את תפקידו.