Ծնվել է Շուշիում, քահանայի ընտանիքում: Միջնակարգ կրթությունը ստանալուց հետո Գերմանիայում սովորել է Բեռլինի համալսարանի փիլիսոփայության ֆակուլտետի քիմիական բաժնում:
Ավարտելով համալսարանը՝ գիտության բնագավառում խորանալու մտադրությամբ աշխատանքի է անցնում անվանի քիմիկոս Բյուխերի մոտ, քիմիայում մասնագիտանալուց բացի՝ զբաղվում է նաև գիտահետազոտական աշխատանքով:
1903 թվականին Հայդելբերգի համալսարանում պաշտպանում է ատենախոսություն՝ արժանանալով դոկտորի գիտական աստիճանի: Կարճ ժամանակով Շուշիում գտնվելուց հետո վերադառնում է Գերմանիա, որտեղ զբաղվում է ֆիզիոլոգիական քիմիայի և մանրէաբանության խնդիրների ուսումնասիրությամբ:
1907 թվականին տեղափոխվում է Բաքու և հիմնադրում քիմիաբակտերիոլոգիական լաբորատորիա, որը ղեկավարում է մինչև 1920 թվականը:
1921 թվականից սկսվում է Հակոբ Հովհաննիսյանի աշխատանքային գործունեությունը Երևանում՝ որպես հանրապետության ժողովրդական տնտեսության գերագույն խորհրդի նախագահության անդամ:
1922 թվականին Հակոբ Հովհաննիսյանը նշանակվում է Երևանի ժողովրդական (հետագայում՝ պետական) համալսարանի ռեկտոր: Քանի որ նախատեսված էր համալսարանում ունենալ բժշկական ֆակուլտետ, որը մինչ այդ հետաձգվել էր, չլինելով բժիշկ՝ համալսարանի առաջին ռեկտորը մեծ ջանքեր գործադրեց ազգային բժշկական կադրերի պատրաստումն արագացնելու ուղղությամբ:
1922-23 ուսումնական տարում իր գործունեությունը սկսած բժշկական ֆակուլտետը գտնվում էր համալսարանի ռեկտորի ամենօրյա ուշադրության կենտրոնում: Ցավոք, այնքան շատ էին հրատապ հարցերը, որոնք ոչ միայն դժվար լուծելի էին, այլև՝ անհնարին: Չկային լսարաններ, լաբորատորիաներ, կլինիկաներ, բժիշկ-մասնագետներ:
1923 թվականին նույնիսկ բարձրացվեց բժշկական ֆակուլտետը փակելու հարցը, սակայն Հակոբ Հովհաննիսյանի ջանքերով նույնիսկ ամենաանլուծելի թվացող հարցերը լուծվում էին: Նրա առաջարկով և ղեկավարությամբ նամակագրական կապ է հաստատվում Խորհրդային Միության տարբեր հանրապետություններում, հատկապես Ռուսաստանում և Ուկրաինայում աշխատող հայ անվանի բժիշկների հետ, որոնք հրավիրվում են Հայաստան՝ վստահեցնելով, որ դժվարությունները ժամանակավոր են և հաղթահարելի: Այդ կոչին ունկնդիր՝ Երևան են գալիս այն մասնագետները, ովքեր հետագայում կոչվեցին Հայաստանում բժշկական կրթության կազմակերպման երախտավորներ:
1925 թվականին մի խումբ գիտնականների հետ Հ. Հովհաննիսյանը արժանանում է պրոֆեսորի կոչման: Նրա տնօրինության օրոք՝ 1927 թվականին համալսարանի բժշկական ֆակուլտետը տվեց իր առաջին շրջանավարտները:
Մեծ է Հակոբ Հովհաննիսյանի ավանդը ինչպես ֆակուլտետի ամբիոնների ստեղծման, այնպես էլ համալսարանին կից գործող բժշկական կենտրոնական միացյալ լաբորատորիայի հիմնման և անատոմիկումի շենքի կառուցումը սկսելու գործում:
1930 թվականին Երևանի պետական համալսարանի որոշ ֆակուլտետներ ստացան ինքնուրույն ինստիտուտի կարգավիճակ: Հիմնադրվեց Երևանի պետական բժշկական ինստիտուտը, և Երևանի պետական համալսարանի առաջին ռեկտորը նշանակվեց բժշկական ինստիտուտի տնօրեն՝ համատեղության կարգով՝ միևնույն ժամանակ վարելով նաև Հայաստանի գիտությունների ինստիտուտի նախագահի պաշտոնը:
Հ. Հովհաննիսյանը քիչ ջանք ու եռանդ չի ներդրել, որ բժշկական ինստիտուտը դառնա բժշկագիտության կենտրոն և նրան տրվի ատենախոսությունների պաշտպանության և գիտական աստիճանների շնորհման հնարավորություն: Այդ ջանքերի արդյունքում՝ 1936 թվականին ինստիտուտը ստանում է բժշկական գիտությունների թեկնածուի աստիճան շնորհելու իրավունք: Բժշկական ինստիտուտի տնօրինության տարիներին Հ. Հովհաննիսյանը համատեղությամբ վարել է նաև վարչական և հասարակական մի շարք այլ պատասխանատու պաշտոններ:
1935 թվականին հանրապետությունում գիտության զարգացման բնագավառում ունեցած բացառիկ ծառայությունների համար Հակոբ Հովհաննիսյանին շնորհվում է գիտության վաստակավոր գործչի կոչում:
Մեկ տարի անց նա ազատվում է բժշկական ինստիտուտի տնօրենի պաշտոնից՝ շարունակելով զբաղեցնել կենսաքիմիայի ամբիոնի վարիչի պաշտոնը:
1937 թվականի ստալինյան բռնարարքների ալիքը իր հորձանուտն առավ նաև ազնիվ և պարկեշտ անձնավորություն, հիանալի մասնագետ ու շնորհալի մանկավարժ մեծ հայրենասերին, ով հեռացվեց այն կուսակցությունից, որի հավատարիմ զինվորն էր եղել 20 տարի՝ նրա շարքերում պայքարելով նույն այդ կուսակցության որոշումների անշեղ կատարման համար: Նրան մեղադրեցին հակահեղափոխական տարրերի, գերմանական լրտեսների հետ կապ ունենալու, հանրապետության նախկին ղեկավար Աղասի Խանջյանի հովանավորությունն ունենալու համար: Ժամանակի ոգուն համապատասխան, նաև մի քանի վնասարարական գործողություններ վերագրելով նրան, արժանացնելով ժողովրդի թշնամի կոչմանը՝ նա բանտարկվեց 5 տարի ժամկետով՝ աքսորվելով Ղազախստան:
Սակայն անվանի գիտնականը աքսորավայր չհասավ, և միջինասիական մի կայարանում 67 տարեկանում Հակոբ Հովհաննիսյանը կնքեց իր մահկանացուն, ով հետագայում հետմահու արդարացվեց: