Ruka hadi maudhui makuu
Mafunzo ya AI

Jenga na Ujiendeshee Programu za LLM kwa Dify

Jifunze Dify inachotoa, tumia Toleo lake la Jumuiya kwa Docker Compose, anzisha dashibodi, na chunguza mtiririko wa kazi, ujumuishaji wa modeli, RAG, mawakala, API, ufuatiliaji, na chaguo za kina za uendeshaji.

Takriban dakika 22 za kusoma
Jenga na Ujiendeshee Programu za LLM kwa Dify

Dify ni Nini?

Dify ni jukwaa la chanzo-wazi la kutengeneza programu zinazoendeshwa na miundo mikubwa ya lugha. Linaunganisha mitiririko ya kazi ya AI inayoonekana, uzalishaji ulioboreshwa kwa urejeshaji wa taarifa, uwezo wa mawakala, usimamizi wa miundo, ufuatiliaji, na API za programu katika kiolesura kimoja, hivyo kusaidia timu kutoka kwenye vielelezo vya awali hadi uzalishaji.

Unaweza kutumia huduma ya Dify Cloud inayopangishwa bila kusakinisha chochote, au kusambaza Toleo la Jumuiya katika mazingira yako mwenyewe. Chaguo zinazolenga biashara pia zinapatikana kwa mashirika yenye mahitaji ya ziada.

Vipengele Muhimu

  • Mitiririko ya kazi inayoonekana: Tengeneza na ujaribu mitiririko ya kazi ya AI kwenye turubai inayoonekana.
  • Usaidizi mpana wa miundo: Unganisha mamia ya miundo ya wamiliki na ya chanzo-wazi kupitia watoa huduma wa uendeshaji wa makisio au suluhisho zinazopangishwa binafsi. Chaguo zinazoungwa mkono zinajumuisha GPT, Mistral, Llama 3, na miundo inayooana na API ya OpenAI.
  • Prompt IDE: Tunga maelekezo, linganisha utendaji wa miundo, na ongeza uwezo kama vile kubadilisha maandishi kuwa sauti kwenye programu za mazungumzo.
  • Njia ya RAG: Ingiza na urejeshe taarifa kutoka kwenye hati, ukiwa na usaidizi wa ndani wa kutoa maandishi kutoka kwa PDF, mawasilisho, na miundo mingine ya kawaida.
  • Mawakala na zana: Bainisha mawakala kwa kutumia LLM Function Calling au ReAct. Dify inajumuisha zaidi ya zana 50 zilizojengewa ndani, zikiwemo Google Search, DALL·E, Stable Diffusion, na WolframAlpha, na pia inaunga mkono zana maalum.
  • LLMOps: Fuatilia kumbukumbu na utendaji wa programu, kisha boresha maelekezo, seti za data, na miundo kwa kutumia data na maelezo ya ufafanuzi kutoka kwenye uzalishaji.
  • Backend kama huduma: Unganisha programu za Dify kwenye mantiki ya biashara iliyopo kupitia API zinazolingana.
  • Miunganisho ya ufuatiliaji: Dify inaunga mkono chaguo za ufuatiliaji zikiwemo Opik, Langfuse, na Arize Phoenix.

Chagua Jinsi ya Kuendesha Dify

Dify Cloud

Dify Cloud ndiyo njia ya haraka zaidi ya kujaribu jukwaa kwa sababu haihitaji usanidi wa ndani. Kulingana na README ya mradi, mpango wake wa sandbox unajumuisha miito 200 ya GPT-4 bila malipo na hutoa uwezo unaopatikana katika toleo linalosambazwa binafsi.

Toleo la Jumuiya Linalopangishwa Binafsi

Kupangisha binafsi hukupa udhibiti wa mazingira ambamo Dify inaendeshwa. Njia rahisi zaidi ya usakinishaji iliyoandikwa hutumia Docker Compose.

Matumizi ya Biashara na Mashirika

Dify pia hutoa vipengele vinavyolenga biashara. Mashirika yanaweza kuwasiliana na timu ya Dify ili kujadili mahitaji na chaguo zao za leseni.

Sakinisha Dify kwa Docker Compose

Angalia Mahitaji

Kabla ya kuanza, hakikisha mashine mwenyeji inatimiza mahitaji haya ya chini:

  • CPU: Angalau cores 2
  • Kumbukumbu: Angalau GiB 4 za RAM
  • Docker: Imesakinishwa na inaendesha
  • Docker Compose: Toleo la 2.24.0 au jipya zaidi

Tumia mwongozo rasmi wa usakinishaji wa Docker ikiwa Docker bado haipatikani.

Anzisha Huduma

Ukiwa kwenye nakala ya hazina ya Dify iliyopakuliwa, ingia kwenye saraka za mradi na Docker, nakili faili ya mfano ya mazingira, kisha anzisha huduma:

cd dify
cd docker
cp .env.example .env
docker compose up -d

Chaguo la -d huanzisha kontena katika hali ya kujitenga, na kuziruhusu kuendelea kufanya kazi chinichini.

Anzisha Dashibodi

Baada ya huduma kuanza, fungua anwani ifuatayo kwenye kivinjari:

http://localhost/install

Fuata mchakato wa uanzishaji unaoonyeshwa na dashibodi. Usanidi ukishindikana, soma Maswali Yanayoulizwa Mara kwa Mara kuhusu upangishaji binafsi rasmi.

Watengenezaji wanaotaka kuchangia au kurekebisha Dify wanapaswa kutumia mwongozo rasmi wa usambazaji wa msimbo chanzo badala ya kutegemea tu uanzishaji wa haraka wa Docker Compose.

Matumizi ya Msingi

1. Chagua Muundo

Dify inaweza kuunganishwa na miundo kutoka kwa watoa huduma wengi wa uendeshaji wa makisio wanaopangishwa na suluhisho zinazopangishwa binafsi. Chagua mtoa huduma na muundo unaofaa programu yako. Chaguo zinazoendana zinajumuisha GPT, Mistral, Llama 3, na miundo inayotolewa kupitia kiolesura kinachoendana na API ya OpenAI. Angalia orodha ya watoa huduma wa miundo ili kuona miunganisho inayoungwa mkono kwa sasa.

2. Tengeneza na Ujaribu Mtiririko wa Kazi

Tumia turubai inayoonekana kuunda na kujaribu mantiki ya programu ya AI. Mitiririko ya kazi ni muhimu wakati programu inahitaji zaidi ya prompt moja, kwa mfano wakati ingizo linapaswa kuchakatwa, kutumwa kwa muundo, kuongezewa taarifa iliyorejeshwa, au kupitishwa kwenye zana.

  1. Bainisha kile ambacho programu inapaswa kupokea kutoka kwa mtumiaji.
  2. Tumia kiolesura cha mitiririko ya kazi kinachoonekana cha Dify kuwakilisha mchakato wa AI.
  3. Unganisha mtiririko wa kazi na muundo unaofaa.
  4. Jaribu tabia ya programu na kagua matokeo yaliyotengenezwa.
  5. Boresha mtiririko wa kazi, maelekezo, seti za data, au uteuzi wa muundo inapohitajika.

3. Tengeneza Maelekezo katika Prompt IDE

Tumia Prompt IDE kuunda na kujaribu prompt kupitia kiolesura shirikishi. Unaweza kulinganisha utendaji wa miundo kabla ya kuamua ni muundo upi unaofaa zaidi kwa programu. Kwa programu zinazotumia mazungumzo, IDE inaweza pia kujumuisha vipengele kama vile kubadilisha maandishi kuwa sauti.

4. Ongeza Maarifa kwa RAG

Mchakato wa RAG wa Dify unahusisha kuingiza na kurejesha hati. Programu ya kawaida inayotegemea maarifa inaweza kuingiza faili zinazotumika, zikiwemo PDF na mawasilisho, kutoa maandishi yake, na kurejesha nyenzo husika inapomjibu mtumiaji.

Kwa mfano, unaweza kuunda msaidizi anayejibu maswali kutoka kwenye nyaraka za ndani. Badala ya kutegemea maarifa yaliyopo awali kwenye muundo pekee, programu inaweza kurejesha maudhui husika kutoka kwenye hati zilizoingizwa na kuyatumia wakati wa kutengeneza jibu.

5. Unda Wakala Anayetumia Zana

Kwa kazi zinazohitaji hatua au huduma za nje, fafanua wakala kwa kutumia Function Calling au ReAct. Ongeza zana zilizojengwa ndani kama Google Search, DALL·E, Stable Diffusion, au WolframAlpha, au unganisha zana maalum inayoungwa mkono na muundo wa programu yako.

Kwa mfano, kuna wakala wa utafiti anayetumia utafutaji kukusanya taarifa kabla ya kutengeneza jibu. Mfano mwingine ni wakala wa ubunifu anayeita zana ya kutengeneza picha mtumiaji anapoomba maudhui ya kuona.

6. Unganisha Programu Kupitia API

Uwezo wa Dify una API zinazolingana, hivyo kuruhusu programu iliyokamilika kutumika kama backend ya bidhaa nyingine. Tumia mbinu hii ya backend-as-a-service wakati programu yako ya wavuti, zana ya ndani, au mfumo mwingine wa biashara unahitaji kuita mantiki iliyojengwa katika Dify. Rejelea nyaraka rasmi kwa maelekezo ya sasa ya ujumuishaji.

Ufuatiliaji na Uboreshaji Endelevu

Uwezo wa LLMOps wa Dify hukusaidia kufuatilia kumbukumbu za programu na utendaji wake kwa muda. Data ya uzalishaji na maelezo yaliyowekwa yanaweza kuongoza maboresho ya prompt, seti za data, na chaguo za miundo. Hii huunda mtiririko wa kazi unaorudiwa ambapo unasambaza programu, kuchunguza tabia yake, na kuiboresha kulingana na matokeo yaliyoonekana.

Kwa uonekano wa ziada, kagua miunganisho ya Dify na Opik, Langfuse, na Arize Phoenix. Chagua muunganisho kulingana na mahitaji ya ufuatiliaji, tathmini, na ufuatiliaji wa mazingira yako.

Vidokezo vya Usanidi wa Juu

Geuza Vigezo vya Mazingira Kukufaa

Mipangilio muhimu ya kuanzisha imehifadhiwa katika docker/.env.example. Amri ya kuanza haraka inakili mipangilio hii kwenye docker/.env, ambayo ndiyo faili ya kuhariri kwa usambazaji maalum. Vigezo vya hiari vya hali ya juu vimepangwa kwa mada katika docker/envs/.

Baada ya kubadilisha usanidi, endesha tena amri ifuatayo kutoka kwenye saraka ya docker:

docker compose up -d

Kagua nyaraka za vigezo vya mazingira kwa orodha kamili ya mipangilio inayopatikana.

Fuatilia Vipimo kwa Grafana

Dashibodi ya Grafana iliyoundwa na jumuiya inaweza kutumia hifadhidata ya PostgreSQL ya Dify kama chanzo cha data. Hutoa ufuatiliaji wa programu, wapangaji, ujumbe, na vipimo vingine.

Sambaza kwenye Kubernetes

Kwa mazingira yenye upatikanaji wa juu, README inaorodhesha Helm charts na faili za YAML za Kubernetes zilizochangiwa na jumuiya. Chaguo zinazopatikana ni pamoja na:

Rasilimali hizi za usambazaji ni michango ya jumuiya, kwa hivyo kagua nyaraka na uoanifu wake kabla ya kuzitumia katika uzalishaji.

Tumia Zana za Miundombinu ya Wingu

README ya mradi pia inaelekeza kwenye chaguo za usambazaji zilizotolewa na jumuiya kwa mifumo mikuu ya wingu:

  • Terraform: Miradi ya jumuiya inapatikana kwa Azure Global na Google Cloud.
  • AWS CDK: Sampuli za AWS hutoa chaguo za kujihostia zinazotumia EKS na ECS.
  • Alibaba Cloud: Chaguo za usambazaji za Computing Nest na Data Management zimeorodheshwa.
  • Azure Kubernetes Service: Azure DevOps Pipeline na Helm chart ya jumuiya zinaweza kusambaza Dify kwenye AKS.

Shughulikia Ripoti za Usalama Kwa Faragha

Usichapishe udhaifu wa usalama kama masuala ya GitHub. Mradi unaomba watumiaji kuuripoti kwa faragha kupitia security@dify.ai.

kupata Msaada na Kuchangia

Tumia GitHub Discussions kwa maswali na maoni, na GitHub Issues kwa hitilafu na mapendekezo ya vipengele. Jumuiya ya Discord inapatikana kwa kushiriki programu na kuzungumza na watumiaji wengine.

Ikiwa ungependa kuchangia msimbo, soma mwongozo wa uchangiaji wa mradi. Wachangiaji wa tafsiri wanaweza kusoma README ya ujanibishaji.

Hitimisho

Dify huleta pamoja mtiririko wa kazi, vidokezo, RAG, mawakala, usimamizi wa miundo, ufuatiliaji, na API katika jukwaa moja la kuunda programu za LLM. Unaweza kuijaribu mara moja kupitia Dify Cloud au kujiendeshea Toleo la Jumuiya kwa Docker Compose. Anza na usanidi chaguomsingi, unda na ujaribu programu mahususi ya AI, kisha ongeza chaguo za ufuatiliaji au usambazaji wa wingu kadiri mahitaji yako yanavyokua.