Sakinisha na Tumia Open WebUI kwa AI Iliyojisimamia

Open WebUI Ni Nini?

Open WebUI ni jukwaa la AI linaloweza kupanuliwa, linaloendesha kwenye seva yako, lililoundwa kufanya kazi nje ya mtandao kabisa linapowekwa na rasilimali za ndani. Linatoa kiolesura cha kivinjari kwa miundo ya Ollama ya ndani, API zinazolingana na OpenAI, na injini ya uelekezaji iliyojengewa ndani kwa uzalishaji ulioongezwa na urejeshaji, unaojulikana kama RAG.

Unaweza kuitumia kama nafasi ya kazi ya AI ya kibinafsi au kuipeleka kwa timu. Mbali na mazungumzo, jukwaa linajumuisha madokezo, vituo vilivyoshirikiwa, kumbukumbu ya kudumu, kalenda, otomatiki zilizopangwa, muunganiko wa uzalishaji wa picha, simu za sauti na video, uchambuzi, tathmini ya miundo, na udhibiti wa ufikiaji wa kina.

Vipengele Muhimu

• Miunganisho rahisi ya miundo: Tumia miundo ya Ollama ya ndani pamoja na huduma zinazolingana na OpenAI kama LMStudio, GroqCloud, Mistral, OpenRouter, na vLLM.
• RAG ya ndani: Ongeza hati kwenye mazungumzo au rejesha faili kutoka maktaba ya maarifa kwa amri ya #. Jukwaa linaunga mkono utafutaji mseto, upangaji upya, injini nyingi za uchimbaji, na hifadhidata tisa za vekta.
• Miundo na mawakala: Funika modeli ya msingi kwa maelekezo maalum, maarifa, zana, vigezo vinavyobadilika, na sheria za ufikiaji wa watumiaji au vikundi.
• Upanuzi: Ongeza Filters, Actions, Pipes, Tools, na Skills, au unganisha seva za zana za MCP, MCPO, na OpenAPI.
• Ushirikiano: Tumia madokezo, vituo vya wakati halisi, nyuzi, majibu, pini, kalenda zilizoshirikiwa, na upangaji unaosaidiwa na AI.
• Modaliti nyingi: Sanidi hotuba-hadi-maandishi, maandishi-hadi-hotuba, simu za sauti na video, na injini za uzalishaji au uhariri wa picha.
• Usimamizi: Simamia majukumu, vikundi, ruhusa, uthibitishaji, uchambuzi wa matumizi, tathmini za miundo, hifadhi, na ufuatiliaji.
• Unyumbufu wa upelekaji: Sakinisha kupitia pip, uv, Docker, Docker Compose, Kubernetes, Kustomize, au Helm.
• Kiolesura kinachojibika: Tumia Open WebUI kwenye kompyuta na simu, au isakinishe kama Progressive Web App.

Chagua Njia ya Usakinishaji

Kwa jaribio la haraka la ndani, tumia pip au Docker. Pip hutumikia Open WebUI moja kwa moja kutoka Python, wakati Docker hutoa upelekaji uliotengwa na kurahisisha kuchagua picha za kawaida, zenye CUDA, au zilizounganishwa na Ollama.

Muhimu: Kila amri ya Docker inapaswa kuweka open-webui:/app/backend/data. Kiasi hiki cha kudumu hulinda hifadhidata na data nyingine ya programu wakati kontena inabadilishwa au kuondolewa.

Chaguo 1: Sakinisha kwa Python pip

Open WebUI inahitaji Python 3.11 kwa usakinishaji wa pip ulioelezwa na mradi. Thibitisha kuwa mazingira yako yanatumia toleo sahihi la Python kabla ya kuendelea.

1. Sakinisha kifurushi:

   pip install open-webui

2. Anzisha seva:

   open-webui serve

3. Fungua http://localhost:8080 kwenye kivinjari chako.

Chaguo 2: Endesha Open WebUI kwa Docker

Unganisha na Ollama kwenye kompyuta mwenyeji

Ikiwa Ollama tayari inaendesha kwenye kompyuta ile ile na Docker, anzisha picha ya kawaida ya Open WebUI na ongeza ramani ya mwenyeji ili kontena iweze kufikia mwenyeji:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Baada ya kontena kuanza, tembelea http://localhost:3000.

Unganisha na Ollama kwenye seva nyingine

Weka OLLAMA_BASE_URL kwa anwani ya huduma ya Ollama ya mbali:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Badilisha https://example.com na URL halisi ya seva ya Ollama.

Wezesha usaidizi wa Nvidia GPU

Open WebUI hutoa picha yenye lebo ya CUDA. Sakinisha zana ya kontena ya Nvidia CUDA kwenye Linux au WSL kabla ya kuiendesha:

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

Tumia API ya OpenAI pekee

Ikiwa huhitaji Ollama, pitisha ufunguo wako wa API ya OpenAI kwa picha ya kawaida:

docker run -d -p 3000:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Badilisha your_secret_key na kitambulisho kinachofaa. Open WebUI pia inaweza kuunganishwa na API nyingine zinazolingana na OpenAI, na usanidi maalum wa mtoa huduma umeandikwa na mradi.

Endesha Open WebUI na Ollama katika Kontena Moja

Picha ya :ollama inaunganisha Open WebUI na Ollama. Inatumia kiasi kimoja kwa miundo ya Ollama na kingine kwa data ya programu ya Open WebUI.

Ollama iliyounganishwa na GPU

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Ollama iliyounganishwa na CPU pekee

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

Fungua http://localhost:3000 baada ya kontena kuanza.

Matumizi ya Msingi

1. Fungua kiolesura: Tumia bandari 8080 kwa usanidi wa pip au bandari 3000 kwa amri za kawaida za Docker zilizo hapo juu.

2. Tumia modeli inayopatikana: Anza mazungumzo na modeli inayotolewa na muunganisho wako wa Ollama au OpenAI-compatible uliosanidiwa.

3. Andika maelekezo tajiri zaidi: Majibu yanaunga mkono Markdown na LaTeX, na kufanya kiolesura kufaa kwa maelezo yaliyopangwa, msimbo, majedwali, na nukuu za hisabati.

4. Endelea kwenye vifaa tofauti: Kiolesura kinachojibika hufanya kazi kwenye kompyuta na simu, na usaidizi wa Progressive Web App hutoa uzoefu kama wa programu.

Tumia hati na RAG

Ongeza hati moja kwa moja kwenye mazungumzo au uzichukue kutoka maktaba yako kwa amri ya #. Open WebUI inaweza kutoa na kuorodhesha maudhui, kurejesha vifungu vinavyohusika, na kuvijumuisha katika muktadha wa modeli. Mfumo wake wa RAG unaunga mkono BM25 na utafutaji mseto wa vekta, upangaji upya, na hali ya muktadha kamili.

Kwa usambazaji mkubwa zaidi, chaguo za hifadhidata za vekta zinazoungwa mkono ni pamoja na ChromaDB, PGVector, Qdrant, Milvus, Elasticsearch, OpenSearch, Pinecone, S3Vector, na Oracle 23ai.

Leta tovuti kwenye gumzo

Tumia amri ya # ikifuatiwa na URL ili kuvuta maudhui ya tovuti kwenye mazungumzo. Open WebUI pia inaweza kusanidiwa ili kuruhusu modeli kuchukua maudhui ya wavuti inapohitajika.

Linganisha modeli kadhaa

Mazungumzo ya modeli nyingi hukuruhusu kuwasiliana na modeli nyingi kwa sambamba. Hii ni muhimu unapotaka kulinganisha hoja, mtindo wa uandishi, au tabia ya mtoa huduma. Wasimamizi pia wanaweza kutumia uwanja uliojengwa ndani, majaribio ya A/B, na orodha za viongozi zinazotegemea ELO kwa tathmini ya modeli.

Vidokezo vya Usanidi wa Juu

Unda modeli na mawakala maalum

Changanya modeli ya msingi na maelekezo maalum, zana, na maarifa ili kuunda wakala maalum. Vigezo vinavyobadilika na udhibiti wa ufikiaji kwa kila mtumiaji au kikundi hufanya iwezekane kurekebisha wakala kwa timu tofauti. Vipangilio vya jamii pia vinaweza kuingizwa kutoka Open WebUI Community.

Panua jukwaa

Open WebUI inaunga mkono Filters, Actions, Pipes, Tools, na Skills. Huduma za nje zinaweza kuunganishwa kupitia seva za zana za MCP, MCPO, na OpenAPI. Sehemu hizi za upanuzi zinaweza kuunga mkono ujumuishaji maalum, mtiririko wa idhini, mipaka ya kiwango, na miunganisho ya ziada ya data.

Panga usambazaji wa timu na biashara

Kwa mazingira ya watumiaji wengi, tumia majukumu, vikundi, na ruhusa kudhibiti ufikiaji. Open WebUI inaunga mkono ujumuishaji wa LDAP na Active Directory, kuingia kwa mara moja kwa kutumia trusted-header na OAuth, na utoaji wa SCIM 2.0 kwa watoa utambulisho kama Okta, Azure AD, na Google Workspace.

Hifadhi inaweza kutumia SQLite, kwa hiari na usimbaji fiche, au PostgreSQL. Faili zinaweza kuhifadhiwa ndani au katika S3, Google Cloud Storage, au Azure Blob Storage. Vipindi vinavyoungwa mkono na Redis na usaidizi wa WebSocket huwezesha usambazaji wa wafanyakazi wengi na nodi nyingi nyuma ya mizani ya mzigo, huku OpenTelemetry ikitoa athari, vipimo, na kumbukumbu.

Fanya kazi nje ya mtandao kabisa

Unapoendesha Open WebUI katika mazingira yasiyo na mtandao, weka HF_HUB_OFFLINE kuwa 1 ili kuzuia majaribio ya kupakua modeli kutoka mtandaoni:

export HF_HUB_OFFLINE=1

Usambazaji usio na mtandao bado unahitaji modeli zote muhimu, tegemezi, na huduma za ndani zipatikane katika mazingira.

Jaribu picha ya maendeleo kwa uangalifu

Picha ya :dev ina mabadiliko yasiyotulia na ya hivi karibuni sana ambayo yanaweza kuwa na hitilafu au vipengele visivyo kamili. Itumie tu unapokubali hatari hiyo:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui --add-host=host.docker.internal:host-gateway --restart always ghcr.io/open-webui/open-webui:dev

Tatua Hitilafu za Muunganisho wa Ollama

Tatizo la kawaida la Docker hutokea wakati Open WebUI haiwezi kufikia Ollama katika 127.0.0.1:11434 au host.docker.internal:11434 kutoka ndani ya kontena. Njia moja iliyorekodiwa ya kutatua kwenye mifumo inayoungwa mkono ni kutumia mtandao wa mwenyeji:

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Kwa amri hii, fikia Open WebUI katika http://localhost:8080 badala ya bandari 3000.

Ikiwa muunganisho bado unashindwa, thibitisha kuwa Ollama inaendesha, hakikisha anwani yake, na rejelea nyaraka za utatuzi wa Open WebUI. Mazingira ya Docker yanaweza kuhitaji usanidi wa ziada wa mtandao.

Matengenezo na Usalama

• Fuata mwongozo rasmi wa kusasisha unapobadilisha au kuboresha usambazaji.

• Weka volume ya kudumu ya Docker ikiwa imeunganishwa wakati wa uboreshaji ili kuepuka kupoteza data ya programu.

• Kagua leseni ya mradi na historia ya leseni kwa sababu msingi wa msimbo una vipengele chini ya leseni nyingi, ikiwa ni pamoja na mahitaji ya chapa kwa msimbo wa sasa wenye leseni ya Open WebUI.

• Ripoti udhaifu unaoshukiwa kwa siri kupitia programu ya ufichuzi wa kuwajibika ya GitHub ya mradi, si kupitia njia za umma za jamii.

Hitimisho

Open WebUI hutoa kiolesura kinachonyumbulika kwa kuendesha modeli za AI za ndani na zinazopangishwa kupitia miundombinu unayodhibiti. Anza na Python 3.11 au usambazaji wa Docker wa kudumu, unganisha Ollama au API inayolingana na OpenAI, kisha panua hadi RAG, mawakala, programu-jalizi, ushirikiano, uchanganuzi, na huduma za uzalishaji zinazoweza kupanuka. Kwa chaguo zaidi za usambazaji, rejelea nyaraka rasmi za kuanza.