Компания контурындағы локальді LLM: Қазақстанда қашан өзін ақтайды, нені таңдау керек және қанша тұрады

Қысқаша: локальді LLM — компанияның серверінде немесе оның жеке бұлтында орналастырылған үлкен тілдік модель (Large Language Model), сондықтан сұраулар, құжаттар және жауаптар ұйым контурынан шықпайды. Қазақстанда мұндай модельдерге қызығушылық екі жақтан өсіп келеді: «Дербес деректер және оларды қорғау туралы» заң дербес деректер базаларын ел аумағында сақтауды талап етеді, ал қызметкерлер шарттар мен клиенттік базаларды қазірдің өзінде ChatGPT-ге жіберіп жүр. Genius Systems Өскемен, Астана, Алматы, Қарағанды және Павлодар компаниялары үшін ЖИ-агенттер әзірлейді және әр жобада бұлттық модель мен локальді модельдің бірін таңдайды. Төменде — критерийлер, модельдер, аппараттық жабдық және 2026 жылғы қыркүйектегі бағалар.

Локальді модель қашан өзін ақтайды

Біз контурдағы модельді ұсынатын төрт жағдай:

1. Сұраулардағы дербес деректер. Клиенттердің ЖСН-і, телефондары, мекенжайлары, медициналық және қаржылық деректері. «Дербес деректер және оларды қорғау туралы» ҚР Заңының 12-бабы дербес деректер базаларын Қазақстанда сақтауды талап етеді, ал трансшекаралық беруге тек субъектінің келісімімен және деректерді қорғауды қамтамасыз ететін елдерге ғана жол беріледі. Клиенттің ЖСН-і бар сұрауды бұлттық модельге жіберу — шетелге берудің өзі.
2. Коммерциялық құпия. Бағалары мен айыппұлдары көрсетілген шарттар, сметалар, сызбалар, есептілік, тендерлік өтінімдер. Заң тыйым салмайды, бірақ провайдер немесе бұзылған аккаунт арқылы жылыстау тәуекелін компания өзі көтереді.
3. Мемлекеттік органдар, квазимемлекеттік сектор және ақпараттық-коммуникациялық инфрақұрылымның аса маңызды объектілері (АКИАМО, орысша КВОИКИ). Реттеуші деректердің қайда өңделетінін сұрайды, ал 2026 жылғы 25 тамыздан бастап деректердің жылыстауы туралы 1 жұмыс күні ішінде хабарлау қажет. АҚЖО-ға (ОЦИБ) қосылған объектілерде сыртқы ЖИ-сервистер көбіне периметрде жабық болады.
4. Біртекті сұраулардың үлкен ағыны. Өтініштерді жіктеу, шоттардан деректемелерді шығарып алу, хаттарды талдау. Айына жүздеген мың сұрау болғанда, бұлттық API-ге токендер бойынша төленетін ақы бір-бір жарым жылда өз серверіңіздің құнынан асып түседі.

Қашан өзін ақтамайды

• Деректер ашық, ал міндет күрделі: ұзын құжаттар, код, көп қадамды агенттер. Бұлттық Claude, GPT және DeepSeek ашық модельдерден едәуір дәлірек.
• Сұраулар аз — айына бірнеше мың. Сервер бос тұрады, ал оған қызмет көрсетуге бәрібір тура келеді.
• Модельді жаңартатын, бейнекарталарды қадағалайтын және осалдықтарды жабатын ешкім жоқ. ЖИ-сервер — пошта немесе 1С сияқты периметрдегі дәл сондай сервер.

2026 жылы қандай модельдерді орнату керек

Лицензия сападан кем маңызды емес: Apache 2.0 мен MIT коммерциялық пайдалануға ескертпесіз рұқсат береді, Meta мен Google лицензияларында шарттар бар.

Модель	Көлемі	GPU жадысы	Лицензия	Не үшін
gpt-oss-20b / 120b (OpenAI)	20 және 120 млрд	16 ГБ-тан / 80 ГБ-тан бастап	Apache 2.0	Пайымдау, агенттер, орыс тілі
Qwen3 (Alibaba)	0,6-дан 235 млрд-қа дейін	8 ГБ-тан бастап	Apache 2.0	Орыс және қазақ мәтіні, деректерді шығарып алу, RAG
Llama 4 Scout (Meta)	109 млрд, 17-сі белсенді	4-битте ≈ 60 ГБ	Llama license	Ұзын контекст, құжаттарды талдау
DeepSeek V3 / R1	671 млрд, 37-сі белсенді	8 × H100/H200 кластері	MIT	Ең жоғары сапа, тек ірі енгізулер
KazLLM (ISSAI, Nazarbayev University)	8 және 70 млрд, Llama негізінде	16 ГБ-тан бастап	Llama license	Қазақ тілі, мемлекеттік сектор

Бизнестің көптеген міндеттері үшін біз Qwen3 немесе gpt-oss модельдерінен бастаймыз: екі модель қатары да орыс тілінде сенімді жұмыс істейді, еркін лицензияланған және vLLM арқылы ондаған бір мезгілдегі пайдаланушы үшін іске қосылады.

Сервер қанша тұрады

2026 жылғы қыркүйектегі бағдарлар, бағам бір долларға шамамен 445 теңге болғанда, кеден мен ҚҚС-сыз:

Конфигурация	Нені көтереді	Бір мезгілдегі пайдаланушылар	Шамамен бағасы
1 × RTX 5090 (32 ГБ) бар сервер	4-биттегі 30 млрд параметрге дейінгі модельдер	5–15	2–3 млн теңге
1 × RTX PRO 6000 Blackwell (96 ГБ) бар сервер	70–120 млрд: gpt-oss-120b, Llama 4 Scout	20–50	9–12 млн теңге, оның ішінде карта ≈ 7 млн
1 × H100 (80 ГБ) бар сервер	Сол модельдер серверлік орындауда, 24/7 жүктеме	30–80	14–20 млн теңге
H100-ді бұлтта жалға алу	Сол модельдер	Сол шамада	сағатына ≈ $2,7, 24/7 жұмыс істегенде айына ≈ 850 мың теңге

Тәулік бойғы жүктеме кезінде RTX PRO 6000 орнатылған өз серверіңіз жалға алумен салыстырғанда 12–15 айда өзін ақтайды. Тек жұмыс сағаттарындағы жүктеме кезінде — ұзағырақ, және ондайда төменде айтылатын гибрид ұтымдырақ.

Жады — жылдың басты тапшылығы: NVIDIA RTX PRO 6000 бағасын $16 000-ға дейін көтерді, бұл — бір жарым жылда екі есеге жуық өсім. Сметаға баға бойынша қор мен 4–8 апталық жеткізу мерзімін енгізіңіз.

Серверден басқа не қажет

Модель — жобаның үштен бірі ғана. Қалғаны:

• Инференс сервері және білім базасы. vLLM немесе Ollama, RAG-қа арналған векторлық база, 1С, Bitrix24 және файл қоймаларына коннекторлар.
• Қолжеткізу және журнал. SSO, рөлдер, SIEM-дегі оқиғалар: модельге кім және қандай деректермен жүгінді. Мұнсыз реттеушіге көрсететін ештеңе жоқ.
• Промпт-инъекциялардан қорғау. Локальді модель бұлттық модель сияқты осал. Check Point GenAI Protect және Palo Alto Prisma AIRS контурдағы модельдермен де жұмыс істейді; толығырақ — промпт-инъекциялар туралы мақалада және ЖИ қорғау бөлімінде.
• ЖИ-стекті сканерлеу. Langflow, MLflow және Ray 2026 жылы CISA KEV тізіміне енді. Модель сервері қалған серверлермен қатар осалдықтарды басқаруға кіреді: кесте бойынша Rapid7 немесе Invicti (ex-Acunetix).
• Жұмыс орындарындағы DLP. DLP құрамындағы Falcongaze SecureTower немесе Kaspersky қызметкердің бәрібір ChatGPT-ге көшіріп жатқанын көреді.
• Резервтік көшіру — білім базасы мен модель баптаулары үшін: кез келген жұмыс жүйесіндегідей, Veeam.

Гибрид: локальді модель бүркемелейді, бұлттық модель ойлайды

Жобалардың көпшілігінде біз «немесе» емес, «және» қоямыз. Тапсырыс берушінің серверіндегі локальді модель құжатты оқиды, ЖСН-ді, телефондарды, сомалар мен деректемелерді тауып, оларды белгілермен алмастырады. Иесіздендірілген мәтін Claude немесе GPT-ге кетеді, олар күрделі бөлігін атқарады: шарттың редакцияларын салыстырады, жауап дайындайды, тапсырма қояды. Жауап қайтып келеді, белгілердің орнына бастапқы мәндер контур ішінде кері қойылады. Компания дербес деректер туралы заңды сақтай отырып, бұлттық модельдің дәлдігін алады, ал серверге қарапайымы да жеткілікті: 32 ГБ RTX 5090 күніне жүздеген құжатты бүркемелеуді (маскалауды) жабады.

Әрі қарай не істеу керек

Деректерді жіктеуден бастаңыз: қай процестер дербес деректермен және коммерциялық құпиямен, ал қайсысы ашық ақпаратпен жұмыс істейді. Бұл — екі сағаттық воркшоп, одан кейін локальді модель қай жерде қажет, бұлт қай жерде жеткілікті және сервер қаншаға түсетіні түсінікті болады. Genius Systems мұндай воркшоптарды Өскемен, Астана, Алматы және бүкіл Қазақстан компаниялары үшін өткізеді, жабдық жеткізеді және модельдерді ЖИ-әзірлеу аясында орналастырады. Бізге жазыңыз — конфигурацияңызды есептеп береміз.