High-Speed Convolution Core Architecture for Privacy-Preserving Neural Networks

M. A. Lapina; Лапина М. А.; E. M. Shiriaev; Ширяев Е. М.; M. G. Babenko; Бабенко М. Г.; I. Istamov; Истамов И.

doi:10.31857/S0132347424060012

Высокоскоростной алгоритм скалярного умножения для проектирования нейронных сетей, сохраняющих конфиденциальность

Авторы: Лапина М.А.¹, Ширяев Е.М.¹, Бабенко М.Г.¹, Истамов И.²
Учреждения:
1. Северо-Кавказский центр математических исследований, Северо-Кавказский федеральный университет
2. Самаркандский государственный университет имени Шарофа Рашидова
Выпуск: № 6 (2024)
Страницы: 3-11
Раздел: ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ
URL: https://gynecology.orscience.ru/0132-3474/article/view/677591
DOI: https://doi.org/10.31857/S0132347424060012
EDN: https://elibrary.ru/dzispq
ID: 677591

Цитировать

Полный текст

Открытый доступ
Доступ закрыт

Доступ предоставлен
Доступ закрыт

Только для подписчиков

Аннотация
Полный текст
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

В силу юридических ограничений либо ограничений, связанных с внутренней информационной политикой компаний, зачастую бизнес не доверяет конфиденциальную информацию публичным облачным провайдерам. Одним из механизмов, позволяющих обеспечить безопасность конфиденциальных данных в облаках, является гомоморфное шифрование. Для проектирования решений, использующих нейронные сети, в данных условиях используются нейронные сети, сохраняющие конфиденциальность. Они эксплуатируют механизм гомоморфного шифрования, позволяя таким образом обеспечить безопасность коммерческой информации в облаке. Основным сдерживающим фактором использования нейронных сетей, сохраняющих конфиденциальность, является большая вычислительная и пространственная сложность алгоритма скалярного умножения, который является базовым для вычисления математической свертки. В работе предлагается алгоритм скалярного умножения, который позволяет уменьшить пространственную сложность c квадратичной до линейной, а также уменьшить время вычисления скалярного умножения в 1.38 раза.

Ключевые слова

матричные операции, искусственные нейронные сети, полностью гомоморфное шифрование, CKKS, TenSEAL, нейронные сети, сохраняющие конфиденциальность

Полный текст

Список литературы

Hunt E.B. Artificial intelligence. Academic Press, 2014.
Radford A. et al. Improving language understanding by generative pre-training. OpenAI, 2018.
Wamser F. et al. Traffic characterization of a residential wireless Internet access // Telecommunication Systems. Springer, 2011. V. 48. P. 5–17.
Sagiroglu S., Sinanc D. Big data: A review // 2013 international conference on collaboration technologies and systems (CTS). IEEE, 2013. P. 42–47.
О персональных данных [Electronic resource]. http://pravo.gov.ru/proxy/ips/?docbody&nd= 102108261 (accessed: 16.06.2024)
Gentry C. A fully homomorphic encryption scheme. Stanford university, 2009.
Yegnanarayana B. Artificial neural networks. PHI Learning Pvt. Ltd., 2009.
Pratiwi H. et al. Sigmoid activation function in selecting the best model of artificial neural networks // Journal of Physics: Conference Series. IOP Publishing, 2020. V. 1471. № 1. P. 012010.
Rivest R.L., Shamir A., Adleman L. A method for obtaining digital signatures and public-key cryptosystems // Commun. ACM. 1978. V. 21. № 2. P. 120–126.
ElGamal T. A public key cryptosystem and a signature scheme based on discrete logarithms // IEEE transactions on information theory. IEEE, 1985. V. 31. № 4. P. 469–472.
Gentry C. Fully homomorphic encryption using ideal lattices // Proceedings of the forty-first annual ACM symposium on Theory of computing. Bethesda MD USA: ACM, 2009. P. 169–178.
Van Dijk M. et al. Fully Homomorphic Encryption over the Integers // Advances in Cryptology – EUROCRYPT 2010 / ed. Gilbert H. Berlin, Heidelberg: Springer Berlin Heidelberg, 2010. V. 6110. P. 24–43.
Gentry C., Halevi S. Implementing gentry’s fully-homomorphic encryption scheme // Advances in Cryptology–EUROCRYPT 2011: 30th Annual International Conference on the Theory and Applications of Cryptographic Techniques, Tallinn, Estonia, May 15–19, 2011. Proceedings 30. Springer, 2011. P. 129–148.
Brakerski Z. Fully homomorphic encryption without modulus switching from classical GapSVP // Annual Cryptology Conference. Springer, 2012. P. 868–886.
Brakerski Z., Vaikuntanathan V. Fully Homomorphic Encryption from Ring-LWE and Security for Key Dependent Messages // Advances in Cryptology – CRYPTO 2011 / ed. Rogaway P. Berlin, Heidelberg: Springer Berlin Heidelberg, 2011. V. 6841. P. 505–524.
Brakerski Z., Gentry C., Vaikuntanathan V. (Leveled) Fully Homomorphic Encryption without Bootstrapping // ACM Trans. Comput. Theory. 2014. V. 6. № 3. P. 1–36.
Dijk M. van et al. Fully homomorphic encryption over the integers // Annual international conference on the theory and applications of cryptographic techniques. Springer, 2010. P. 24–43.
Cheon J.H. et al. Homomorphic encryption for arithmetic of approximate numbers // International conference on the theory and application of cryptology and information security. Springer, 2017. P. 409–437.
Homomorphic Encryption Standardization – An Open Industry / Government / Academic Consortium to Advance Secure Computation [Electronic resource]. https://homomorphicencryption.org/ (accessed: 10.12.2022)
Pulido-Gaytan B. et al. Privacy-preserving neural networks with Homomorphic encryption: Challenges and opportunities // Peer-to-Peer Netw. Appl. 2021. V. 14. № 3. P. 1666–1691.
Ribeiro M., Grolinger K., Capretz M.A. Mlaas: Machine learning as a service // 2015 IEEE14th international conference on machine learning and applications (ICMLA). IEEE, 2015. P. 896–902.
Manvi S.S., Shyam G.K. Resource management for Infrastructure as a Service (IaaS) in cloud computing: A survey // Journal of network and computer applications. Elsevier, 2014. V. 41. P. 424–440.
Rodero-Merino L. et al. Building safe PaaS clouds: A survey on security in multitenant software platforms // computers & security. Elsevier, 2012. V. 31. № 1. P. 96–108.
Cusumano M. Cloud computing and SaaS as new computing platforms // Commun. ACM. 2010. V. 53. № 4. P. 27–29.
Chen H., Chillotti I., Song Y. Improved bootstrapping for approximate homomorphic encryption // Advances in Cryptology–EUROCRYPT 2019: 38th Annual International Conference on the Theory and Applications of Cryptographic Techniques, Darmstadt, Germany, May 19–23, 2019, Proceedings, Part II. Springer, 2019. P. 34–54.
Microsoft SEAL: C++. Microsoft, 2023.
OpenFHE.org – OpenFHE – Open-Source Fully Homomorphic Encryption Library [Electronic resource]. https://www.openfhe.org/ (accessed: 01.04.2024)
Dai W., Sunar B. cuHE: A homomorphic encryption accelerator library // International Conference on Cryptography and Information Security in the Balkans. Springer, 2015. P. 169–186.
Benaissa A. et al. TenSEAL: A Library for Encrypted Tensor Operations Using Homomorphic Encryption: arXiv:2104.03152. arXiv, 2021.
Lee J.-W. et al. Privacy-preserving machine learning with fully homomorphic encryption for deep neural network // IEEE Access. IEEE, 2022. V. 10. P. 30039–30054.
Halevi S., Shoup V. Algorithms in helib // Annual Cryptology Conference. Springer, 2014. P. 554–571.
Özerk Ö. et al. Efficient number theoretic transform implementation on GPU for homomorphic encryption // The Journal of Supercomputing. Springer, 2022. V. 78. № 2. P. 2840–2872.