נתונים

תנאי גזירה

מסד הנתונים Open Food Facts זמין בכפוף לרישיון Open Database (מסדי נתונים).
התוכן הפרטני במסד הנתונים כפוף לרישיון Database Contents (תכני מסדי נתונים).
תמונות המוצרים זמינות בכפוף לרישיון Creative Commons Attribution ShareAlike (ייחוס-שיתוף זהה). הן עשויות להכיל רכיבים חזותיים שעשויים להיות כפופים לזכויות יוצרים או לזכויות אחרות שניתן בחלק מהמקרים לעשות בהם שימוש מחדש (זכויות ציטוט או שימוש הוגן).

נא לקרוא את תנאי השימוש והגזירה לפני גזירת הנתונים.

נא לספר לנו על הגזירה שלך

מאוד מעניין אותנו ללמוד למה משמשים הנתונים של Open Food Facts. לא חובה אבל נעריך מאוד לשמוע ממך על הנגזרת שלך כדי שנוכל לשתף אותה עם קהילת Open Food Facts. אפשר גם למלא את הטופס הזה כדי להגדיל את הסיכויים שהיישום שלך יוצג לקהל הרחב.

ייצוא הנתונים של Open Food Facts

היטלים ותוצרי ייצוא של מסד הנתונים נוצרים מדי לילה. מסד הנתונים גודל מאוד, לכן ניתן למצוא דרכים שונות להשתמש בנתונים, בהתאם לצורת הייצוא.

ניתן למצוא מידע על השדות השונים של אוספי ה־MongoDB ותוצרי ה־CSV בכתובת https://world.openfoodfacts.org/data/data-fields.txt

יצוא נתונים של MongoDB

נתוני כל המוצרים שלנו זמינים במאגר ייצור נתונים של MongoDB.

קישור

https://static.openfoodfacts.org/data/openfoodfacts-mongodbdump.gz

sha256sum

https://static.openfoodfacts.org/data/gz-sha256sum

md5sum

https://static.openfoodfacts.org/data/gz-md5sum

ייצוא הבדלים

ייצוא הבדלים יומי מסופק עבור 14 הימים האחרונים. ניתן למצוא את רשימת קובצי ההבדלים הזמינים כעת תחת https://static.openfoodfacts.org/data/delta/index.txt.

כל שורה מייצגת קובץ שזמין תחת https://static.openfoodfacts.org/data/delta/{filename}.

שם הקובץ מכיל חותמות זמן יוניקס של השינוי הראשון והאחרון שכלול בקובץ ה־JSON כדי שניתן יהיה לייבא את קובצי ההבדלים (לאחר חילוץ) באמצעות mongoimport בסדר אלפביתי.

נא לשים לב שטבעו של mongoexport מאלץ מצב שבו קובצי השינויים לא יכולים לספר לך על מוצרים שנמחקו. כדי להסיר מוצרים שנמחקו ממסד הנתונים שלך, יהיה עליך לייבא את ההיטל המלא של MongoDB.

יצוא נתונים ב־CSV

מסד הנתונים השלם זמין גם בתצורתJSONL (לפעמים נקרא גם LDJSON או NDJSON) בו כל שורה היא פריט JSON. הוא מייצג את אותם הנתונים כמו בייצוא של MongoDB. הקובץ דחוס ב־gzip.

קישור

https://static.openfoodfacts.org/data/openfoodfacts-products.jsonl.gz

דרך הולמת לנצל את מסד הנתונים לרעה היא להשתמש ב־DuckDB, כלי ניתוחי פנים תהליכי שתוכנן לעבד כמויות גדולות של נתונים בשברירי שנייה. אפשר לקרוא את הרשומה בבלוג שלנו בה אנו חוקרים ומעבדים את מסד הנתונים של Open Food Facts עם DuckDB

יצוא נתונים ב־CSV

גרסה מפושטת של היטל ה־JSONL זמין גם בתצורת פרקט/Parquet. במהלך ההמרה, סיננו עמודות שמכילות פרטים כפולים, כאלה שמשמשים לניפוי שגיאות פנימי או שהם פשוט לא מעניינים את המשתמשים.

תבנית פרקט/Parquet הוכחה כשימושית:

• הנתונים מסודרים לפי עמודות, במקום לפי שורות, מה שחוסך במקום ומאיץ את השאילתות לניתוח, כלומר אפשר לבחור רק את העמודות שמעניינות אותך, מה שממטב את ביצועי השאילתות אפילו במחשבים חלשים במיוחד.
• Highly efficient data compression and decompression, making it good for storing and sharing big datasets of any kind,
• Supports complex data types and advanced nested data structures.

The dataset is available on Hugging Face, a collaborative Machine Learning ecosystem where developers and researchers can share models and datasets.

קישור

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/food.parquet?download=true

Find more information in the Wiki, including guidelines for data reuse and example queries to get started.

יצוא נתונים ב־CSV

הנתונים של כל המוצרים או חלקם, ניתנים להורדה בתבנית CSV (נתמכת על ידי LibreOffice, Excel ועוד תוכנות גיליונות נתונים) דרך טופס החיפוש המתקדם.

קישור

מזון: https://static.openfoodfacts.org/data/en.openfoodfacts.org.products.csv.gz (CSV דחוס ב־GZIP‏: ~ 0.9 ג״ב, ללא דחיסה: ~ 9 ג״ב)

טיפוח: https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz

מזון לחיות מחמד: https://static.openpetfoodfacts.org/data/en.openpetfoodfacts.org.products.csv.gz

כל השאר המוצרים: https://static.openproductsfacts.org/data/en.openproductsfacts.org.products.csv.gz

קידוד הקובץ הוא Unicode UTF-8. התו המפריד בין שדות הוא <tab> (טאב).

עקרונות כלליים

מסד הנתונים זמין גם בתסדיר RDF (ניסיוני, לא מתוחזק באופן פעיל יותר). אפשר לקרוא את ההכרזה בצרפתית.

קישור

https://world.openfoodfacts.org/data/en.openfoodfacts.org.products.rdf.gz

דרושה עזרה עם OpenAPI

אפשר להוריד את כל התמונות ואת תוצאות המרת תמונה לטקסט מהשרת שלך או מ־AWS (דרך התוכנית AWS Open Data). אפשר לעיין בתיעוד שלנו כדי ללמוד עוד איך להוריד תמונות

תיעוד OpenAPI ל־API בתצורת JSON

API בתצורת JSON גם כן זמין לטובת קריאת נתונים על מוצר. ה־API הזה במיוחד משמש את היישומון לניידים של Open Food Facts.

אנו משפרים את ה־API עם הזמן אך אנו מקפידים מאוד לשמור על תאימות לאחור. נא ליצור קשר אם הוא משמש אותך, כדי שנוכל לעדכן על שינויים אפשריים.

למידע נוסף על ה־API שלנו

תרומה לשיפור תיעוד ה־API וה־OpenAPI שלנו

אנו נשמח מאוד לסיים את תיעוד ה־API, להוסיף מקרי בוחן ולייצר אוטומציה של יצירת SDK. אם OpenAPI זה הצד החזק שלך, מאוד נשמח לקבל עזרה.

אנו מזמינים אותך להשתמש ב־API למטרות פעילות מבצעית, כל עוד כל קריאת API שוות ערך לסריקה אמתית של משתמש. כל ניסיון לדלות את מסד הנתונים כולו דרך ה־API ייחסם כיוון שתוצאי ייצוא מלאים יומיים זמינים בעמוד זה ממש.

כמו כן, שליחת כותרות HTTP עם קריאות ה־API שלך היא דרך מצוינת בה נוכל ליצור אתך קשר במקרה שיש תקלות כלשהן.

XML API (לא נתמך)

הקוד של היישומונים הרשמיים של Open Food Facts זמין ב־GitHub Flutter Kotlin Android Swift iOS

לדוגמה: https://world.openfoodfacts.org/api/v2/product/737628064502.xml

ה־API הזה לא מתוחזק באופן פעיל, ולא מתועד רשמית.

מעטפות וערכות SDK

כנראה שיש לנו מעטפת לשפת הפיתוח המועדפת עליך. אם יש לנו, ניתן להשתמש בה ולשפר אותה. אם אין לנו, ניתן לעזור ביצירתה.

אנו מזמינים אותך לעשות שימוש חוזר בקוד המקור (הפתוח) ולסייע לנו לשפר אותו, למען כולם, בכל רחבי העולם.

אם המשתמשים שלך לא מצפים לתוצאות מיידית (למשל: יישומוני מאגרים)

• אפשר לחפש מידע על מוצרים, כולל מגוון ערכים שימושיים שחושבו לפי נוסחאות.
• אם לא הצלחת לקבל מידע על מוצר מסוים, אפשר להנפיק חשבון משתמש כדי לשלוח תמונות ונתונים, אלו יעובדו על ידי הבינה המלאכותית של Open Food Facts והמתנדבים כדי לקבל תוצאות שעברו חישוב עם נוסחאות להצגה.
• אפשר גם לממש את כל הרצף כדי לקבל את התוצאות מיידית עם השקעה מסוימת מהצד שלהם.

אם המשתמשים שלך מצפים לתוצאות מיידית (למשל: יישומוני תזונה)

• להגיש תמונות (חזית/ערכים תזונתיים/רכיבים): הדבר הכי נוח למשתמשים שלך
• הבינה המלאכותית של Open Food Facts - תייצר נתוני נגזרת מהתמונות
• לאורך הזמן, יישומים אחרים, וקהילת Open Food Facts ימלאו את הנתונים החסרים

יישומון Android/iPhone/Flutter לניידים

• יש להגיש ערכים תזונתיים + קטגוריה כדי לקבל את ה־Nutri-Score
• Submit ingredients > get the NOVA group (about food ultra-processing), additives, allergens, normalized ingredients, vegan, vegetarian…
• Submit category + labels > soon get the Eco-Score (about environmental impact)

ערכות SDK

אפשר לעיין בשו״ת הנפוצות על API וייצוא נתונים ושאלות נפוצות על Open Food Facts

אנחנו שוקלים להפוך את בסיסי הקוד של Kotlin ו־Swift ל־SDKs של Kotlin ו־Swift, נשמח לעזרה :-)

אפשר לפתוח שרשור במאגר תיעוד ה־API שלנו

לכל שאלה בנוגע לנתונים, ניתן ליצור אתנו קשר בכתובת contact@openfoodfacts.org

ערכות SDK

סמל	שפה / תשתית	משאבים	דיונים
	Cordova (היישומון הישן)	Github	לא זמין
	DART	GitHub pub.dev	לא זמין
	Elixir	Github	ערוץ Slack
	קדימה	Github	ערוץ Slack
	Java	Github	ערוץ Slack
	Spring Boot	Github	ערוץ Slack
	Kotlin	Github	ערוץ Slack
	JavaScript	Github	ערוץ Slack
	PHP	Github	ערוץ Slack
	PHP (Laravel)	Github	ערוץ Slack
	Python	Github	ערוץ Slack
	React Native	Github	ערוץ Slack
	Ruby	Github	ערוץ Slack
	חלודה	Github	ערוץ Slack
	R	Github	ערוץ Slack
	Swift	Github	ערוץ Slack
	‎.NET/C#‎	Github	ערוץ Slack

דיון על נתונים, API ועל נתונים מיוצאים

אפשר לעיין בשו״ת הנפוצות על API וייצוא נתונים ושאלות נפוצות על Open Food Facts

ניתן להצטרף לחדר ה־Slack של Open Food Facts שזו הדרך המועדפת לשאול שאלות ולדבר על ה־API. נא לשאול את השאלות שלך בערוץ ‎#api

אפשר לפתוח שרשור במאגר תיעוד ה־API שלנו

לכל שאלה בנוגע לנתונים, ניתן ליצור אתנו קשר בכתובת contact@openfoodfacts.org